站內搜索
站內搜索
作者：劉石，系國家社科基金重大項目“基於大數據技術的古代文學經典文本分析與研究”首席專家、清華大學教授，尹小林，系首都師范大學中國詩歌研究中心專職研究員
大數據及其相應技術已經對社會知識體系及思維方式產生重大影響。基於這一技術對古代文學經典文本進行深度而高效的分析，可使文學研究進入更宏觀的視野，提高研究結論的精准性、穩定性及可驗証性，促生新的研究理念、方法與范式。信息革命以來，古籍文獻數據化積累和知識庫建設卓有成效。浩如煙海的古籍，可以組成大小不等的任意文本集合，具有不同維度的數據特征。對它們進行基於字詞、語句、篇體等方面的統計，可以獲得不同於紙本閱讀的認知。
對古籍進行散點透視
谷歌與哈佛大學利用其共同開發的數據庫對公元1800—2000年出版的近520萬冊書籍的單詞和短語的使用頻率進行統計，任意詞或詞組在過去數百年典籍中的出現頻率與變化趨勢得以清晰呈現。這一詞頻統計器廣泛應用於如探索名物的興衰沿革、話題的熱度變化、人物或群體的影響力等研究。
同樣，大數據時代下新的技術和研究思路為彌補紙質古籍在結構化整理、大量資料匯聚排列、關系立體化勾連呈現等方面的不足提供了可能性。我們利用《國學寶典》數據庫收錄的超一萬種逾22億字的歷代古籍精良數據，在其中篩選出最為核心的經典近百部，對其從用字量、用字比（TTR_H）、字頻等不同角度進行統計，將時代與文體來源廣泛的文獻以前人不曾設想過的方式進行關聯比較，獲得了一系列涉及漢語史、文體學、知識考古學、蒙學研究、近代文白轉型等眾多領域與交叉學科的重大命題與發現，是“數字映射經典，技術更新人文”的有效例証。
縱向概覽從先秦到清代典籍數據，首先可以關注到的是單部經典總字數和用字量的漸增趨勢。顯然，前者與文獻的物質形態的變化發展直接相關，后者除了受中古漢語雙音化等自身發展因素的影響之外，同樣與漢代至中古以來總體書籍量的增長及社會的知識好尚有關。用字量排名靠前的首先是知識性工具書與承擔識字教材功能的蒙學讀本，如《爾雅》（3360字）、《水經注》（4490字）、《古文觀止》（3863字）等。漢代以降，士人逐漸重視學術與社會觀點的積累以及人生精華的總結，故而其著述常有豐厚淵博的知識性特質。“究天人之際，通古今之變”的《史記》與“言其大也，則燾天載地﹔說其細也，則淪於無垠”的《淮南子》用字量分別為4730字與3900字，在參與統計的上古至中古文獻中十分突出，已可與明清長篇章回體小說作品比肩（四大名著和《聊齋志異》用字量在3931~4936字之間）。
僅依靠數據自身不能完成“智慧型”轉化，比數據更重要的是闡釋數據的方式。除了將統計分析與經典論題相關聯，數據的切分與聚類也是至關重要的基礎環節。一項經典研究案例是，將《紅樓夢》以四十回為單位進行文本切分，最后一部分在用字量方面的顯著不同剛好佐証關於作者的疑問。然而，以用字量直接衡量作品質量或閱讀難度又會墮入機械的統計分析思維。例如統計中居首的幾部小說文獻，其體量大、涉及內容廣、雅俗語體並包等因素共同提升了用字量。同樣，受常用漢字總量限制，文獻篇幅的增加反而會導致用字比下降。故而統計中引入計算語言學常用的TTR_H模型以修正用字比，最終結果顯示，用字比最高者皆為蒙學讀本：《千字文》（1）、《百家姓》（0.986）、《三字經》（0.894）、《聲律啟蒙》（0.857）。可見，編著者有意識地在有限的篇幅和內容難度中增加用字量，讓學童能比較密集地習得盡可能多的漢字。蒙學讀物的編纂者選字標准是什麼，是當時常見經典文獻中的高頻字，還是日常生活中的常用字，還是有別的標准？這種選擇是以何種方式完成的？這些都是值得進一步探究的話題。
從用字特征探測經典命題
字頻統計中，考慮到虛字和實字的不同屬性和闡釋功能，二者通常被分別計算。虛詞在漢語史等領域的研究中經常被作為特征數據使用，同時也是作品風格比對的標志性參數，虛詞的使用比重本身便構成不同作者間的風格標識。“五經”之中，參照后世“文筆之辨”，《詩》為有韻之文，因而與其他幾部書相比，高頻詞中實詞比重更大，古人“實字多則健，虛字多則弱”的詩論觀點或濫觴於此。以高頻字的虛實映射“文筆之辨”的方法可推及后世，普遍而言，在詩歌與詞曲等文體中，實詞作為高頻詞的概率大於散文文體。
作為“五經”中成書年代最早的《尚書》，其虛字運用特征同樣保存了上古漢語的流變痕跡。《尚書》中頻次居首者是極具上古色彩的虛詞“惟”，這不僅與其中許多篇目的記言性質有關，也體現了早期漢語與后來“之乎者也於”時代的分野。以相同視角觀照近古作品，可以窺見漢語史上的另一重大變革。對話是小說中的重要元素，表達說話行為的動詞自然享有高頻地位，在《三國演義》與《聊齋》中體現為“曰”，而《西游記》和《水滸傳》中則體現為“道”，這是后一組作品文言色彩減弱的重要標志。而真正的白話轉型發生在《紅樓夢》身上，“的”首次取代語法功能相同的“之”而上榜，成為第二高頻詞。《紅樓夢》中居首的高頻詞是另一個極具白話特征的虛詞“了”，這也是《水滸傳》中的第一高頻詞。
與虛詞相反相成的實詞是文獻內容和主題的映射，其背后涉及反映觀念史演變的重大命題。同樣以“五經”為例，《詩》《書》《禮》《易》《春秋》中的第一高頻實詞分別為“我”“王”“人”“象”“子”。《詩經》具有最強的主體抒情色彩，恰如《毛詩序》所謂“以一國之事，系一人之本”。《尚書》為上古三代帝王典、謨、訓、誥、誓、命等文獻記載，以記錄“王”之言行為核心。孔子以“克己復禮”來約束人，“禮”是人內在品質的外化，因此談“禮”不基於人則會失去根基。“象”作為《周易》的解讀對象是不言自明的。“古者庖犧氏之王天下也，仰則觀象於天，俯則觀法於地，觀鳥獸之文與地之宜，近取諸身，遠取諸物，於是始作《易》八卦，以垂憲象。”《說文解字序》中的這段話，說明“象”不僅是《周易》的關鍵，也是漢字造字觀念及中華文化思維的體現。《春秋左傳》中首位高頻字為“子”，其中包含第二人稱單數與諸侯國君稱謂雙重意義。后者是《春秋》敘事的核心所在，孔子作《春秋》，正是為了以微言大義記錄“禮樂征伐自諸侯出”的非常時代，作為編年體史書，各諸侯國君臣的秩序與道德選擇構成了其潛在的緯線。
用數據來表征“詩分唐宋”
錢鐘書《談藝錄》以“詩分唐宋”開篇，影響甚廣。此說實承續前人而來，宋代嚴羽論詩便有“本朝人尚理，唐人尚意興”之說。唐宋詩之別在於體格性分，相對較為玄妙。通過量化分析，可對其語言層面的特征作出細致把握。通過對《全唐詩》五萬七千余首和《全宋詩》二十五萬四千余首的詞頻統計顯示，居於前十位的高頻詞分別為：不知、何處、萬裡、千裡、不見、不可、白雲、今日、春風、不得（《全唐詩》）﹔不知、春風、平生、不可、萬裡、千裡、人間、不見、十年、何處（《全宋詩》。下文中詞頻位序將在括號中注出，故不再一一說明）。
將統計擴展至前一百位，有關唐宋詩風之辨的許多命題都能夠在語詞的褶皺中被展開。作為嚴羽論斷的例証，在前一百位中，唐詩裡比興尚意的寫景語匯更居前列，如排名第7的“白雲”與第11的“明月”，雖只是詞匯片段，唐人氣象儼若可見。作為參照，這兩個意象在《全宋詩》詞頻統計中分別降至19與23位。嚴羽“本朝尚理”的觀點同樣能在統計數據中獲得佐証：宋詩中“平生”（第3位）、“人間”（第8位）等哲思人生的“理語”排位較唐代（分別居於第30、13位）又有上升。另一點值得玩味的是，宋人雖崇尚自守慎獨、內求於心的理學，詩中卻不乏唐人所極少寫到的“功名”（36）、“富貴”（78），而唐詩中常見的“惆悵”（15）、“相思”（22）等與“理語”相對的“情語”在宋詩詞頻列表中跌出了前一百位。
唐詩偏重空間，而宋詩偏重時間。敻絕的宇宙意識和無垠的空間，從《全唐詩》詞頻前五位中（不知、何處、萬裡、千裡、不見）可見一斑。日本漢學家吉川幸次郎曾提出，唐詩是凝視著人生貴重瞬間的燃燒，所注視的只是對象的頂點。而宋詩是時間性的，詩人視人生為漫長的持續。以語詞的統計來衡量這一觀點，唐詩排序最高的時間詞是“今日”（8），時空與情感凝注於此一點，而宋詩中居首的是“十年”（9），繼而是“今日”（12）與“百年”（20）。吉川將“燃燒與持續”的說法推進至意象選用的對比方面，夕陽是燃燒的景象，雨是持續的景象，於是有了“唐人寫夕陽宋人寫雨”的經典論斷。詞頻統計恰也驗証了這點，《全唐詩》詞頻居於前列的“落日”（55）、“日暮”（59）、“夕陽”（69），在宋詩中都排在九十位之后。
不同於信息爆炸的現代，傳世文獻中的經典文本邊界是相對清晰的，然而其體量對於專注於某一選題或領域的研究者依然難以全體掌握。基於大數據技術的古代文學經典文本分析，既著眼於經典文獻，又以海量的基礎文獻為基礎，希望在較短時間內用高效、全面的數據挖掘，來進行准確有效的文本分析。傳統古典學研究中的結論多通過個人有限閱讀過程中的觀察、思索、領悟等方式獲得，這類方式往往具備一定的主觀性乃至先驗色彩。大數據的匯聚和計算分析方法的運用，能夠使既出人意表又允執厥中的結論“自動涌現”。
利用大數據將以往被分裂和隔絕的事物重新連接，改變了我們對文獻、文本、知識的認識路徑和把握尺度。僅從字/詞頻統計這一大數據手段的微小切面入手，我們便已初步獲得了以一種新方式探測經史、語言學、文學等領域文獻的體驗。與用不同技術手段、不同結構化方式、不同顆粒度重構的集成式文獻知識庫相比，以上工作或許只是一份小嘗試。相信隨著統計數據的累積、疊加和映射，古籍和傳統文化研究一定能夠煥發出更多生機和活力。
