解析人(rén)腦(nǎo)對(duì)語言層級結構的(de)神經表征
人(rén)類每時(shí)每刻都在處理(lǐ)序列化(huà)的(de)信息，例如，你現在正在閱讀的(de)、由一個(gè)個(gè)字符組成的(de)文字序列，或是你耳邊正在聽(tīng)到的(de)一連串聲音(yīn)。人(rén)腦(nǎo)在處理(lǐ)這(zhè)些序列信息時(shí)，不僅加工了(le)每一個(gè)序列單元，還(hái)會自動化(huà)地加工由這(zhè)些小單元組成的(de)大(dà)單元。以語音(yīn)爲例，當人(rén)腦(nǎo)在聆聽(tīng)語音(yīn)時(shí)（例如，小羊吃(chī)草(cǎo)），這(zhè)一個(gè)語音(yīn)序列不僅包含了(le)每一個(gè)字，即，小、羊、吃(chī)、草(cǎo)，還(hái)包含了(le)由單字組合在一起的(de)詞組，即，小羊、吃(chī)草(cǎo)，最後再由詞組組合形成句子。近年内，許多(duō)腦(nǎo)電圖和(hé)腦(nǎo)磁圖研究發現，人(rén)腦(nǎo)在聆聽(tīng)像這(zhè)樣的(de)語音(yīn)序列時(shí)，皮層神經活動可(kě)以同時(shí)表征這(zhè)個(gè)序列中的(de)層級結構，即，字、詞、句。這(zhè)些發現說明(míng)，人(rén)腦(nǎo)可(kě)能在按照(zhào)語法知識将字組成詞彙、短語和(hé)句子，再對(duì)這(zhè)些高(gāo)層語言結構進行理(lǐ)解。
但是，這(zhè)個(gè)觀點最近受到挑戰。有些研究者認爲，人(rén)腦(nǎo)可(kě)能并不是真的(de)加工了(le)這(zhè)些句法規則所定義的(de)結構，而隻是簡單地通(tōng)過分(fēn)析句子中的(de)語義信息，從而形成對(duì)結構表征的(de)假象。例如，在句子“小羊吃(chī)草(cǎo)”中，如果人(rén)腦(nǎo)僅僅分(fēn)析每個(gè)字（即，小、羊、吃(chī)、草(cǎo)）的(de)語義信息，根據經典ERP N400效應，人(rén)腦(nǎo)對(duì)“羊”的(de)響應會因爲“羊”和(hé)前一個(gè)字“小”的(de)語義相關性高(gāo)而降低；從而，人(rén)腦(nǎo)通(tōng)過編碼詞彙短語中兩個(gè)字的(de)語義相關性而形成對(duì)短語結構的(de)表征，而無需借助句法知識。同理(lǐ)，該假設也(yě)可(kě)适用(yòng)在句子結構上。因此，人(rén)腦(nǎo)對(duì)句子結構的(de)表征，真的(de)反映了(le)人(rén)腦(nǎo)應用(yòng)句法知識将字詞和(hé)短語構建成句子，還(hái)隻是因爲編碼了(le)句子内字詞間的(de)語義相關性？探索這(zhè)個(gè)問題将爲揭示人(rén)，尤其在語言領域，是如何處理(lǐ)層級信息結構提供關鍵證據。
爲了(le)解答(dá)這(zhè)個(gè)問題，華東師範大(dà)學兼職教授、上海紐約大(dà)學副教授田興指導的(de)華東師範大(dà)學心理(lǐ)與認知科學學院博士生盧宇涵，通(tōng)過構建基于詞向量的(de)語義響應仿真和(hé)腦(nǎo)磁圖技術，發現大(dà)腦(nǎo)皮層低頻(pín)神經活動主要反映了(le)基于句法規則将字詞構建成句子的(de)過程，而不是編碼字詞間的(de)語義相關性。該項題爲 “Delta-band neural tracking primarily reflects rule-based chunking instead of semantic relatedness between words”的(de)研究成果，于2022年9月(yuè)19日，發表在國際神經科學領域知名期刊Cerebral Cortex上。
該工作首先構建了(le)詞序列和(hé)句子序列（圖a）。詞序列（paired-word sequence）由有生命詞（比如“海豚”）和(hé)無生命詞（比如“茶杯”）構成；句子序列（sentence sequence）由句子構成，每個(gè)句子内有一個(gè)名詞和(hé)一個(gè)動詞。因爲詞序列不含句子結構，因此人(rén)腦(nǎo)隻會跟蹤詞序列中成對(duì)出現的(de)、語義高(gāo)度相關的(de)詞對(duì)（即兩詞均爲生命詞或無生命詞）。而句子序列中又包含了(le)句法定義的(de)句子結構（即，名詞加動詞），所以人(rén)腦(nǎo)也(yě)會跟蹤句法定義的(de)句子結構。如果人(rén)腦(nǎo)對(duì)詞序列的(de)跟蹤響應與對(duì)句子序列的(de)跟蹤響應相似，則說明(míng)人(rén)腦(nǎo)對(duì)句子的(de)表征主要來(lái)源于對(duì)詞的(de)語義相關性的(de)加工；如果差異較大(dà)，則說明(míng)語義相關性不能解釋人(rén)腦(nǎo)對(duì)句子結構的(de)表征。
通(tōng)過進行自然語言處理(lǐ)計算(suàn)建模和(hé)記錄腦(nǎo)磁圖數據，結果發現（圖b,c），大(dà)腦(nǎo)皮層神經活動是可(kě)以跟蹤詞序列結構中的(de)語義相關性的(de)（左側頻(pín)譜，紅色），但是該跟蹤響應（紅色）顯著地弱于對(duì)句子結構的(de)響應（黃(huáng)色），這(zhè)說明(míng)語義相關性的(de)編碼不足以解釋人(rén)腦(nǎo)對(duì)語言層級結構的(de)表征，而人(rén)腦(nǎo)跟蹤句法定義的(de)句子結構才是決定性因素。此研究進一步爲人(rén)腦(nǎo)處理(lǐ)層級信息結構機制提供關鍵證據。
---
該論文由華東師範大(dà)學心理(lǐ)與認知科學學院博士生盧宇涵爲第一作者，華東師範大(dà)學兼職教授、上海紐約大(dà)學副教授田興和(hé)浙江大(dà)學研究員(yuán)丁鼐爲論文通(tōng)訊作者。該研究得(de)到了(le)國家自然科學基金、上海市自然科學基金、上海市科學技術委員(yuán)會“科技創新行動計劃”基礎研究領域項目和(hé)大(dà)學引進學科人(rén)才計劃的(de)支持。
近年來(lái)，田興副教授課題組利用(yòng)腦(nǎo)電、腦(nǎo)磁、磁共振成像、計算(suàn)建模等技術，對(duì)運動感知相互聯系的(de)功能及其與語言、學習(xí)、記憶、想象等高(gāo)級認知功能的(de)關聯等多(duō)個(gè)主題進行了(le)探索，多(duō)項成果已經發表于Nature Human Behaviour，Nature Neuroscience，Current Biology, PLOS Biology等國際高(gāo)水(shuǐ)平雜(zá)志上。
論文信息：
Lu Y, Jin P, Ding N*, Tian X*. (2022). Delta-band neural tracking primarily reflects rule-based chunking instead of semantic relatedness between words. Cerebral Cortex, online published. doi: 10.1093/cercor/bhac354.
推薦閱讀：
1.Lu, Y., Jin, P., Pan, X., & Ding, N*. (2022). Delta-band neural activity primarily tracks sentences instead of semantic properties of words. NeuroImage, 251, 10.1016/j.neuroimage.2022.118979.
2.Jin P, Lu Y, Ding N*. (2020). Low-frequency neural activity reflects rule-based chunking during speech listening. eLife, 9. doi:10.7554/eLife.55613
3. Ding, N.*, Melloni, L., Zhang, H. Tian, X. Poeppel, D.* (2016). Cortical tracking of hierarchical linguistic structures in connected speech. Nat Neurosci, 19. https://doi.org/10.1038/nn.4186