發(fā)布時(shí)間：2022-02-10
2022年2月11日2:00，《Science》期刊以長(cháng)文形式發(fā)表了題為《序列工作記憶在獼猴前額葉表征的幾何結構》的研究論文。該研究由中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng )新中心（神經(jīng)科學(xué)研究所）、中國科學(xué)院靈長(cháng)類(lèi)神經(jīng)生物學(xué)重點(diǎn)實(shí)驗室王立平研究組、上海腦科學(xué)與類(lèi)腦研究中心閔斌副研究員和北京大學(xué)生命科學(xué)學(xué)院唐世明課題組合作完成。在該研究中，科學(xué)家訓練獼猴記憶由多個(gè)空間位置組成的序列，并利用在體雙光子鈣成像技術(shù)記錄獼猴大腦前額葉皮層的神經(jīng)元活動(dòng)。研究人員發(fā)現神經(jīng)元以群體編碼的形式表征了序列中的每一個(gè)空間位置，并在這些表征中發(fā)現了類(lèi)似的環(huán)狀幾何結構。該研究推翻了經(jīng)典序列工作記憶模型的關(guān)鍵假設，為神經(jīng)網(wǎng)絡(luò )如何進(jìn)行符號表征這一難題提供了新的見(jiàn)解。
人類(lèi)大腦無(wú)時(shí)無(wú)刻不在處理序列信息，不論是語(yǔ)言溝通、動(dòng)作實(shí)施還是情景記憶，本質(zhì)上都涉及對時(shí)序信息的表征。另一方面，序列的執行需要一定的時(shí)間，大腦需要在應用時(shí)序信息之前記住整個(gè)序列。比如，我們需要在在問(wèn)路時(shí)記住指路人給出的一系列方向指引，在學(xué)習新的舞蹈動(dòng)作時(shí)記住老師演示的一連串動(dòng)作模式。在這些情況下，不僅單個(gè)內容需要被記住，它們之間的順序也不能被混淆。認知心理學(xué)家們早在19世紀初就開(kāi)始思考序列信息的表征方式，序列信息編碼也被認為是人類(lèi)語(yǔ)言句法結構的前提，機器學(xué)習領(lǐng)域對序列翻譯的探索更是催生了如今大顯身手的Transformer模型。但是，對于具有時(shí)序信息記憶的大腦神經(jīng)編碼機制，我們仍知之甚少。
獼猴是演化上最接近人類(lèi)的模式動(dòng)物，其認知能力、大腦的結構與功能相比于其他模式動(dòng)物更接近人類(lèi)，是研究時(shí)間序列等復雜高級認知功能的最佳模型。因此，為了探究時(shí)序記憶編碼問(wèn)題，研究人員訓練獼猴記憶由多個(gè)位置點(diǎn)組成的空間序列（圖1）。在任務(wù)中，獼猴面前的屏幕上會(huì )依次閃現三個(gè)不同的點(diǎn)，獼猴需要在幾秒鐘之后將這些點(diǎn)按之前呈現的順序匯報出來(lái)。在匯報前的幾秒記憶保持期內，空間序列的信息便以工作記憶的形式被暫時(shí)儲存在大腦中。為了記錄大腦神經(jīng)元群體在獼猴進(jìn)行任務(wù)時(shí)的活動(dòng)狀態(tài)，研究人員對工作記憶的大本營(yíng)——外側前額葉皮層進(jìn)行了雙光子鈣信號成像。鈣信號可反映神經(jīng)元的脈沖放電活動(dòng)，而序列信息表征的關(guān)鍵就在記憶期神經(jīng)元群體的活動(dòng)模式之中。
圖1：獼猴空間序列記憶任務(wù)
大腦如何在記憶期內同時(shí)表征序列中多個(gè)信息呢？研究人員猜想獼猴的大腦中也有一塊“屏幕”，獼猴可以把出現過(guò)的點(diǎn)記在這個(gè)屏幕上?？扇绻齻€(gè)點(diǎn)同時(shí)在記憶保持期內顯示在了這個(gè)屏幕上，每個(gè)點(diǎn)的次序又該如何體現呢？獼猴的大腦里面是否會(huì )同時(shí)存在三塊不同的屏幕？這樣每個(gè)屏幕只需要記下一個(gè)點(diǎn)的信息，而且屏幕之間不會(huì )互相干擾。
研究人員分析了鈣成像獲得的高維數據，發(fā)現可以在高維向量空間里面找到每個(gè)次序的信息所對應的二維子空間(subspace)，即找到其對應的“屏幕”（圖2）。在每個(gè)子空間內，不同的點(diǎn)所對應的空間位置與真實(shí)視覺(jué)刺激的環(huán)狀結構保持了一致。而且，不同次序所對應的子空間接近相互正交，說(shuō)明大腦確實(shí)用到了三塊不同的屏幕來(lái)表征序列信息。
為了進(jìn)一步探究大腦是否總是用相同的這幾塊“屏幕”記憶不同類(lèi)型的空間序列，研究人員對數據做了解碼分析，即運用機器學(xué)習方法訓練線(xiàn)性分類(lèi)器來(lái)區分不同次序上的空間信息。比如，用獼猴正確應答時(shí)的神經(jīng)元群體活動(dòng)訓練解碼器，可以在部分做對的序列里面取得較好的解碼效果。這些結果提示了用于編碼次序的“屏幕”是穩定通用的。
圖2：序列記憶在神經(jīng)高維向量空間的表征
研究人員還發(fā)現，不同次序的子空間之間共享了類(lèi)似的環(huán)狀結構，只是環(huán)的半徑大小會(huì )隨次序的增加而減小。一個(gè)可能的解釋是，次序靠后的信息所分配到的注意資源更少，導致對應的環(huán)變小、區分度降低。這一結構也對應了序列記憶的行為表現，例如我們日常生活中如果記憶的內容越多，越往后的信息便更容易出錯。
該發(fā)現也可總結為在群體水平的空間信息編碼幾何結構受時(shí)序調制的性質(zhì)。有意思的是，這種性質(zhì)并不完全適用于單個(gè)神經(jīng)元水平，而單神經(jīng)元活動(dòng)的增強調制正是經(jīng)典序列工作記憶模型的關(guān)鍵假設，提示了序列記憶的編碼應更加關(guān)注群體神經(jīng)元性質(zhì)。
該研究第一次在群體神經(jīng)元水平闡釋了序列工作記憶的計算和編碼原理，也為理解神經(jīng)網(wǎng)絡(luò )如何進(jìn)行符號表征這一難題提供了新的思路。上世紀80年代，人工智能領(lǐng)域就有研究者提出張量乘積這一概念來(lái)實(shí)現神經(jīng)網(wǎng)絡(luò )對符號結構的表征，但其如何在神經(jīng)網(wǎng)絡(luò )層面自然涌現一直沒(méi)有被很好的解決。序列工作記憶的神經(jīng)表征正好對應了將該符號表征由對應次序的子空間嵌入到高維向量空間中，同時(shí)支持了下游神經(jīng)網(wǎng)絡(luò )對符號結構信息的線(xiàn)性讀取。
中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng )新中心王立平研究組博士后謝洋和研究助理胡沛烑為論文共同第一作者，研究助理李俊汝、博士生陳靜文和北京大學(xué)研究生宋衛彬在課題的不同階段作出了貢獻。法國國家健康與醫學(xué)研究院Stanislas Dehaene教授、紐約大學(xué)汪小京教授和中科院腦智卓越中心楊天明研究員參與本研究。該研究獲得科技創(chuàng )新2030-重大項目、上海市市級科技重大專(zhuān)項、中國科學(xué)院戰略性先導科技專(zhuān)項、國家自然科學(xué)基金等項目支持。
圖3：王立平研究員、閔斌副研究員、研究助理胡沛烑、博士后謝洋討論課題
附件下載： 
