論文の概要: Emergence of Separable Manifolds in Deep Language Representations
- arxiv url: http://arxiv.org/abs/2006.01095v4
- Date: Wed, 8 Jul 2020 22:10:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 05:56:04.694663
- Title: Emergence of Separable Manifolds in Deep Language Representations
- Title（参考訳）: 深部言語表現における分離多様体の出現
- Authors: Jonathan Mamou, Hang Le, Miguel Del Rio, Cory Stephenson, Hanlin Tang,
Yoon Kim, SueYeon Chung
- Abstract要約: ディープニューラルネットワーク(DNN)は、様々な認知的モダリティをまたいだ知覚的タスクの解決において、非常に経験的な成功を示している。
最近の研究では、タスク最適化DNNから抽出された表現と脳内の神経集団の間にかなりの類似性が報告されている。
DNNは後に、複雑な認知機能の基礎となる計算原理を推論する一般的なモデルクラスとなった。
- 参考スコア（独自算出の注目度）: 26.002842878797765
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) have shown much empirical success in solving
perceptual tasks across various cognitive modalities. While they are only
loosely inspired by the biological brain, recent studies report considerable
similarities between representations extracted from task-optimized DNNs and
neural populations in the brain. DNNs have subsequently become a popular model
class to infer computational principles underlying complex cognitive functions,
and in turn, they have also emerged as a natural testbed for applying methods
originally developed to probe information in neural populations. In this work,
we utilize mean-field theoretic manifold analysis, a recent technique from
computational neuroscience that connects geometry of feature representations
with linear separability of classes, to analyze language representations from
large-scale contextual embedding models. We explore representations from
different model families (BERT, RoBERTa, GPT, etc.) and find evidence for
emergence of linguistic manifolds across layer depth (e.g., manifolds for
part-of-speech tags), especially in ambiguous data (i.e, words with multiple
part-of-speech tags, or part-of-speech classes including many words). In
addition, we find that the emergence of linear separability in these manifolds
is driven by a combined reduction of manifolds' radius, dimensionality and
inter-manifold correlations.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、様々な認知モダリティの知覚的タスクを解く上で、非常に経験的な成功を示している。
最近の研究では、タスク最適化されたDNNから抽出された表現と脳内の神経集団の間にかなりの類似性が報告されている。
その後、DNNは複雑な認知機能の基礎となる計算原理を推論する一般的なモデルクラスとなり、神経集団の情報を調べるために開発された手法を応用するための自然なテストベッドとして登場した。
本研究では,特徴表現の幾何学とクラスの線形分離性を結びつける計算神経科学の最近の手法である平均場理論多様体解析を用いて,大規模文脈埋め込みモデルから言語表現を分析する。
異なるモデルファミリ(bert, roberta, gptなど)からの表現を探索し、特にあいまいなデータ(例えば、複数のpart-of-speechタグを持つ単語、多くの単語を含むpart-of-speechクラス)において、層深度(例えば、part-of-speechタグのための多様体)を越えて言語多様体が出現する証拠を見つける。
さらに、これらの多様体における線形分離性の出現は、多様体の半径、次元性、多様体間相関の複合化によって引き起こされる。
関連論文リスト
- Brain-like Functional Organization within Large Language Models [58.93629121400745]
人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた
最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。
本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。
このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
論文 参考訳（メタデータ） (2024-10-25T13:15:17Z) - Analysis of Argument Structure Constructions in a Deep Recurrent Language Model [0.0]
本稿では,再帰型ニューラルネットワークモデルにおけるArgument Structure Constructions(ASC)の表現と処理について検討する。
その結果, 文表現は, 全層にまたがる4つのASCに対応する異なるクラスタを形成することがわかった。
これは、脳に拘束された比較的単純なリカレントニューラルネットワークでさえ、様々な構成タイプを効果的に区別できることを示している。
論文 参考訳（メタデータ） (2024-08-06T09:27:41Z) - Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。
我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。
分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
論文 参考訳（メタデータ） (2024-06-13T16:04:11Z) - Experimental Observations of the Topology of Convolutional Neural
Network Activations [2.4235626091331737]
トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。
ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。
本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
論文 参考訳（メタデータ） (2022-12-01T02:05:44Z) - Connecting Neural Response measurements & Computational Models of
language: a non-comprehensive guide [5.523143941738335]
言語モデリングとニューロイメージングにおける最近の進歩は、言語神経生物学の研究において潜在的な改善をもたらす可能性がある。
この調査は、単純な言語モデルから派生したイベント関連ポテンシャルと複雑性尺度をリンクする初期の研究から、大規模コーパスで訓練されたニューラルネットワークモデルを用いた現代研究まで、一線を辿っている。
論文 参考訳（メタデータ） (2022-03-10T11:24:54Z) - Model-based analysis of brain activity reveals the hierarchy of language
in 305 subjects [82.81964713263483]
言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。
そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
論文 参考訳（メタデータ） (2021-10-12T15:30:21Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-06-09T22:59:12Z) - Does injecting linguistic structure into language models lead to better
alignment with brain recordings? [13.880819301385854]
言語モデルと脳記録との整合性は,構文的あるいは意味論的フォーマリズムからのアノテーションに偏りがある場合と評価する。
提案手法は,脳内の意味の組成について,より標的となる仮説の評価を可能にする。
論文 参考訳（メタデータ） (2021-01-29T14:42:02Z) - Analyzing Individual Neurons in Pre-trained Language Models [41.07850306314594]
言語的タスクを予測できるニューロンのサブセットは、より少ないニューロンに局所化される低いレベルタスクと、より高いレベルの構文予測タスクとがある。
例えば、XLNet のニューロンは、BERT などの特性を予測する際により局所化され、解離し、より分散され、結合される。
論文 参考訳（メタデータ） (2020-10-06T13:17:38Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳（メタデータ） (2020-06-24T20:37:05Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳（メタデータ） (2020-06-19T12:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。