論文の概要: Geometric Signatures of Compositionality Across a Language Model's Lifetime
- arxiv url: http://arxiv.org/abs/2410.01444v1
- Date: Wed, 02 Oct 2024 11:54:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:26:08.929552
- Title: Geometric Signatures of Compositionality Across a Language Model's Lifetime
- Title(参考訳): 言語モデルの生涯における構成性の幾何学的シグナチャ
- Authors: Jin Hwa Lee, Thomas Jiralerspong, Lei Yu, Yoshua Bengio, Emily Cheng,
- Abstract要約: 構成性は表現の本質的な次元に反映されていることを示す。
また, 構成性と幾何学的複雑性の関係は, 学習した言語的特徴によってもたらされることを示した。
- 参考スコア(独自算出の注目度): 47.25475802128033
- License:
- Abstract: Compositionality, the notion that the meaning of an expression is constructed from the meaning of its parts and syntactic rules, permits the infinite productivity of human language. For the first time, artificial language models (LMs) are able to match human performance in a number of compositional generalization tasks. However, much remains to be understood about the representational mechanisms underlying these abilities. We take a high-level geometric approach to this problem by relating the degree of compositionality in a dataset to the intrinsic dimensionality of its representations under an LM, a measure of feature complexity. We find not only that the degree of dataset compositionality is reflected in representations' intrinsic dimensionality, but that the relationship between compositionality and geometric complexity arises due to learned linguistic features over training. Finally, our analyses reveal a striking contrast between linear and nonlinear dimensionality, showing that they respectively encode formal and semantic aspects of linguistic composition.
- Abstract(参考訳): 構成性、つまり表現の意味は、その部分の意味と統語規則から成り立っているという概念は、人間の言語の無限の生産性を許容する。
初めて、人工言語モデル(LM)は、多くの構成的一般化タスクにおいて、人間のパフォーマンスにマッチする。
しかしながら、これらの能力の根底にある表現機構について、多くのことが理解されている。
本稿では,データセットにおける構成性の度合いと,その表現の内在次元を,特徴複雑性の尺度であるLMの下で関連付けることにより,この問題に対して高レベルの幾何学的アプローチをとる。
データセットの構成性の度合いが表現の本質的な次元に反映されるだけでなく、構成性と幾何学的複雑性の関係が学習した言語的特徴によって生じることが分かる。
最後に, 線形次元と非線形次元の顕著な対比から, 言語構成の形式的側面と意味的側面をそれぞれエンコードしていることを示す。
関連論文リスト
- Linguistic Structure from a Bottleneck on Sequential Information Processing [5.850665541267672]
我々は,過剰なエントロピーの最小化から自然言語のような体系性が生じることを示す。
人間の言語は、音韻学、形態学、構文学、意味論のレベルにおいて、過剰なエントロピーが低いように構成されていることを示す。
論文 参考訳(メタデータ) (2024-05-20T15:25:18Z) - Linearity of Relation Decoding in Transformer Language Models [82.47019600662874]
トランスフォーマー言語モデル(LM)で符号化された知識の多くは、関係性の観点から表現することができる。
関係のサブセットに対して、この計算は対象表現上の1つの線形変換によってよく近似されることを示す。
論文 参考訳(メタデータ) (2023-08-17T17:59:19Z) - Linear Spaces of Meanings: Compositional Structures in Vision-Language
Models [110.00434385712786]
事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。
まず,幾何学的観点から構成構造を理解するための枠組みを提案する。
次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
論文 参考訳(メタデータ) (2023-02-28T08:11:56Z) - Variational Cross-Graph Reasoning and Adaptive Structured Semantics
Learning for Compositional Temporal Grounding [143.5927158318524]
テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。
新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。
ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
論文 参考訳(メタデータ) (2023-01-22T08:02:23Z) - Are Representations Built from the Ground Up? An Empirical Examination
of Local Composition in Language Models [91.3755431537592]
構成的・非構成的句を表現することは言語理解にとって重要である。
まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。
意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
論文 参考訳(メタデータ) (2022-10-07T14:21:30Z) - The paradox of the compositionality of natural language: a neural
machine translation case study [15.37696298313134]
文献から3つの構成性テストを再確認し、ニューラルマシン翻訳(NMT)のために修正する。
NMTモデルの一貫性のない動作と(正しく)局所的処理と大域的処理の間を変調できないことの2つの主要な課題を浮き彫りにしている。
論文 参考訳(メタデータ) (2021-08-12T17:57:23Z) - Compositional Processing Emerges in Neural Networks Solving Math
Problems [100.80518350845668]
人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。
我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。
私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
論文 参考訳(メタデータ) (2021-05-19T07:24:42Z) - The Low-Dimensional Linear Geometry of Contextualized Word
Representations [27.50785941238007]
ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。
様々な言語特徴が低次元部分空間に符号化されていることを示す。
論文 参考訳(メタデータ) (2021-05-15T00:58:08Z) - Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。
言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。
単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
論文 参考訳(メタデータ) (2020-11-22T17:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。