論文の概要: Geometric Signatures of Compositionality Across a Language Model's Lifetime

• arxiv url: http://arxiv.org/abs/2410.01444v3
• Date: Fri, 07 Feb 2025 03:19:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:54:40.809892
• Title: Geometric Signatures of Compositionality Across a Language Model's Lifetime
• Title（参考訳）: 言語モデルの生涯における構成性の幾何学的シグナチャ
• Authors: Jin Hwa Lee, Thomas Jiralerspong, Lei Yu, Yoshua Bengio, Emily Cheng,
• Abstract要約: 現代言語モデルは、構成性によって実現された言語の本質的な単純さを反映しているかどうかを考察する。 構成性と幾何学的複雑性の関係は,学習した言語的特徴から生じる。 本分析では, 言語構成の意味的側面と表面的側面をそれぞれ符号化し, 非線形次元と線形次元の顕著な対比を示した。
• 参考スコア（独自算出の注目度）: 47.25475802128033
• License:
• Abstract: By virtue of linguistic compositionality, few syntactic rules and a finite lexicon can generate an unbounded number of sentences. That is, language, though seemingly high-dimensional, can be explained using relatively few degrees of freedom. An open question is whether contemporary language models (LMs) reflect the intrinsic simplicity of language that is enabled by compositionality. We take a geometric view of this problem by relating the degree of compositionality in a dataset to the intrinsic dimension (ID) of its representations under an LM, a measure of feature complexity. We find not only that the degree of dataset compositionality is reflected in representations' ID, but that the relationship between compositionality and geometric complexity arises due to learned linguistic features over training. Finally, our analyses reveal a striking contrast between nonlinear and linear dimensionality, showing they respectively encode semantic and superficial aspects of linguistic composition.
• Abstract（参考訳）: 言語構成性により、構文規則はほとんどなく、有限語彙は無拘束の文を生成できる。 つまり、言語は高次元に見えるが、比較的少数の自由度で説明できる。 オープンな疑問は、現代言語モデル(LM)が、構成性によって実現される言語の本質的な単純さを反映しているかどうかである。 本稿では,データセットにおける構成性の度合いを,その表現の内在次元(ID)に関連付けることで,この問題の幾何学的考察を行う。 データセットの構成性の度合いが表現のIDに反映されているだけでなく、構成性と幾何学的複雑性の関係が学習時の言語的特徴から生じることが分かる。 最後に, 言語構成の意味的側面と表面的側面をそれぞれ符号化し, 非線形次元と線形次元の顕著なコントラストを明らかにした。

関連論文リスト

• Investigating Idiomaticity in Word Representations [9.208145117062339]
  我々は2つの言語(英語とポルトガル語)における様々な水準の慣用性を持つ名詞に焦点をあてる。 そこで本研究では,各名詞の音韻性判定を含む最小対のデータセットについて,タイプレベルとトークンレベルの両方で示す。 AffinityとScaled similarityの詳細なメトリクスセットを定義し、モデルが慣用性の変化につながる可能性のある摂動に対してどれほど敏感であるかを判断する。
  論文  参考訳（メタデータ） (2024-11-04T21:05:01Z)
• Evaluating Morphological Compositional Generalization in Large Language Models [17.507983593566223]
  大規模言語モデル (LLM) の形態的一般化能力について, 構成性のレンズによる検討を行った。 我々はトルコ語やフィンランド語などの凝集言語に焦点を当てている。 解析の結果,LLMは特に新規語根に適用する場合,形態的構成一般化に苦慮していることが明らかとなった。 モデルは偶然よりも個々の形態的組み合わせを識別できるが、その性能は体系性に欠けており、人間に比べてかなりの精度の差が生じる。
  論文  参考訳（メタデータ） (2024-10-16T15:17:20Z)
• Linearity of Relation Decoding in Transformer Language Models [82.47019600662874]
  トランスフォーマー言語モデル(LM)で符号化された知識の多くは、関係性の観点から表現することができる。 関係のサブセットに対して、この計算は対象表現上の1つの線形変換によってよく近似されることを示す。
  論文  参考訳（メタデータ） (2023-08-17T17:59:19Z)
• Recursive Neural Networks with Bottlenecks Diagnose (Non-)Compositionality [65.60002535580298]
  データの構成性の定量化は難しい課題であり、主に短い発話のために研究されている。 モデルにおけるデータの表現とボトルネックの有無を比較することで,構成性の測定値が得られることを示す。 本手法は、合成データを用いた算術式の評価と、自然言語データを用いた感情分類に適用する。
  論文  参考訳（メタデータ） (2023-01-31T15:46:39Z)
• CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
  専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。 CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。 言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
  論文  参考訳（メタデータ） (2022-11-04T12:56:12Z)
• Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models [91.3755431537592]
  構成的・非構成的句を表現することは言語理解にとって重要である。 まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。 意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
  論文  参考訳（メタデータ） (2022-10-07T14:21:30Z)
• Morphology Without Borders: Clause-Level Morphological Annotation [8.559428282730021]
  形態学を単語レベルではなく節レベルの現象と考えることを提案する。 我々は,英語,ドイツ語,トルコ語,ヘブライ語という4つの類型的に異なる言語を対象として,節レベルの形態に関する新しいデータセットを提供する。 実験の結果,節レベルタスクは各単語レベルタスクよりも格段に難しいが,言語間では同等に複雑であることがわかった。
  論文  参考訳（メタデータ） (2022-02-25T17:20:28Z)
• The Combinatorics of \textit{Salva Veritate} Principles [0.0]
  文法的構成性の概念は、自然言語と人工言語の両方の多くの理論に現れる。 構成性の事例の多くは、言語の表現力に関する非自明な主張を伴っていなければならない。
  論文  参考訳（メタデータ） (2022-01-13T19:00:56Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Compositionality and Generalization in Emergent Languages [42.68870559695238]
  深層マルチエージェントシミュレーションで現れる言語が、新しいプリミティブの組み合わせに類似する能力を持っているかどうかを考察する。 創発的言語の合成度合いと一般化能力の相関関係は見つからない。 構成的な言語が多ければ多いほど、新しい学習者が習得しやすくなります。
  論文  参考訳（メタデータ） (2020-04-20T08:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。