論文の概要: Quantifying Compositionality of Classic and State-of-the-Art Embeddings

• arxiv url: http://arxiv.org/abs/2509.19332v1
• Date: Sun, 14 Sep 2025 18:28:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-28 15:30:14.428061
• Title: Quantifying Compositionality of Classic and State-of-the-Art Embeddings
• Title（参考訳）: 古典的および最先端の埋め込みの組成性の定量化
• Authors: Zhijin Guo, Chenhao Xue, Zhaozhen Xu, Hongbo Bo, Yuxuan Ye, Janet B. Pierrehumbert, Martha Lewis,
• Abstract要約: 我々は、既知のエンティティ属性とそれらの埋め込みの間の線形性を測定する2段階の評価を形式化する。 また,L2損失,コサイン類似度,検索精度などの再構成指標も確認した。 強い構成信号は、後の訓練段階でデータモダリティを越えて観測される。
• 参考スコア（独自算出の注目度）: 9.862058044710704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For language models to generalize correctly to novel expressions, it is critical that they exploit access compositional meanings when this is justified. Even if we don't know what a "pelp" is, we can use our knowledge of numbers to understand that "ten pelps" makes more pelps than "two pelps". Static word embeddings such as Word2vec made strong, indeed excessive, claims about compositionality. The SOTA generative, transformer models and graph models, however, go too far in the other direction by providing no real limits on shifts in meaning due to context. To quantify the additive compositionality, we formalize a two-step, generalized evaluation that (i) measures the linearity between known entity attributes and their embeddings via canonical correlation analysis, and (ii) evaluates additive generalization by reconstructing embeddings for unseen attribute combinations and checking reconstruction metrics such as L2 loss, cosine similarity, and retrieval accuracy. These metrics also capture failure cases where linear composition breaks down. Sentences, knowledge graphs, and word embeddings are evaluated and tracked the compositionality across all layers and training stages. Stronger compositional signals are observed in later training stages across data modalities, and in deeper layers of the transformer-based model before a decline at the top layer. Code is available at https://github.com/Zhijin-Guo1/quantifying-compositionality.
• Abstract（参考訳）: 言語モデルが新しい表現に正しく一般化するためには、それが正当化されるとき、それらがアクセス構成の意味を利用することが重要である。 ペロップ」が何かがわからなくても、「10ペロップ」が「2ペロップ」よりも多くのペロップを生み出すことを理解するために、数字の知識を利用することができる。 Word2vecのような静的な単語の埋め込みは、構成性について強く、実際に過度に主張した。 しかし、SOTA生成モデル、トランスフォーマーモデル、グラフモデルは、コンテキストによる意味のシフトに真の制限を与えることによって、反対方向を行き過ぎている。 加法的な構成性を定量化するために、二段階の一般化された評価を定式化する。 一 正準相関解析により既知実体属性とその埋め込みの線形性を測定すること。 (2) 未確認属性の組み合わせに対する埋め込みを再構築し、L2損失、コサイン類似性、検索精度などの再構成指標をチェックすることにより、加法的一般化を評価する。 これらのメトリクスは、線形合成が故障する障害ケースもキャプチャする。 文、知識グラフ、単語の埋め込みが評価され、すべての層と訓練段階における構成性を追跡する。 後続のトレーニング段階では,データモダリティをまたいだ強い構成信号が観測され,上層での低下前にトランスフォーマーモデルより深い層で観測される。 コードはhttps://github.com/Zhijin-Guo1/quantifying-compositionalityで公開されている。

関連論文リスト

• How do Transformer Embeddings Represent Compositions? A Functional Analysis [5.0310636905746975]
  Mistral、OpenAI Large、Googleの埋め込みモデルで構成性をテストし、BERTと比較します。 リッジ回帰は線形ではあるが、構成性には最適である。 驚いたことに、古典的ベクトル加算モデルは、他のどのモデルよりもほぼ同等に機能する。
  論文  参考訳（メタデータ） (2025-06-01T09:02:56Z)
• When does compositional structure yield compositional generalization? A kernel theory [0.0]
  固定された構成的表現を持つカーネルモデルにおける合成一般化の理論を示す。 学習データのバイアスから生じる合成一般化における新しい障害モードを同定する。 本研究は, 学習データの統計的構造が構成一般化にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2024-05-26T00:50:11Z)
• Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Pre-trained Sentence Embeddings for Implicit Discourse Relation Classification [26.973476248983477]
  暗黙の談話関係は、より小さな言語単位を一貫性のあるテキストに結合する。 本稿では,暗黙的対話関係感覚分類のためのニューラルネットワークにおけるベース表現として,事前学習文の埋め込みの有用性について検討する。
  論文  参考訳（メタデータ） (2022-10-20T04:17:03Z)
• Disentangled Action Recognition with Knowledge Bases [77.77482846456478]
  本研究では,新規な動詞や新規な名詞に対する合成行動認識モデルの一般化能力の向上を目指す。 従来の作業では、知識グラフ内の動詞-名詞合成アクションノードを使用しており、スケールを非効率にしている。 本提案手法は, 行動の固有な構成性を活用する, 知識ベースを用いた不整合行動認識(DARK)である。
  論文  参考訳（メタデータ） (2022-07-04T20:19:13Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)
• Distilling Relation Embeddings from Pre-trained Language Models [35.718167335989854]
  事前学習した言語モデルから関係埋め込みを蒸留することが可能であることを示す。 我々は、(手動または自動生成)プロンプトを使って単語ペアを符号化し、言語モデルを微調整する。 結果として得られる関係埋め込みは、アナログ(教師なし)と関係分類(教師なし)のベンチマークで非常に競合する。
  論文  参考訳（メタデータ） (2021-09-21T15:05:27Z)
• RatE: Relation-Adaptive Translating Embedding for Knowledge Graph Completion [51.64061146389754]
  複素空間における新たな重み付き積の上に構築された関係適応変換関数を提案する。 次に、関係適応型翻訳埋め込み(RatE)アプローチを示し、各グラフを3倍にスコアする。
  論文  参考訳（メタデータ） (2020-10-10T01:30:30Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。