論文の概要: How do Transformer Embeddings Represent Compositions? A Functional Analysis

• arxiv url: http://arxiv.org/abs/2506.00914v1
• Date: Sun, 01 Jun 2025 09:02:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.788543
• Title: How do Transformer Embeddings Represent Compositions? A Functional Analysis
• Title（参考訳）: トランスフォーマーの埋め込みはどのように構成を表現するか? : 機能解析
• Authors: Aishik Nagar, Ishaan Singh Rawal, Mansi Dhanania, Cheston Tan,
• Abstract要約: Mistral、OpenAI Large、Googleの埋め込みモデルで構成性をテストし、BERTと比較します。 リッジ回帰は線形ではあるが、構成性には最適である。 驚いたことに、古典的ベクトル加算モデルは、他のどのモデルよりもほぼ同等に機能する。
• 参考スコア（独自算出の注目度）: 5.0310636905746975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositionality is a key aspect of human intelligence, essential for reasoning and generalization. While transformer-based models have become the de facto standard for many language modeling tasks, little is known about how they represent compound words, and whether these representations are compositional. In this study, we test compositionality in Mistral, OpenAI Large, and Google embedding models, and compare them with BERT. First, we evaluate compositionality in the representations by examining six diverse models of compositionality (addition, multiplication, dilation, regression, etc.). We find that ridge regression, albeit linear, best accounts for compositionality. Surprisingly, we find that the classic vector addition model performs almost as well as any other model. Next, we verify that most embedding models are highly compositional, while BERT shows much poorer compositionality. We verify and visualize our findings with a synthetic dataset consisting of fully transparent adjective-noun compositions. Overall, we present a thorough investigation of compositionality.
• Abstract（参考訳）: 構成性は人間の知性の重要な側面であり、推論と一般化に不可欠である。 トランスフォーマーベースのモデルは、多くの言語モデリングタスクのデファクトスタンダードとなっているが、それらが複合語をどのように表現しているか、そしてこれらの表現が構成的かどうかについてはほとんど分かっていない。 本研究では,Mistral,OpenAI Large,Googleの埋め込みモデルにおける構成性を検証し,BERTと比較する。 まず,6種類の合成モデル(加算,乗算,拡張,回帰など)を用いて,表現における構成性を評価する。 リッジ回帰は線形ではあるが、構成性には最適である。 驚いたことに、古典的ベクトル加算モデルは、他のどのモデルよりもほぼ同等に機能する。 次に、ほとんどの埋め込みモデルは高い構成性を示し、BERTはより低構成性を示す。 完全透明な形容詞-名詞構成からなる合成データセットを用いて, 実験結果の検証と可視化を行った。 総合的に、構成性について徹底的な調査を行う。

関連論文リスト

• How compositional generalization and creativity improve as diffusion models are trained [82.08869888944324]
  構成規則を学習するために生成モデルに必要なサンプルはいくつあるか? ルールを学習するために、データのどのシグナルが利用されるのか? ここで紹介する階層的クラスタリング機構と物理における再正規化群との関係について論じる。
  論文  参考訳（メタデータ） (2025-02-17T18:06:33Z)
• A Complexity-Based Theory of Compositionality [53.025566128892066]
  AIでは、構成表現は配布外一般化の強力な形式を可能にすることができる。 ここでは、構成性に関する直観を考慮し、拡張する、表現的構成性と呼ばれる定義を提案する。 私たちは、AIと認知科学の両方において、文学全体から異なる直観を統一する方法を示します。
  論文  参考訳（メタデータ） (2024-10-18T18:37:27Z)
• What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
  本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。 既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
  論文  参考訳（メタデータ） (2024-05-02T20:10:27Z)
• Syntax-guided Neural Module Distillation to Probe Compositionality in Sentence Embeddings [0.0]
  構文解析に基づいてニューラルモジュールネットを構築し,それをエンドツーエンドにトレーニングし,文の埋め込みを近似する。 各種文埋め込みモデルの蒸留性の違いは,その性能と大きく相関している。 文埋め込みモデルにおける多くの構文誘導合成が線形であることの予備的証拠である。
  論文  参考訳（メタデータ） (2023-01-21T19:42:02Z)
• When and why vision-language models behave like bags-of-words, and what to do about it? [39.90099818890488]
  我々は、VLMが様々な種類の関係、属性、順序を理解する能力を評価するために、属性、関係、順序のベンチマークを作成します。 AROは、以前の構成性のベンチマークよりも桁違いに大きく、5万以上のテストケースがある。 我々は、最先端のVLMが、リレーショナル理解が不十分で、オブジェクトを属性にリンクする場合に、ブルンダーが可能であることを示し、注文感度の深刻な欠如を示す。
  論文  参考訳（メタデータ） (2022-10-04T22:13:25Z)
• Compositionality as Lexical Symmetry [42.37422271002712]
  意味解析、命令追従、質問応答といったタスクでは、標準的なディープネットワークは小さなデータセットから合成的に一般化できない。 本稿では、モデルよりもデータ分布の対称性の制約として、構成性のドメイン一般およびモデル非依存の定式化を提案する。 LEXSYMと呼ばれる手法は,これらの変換を自動的に検出し,通常のニューラルシーケンスモデルのトレーニングデータに適用する。
  論文  参考訳（メタデータ） (2022-01-30T21:44:46Z)
• Assessing Phrasal Representation and Composition in Transformers [13.460125148455143]
  ディープトランスモデルはNLPタスクのパフォーマンスを新たな限界に押し上げた。 本稿では,最先端の事前学習型トランスにおけるフレーズ表現の系統的解析を行う。 これらのモデルにおける句表現は、単語の内容に大きく依存しており、ニュアンスな構成の証拠はほとんどない。
  論文  参考訳（メタデータ） (2020-10-08T04:59:39Z)
• A Study of Compositional Generalization in Neural Models [22.66002315559978]
  本稿では,合成概念や関係概念から画像を生成するConceptWorldを紹介する。 我々は、合成論と関係を一般化する標準ニューラルネットワークの能力をテストする実験を行う。 単純な問題に対して、すべてのモデルは閉じた概念によく一般化するが、より長い構成的連鎖に苦しむ。
  論文  参考訳（メタデータ） (2020-06-16T18:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。