論文の概要: Divergent large language model predictions from convergent representations in ambiguous word pairs

• arxiv url: http://arxiv.org/abs/2608.01816v1
• Date: Mon, 03 Aug 2026 07:26:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.373111
• Title: Divergent large language model predictions from convergent representations in ambiguous word pairs
• Title（参考訳）: あいまいな単語対における収束表現からの発散した大言語モデル予測
• Abstract要約: 層間解析により,デコーダのみの変換器が語彙のあいまいさを解消する方法について検討する。 ホモニムとポリセムの両方に対して、表現は中層で最大に区別され、その後、後半層で部分的に再収束する。
• 参考スコア（独自算出の注目度）: 2.4087148947930634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work we investigate how decoder-only transformers resolve lexical ambiguity through layer-by-layer analysis of three models spanning three parameter sizes (GPT-2-Small-117M, Llama-3.2-3B, Qwen2.5-32B). For both homonyms and polysemes, we find that representations become maximally distinct in middle layers, then partially reconverge in late layers, while the KL divergence between their next-token predictions reaches its maximum in the final layers. The activation patching experiment provides causal evidence that late-layer representational differences directly determine outputs despite apparent increased similarity in embedding space. Our single-layer ablation experiment indicates that models achieve equivalent disambiguation despite qualitatively different layer-wise vulnerabilities. These findings offer a mechanism for recent observations where models' internal embedding similarities show low correlation with their behavioural outputs despite strong performance. The semantic distinctions therefore remain present but become increasingly invisible to similarity measures over the embeddings, with implications for embedding-based methods such as semantic search, retrieval, and clustering that rely on late-layer cosine similarity.
• Abstract（参考訳）: 本研究では,3つのパラメータサイズ(GPT-2-Small-117M,Llama-3.2-3B,Qwen2.5-32B)にまたがる3つのモデルの層間層間解析により,デコーダのみの変換器による語彙曖昧性の解消方法を検討する。 ホモニムとポリセムの両方において、表現は中層で最大に区別され、その後後半層で部分的に再収束し、次層でのKLの発散は最終層で最大となる。 アクティベーションパッチ実験は、埋め込み空間における明らかな類似性の増加にもかかわらず、後期層表現差が直接出力を決定するという因果的証拠を提供する。 我々の単層アブレーション実験は、定性的に異なる層幅の脆弱性にもかかわらず、モデルが等価な曖昧さを達成することを示唆している。 これらの知見は、モデルの内部埋め込み類似性が強い性能にもかかわらず、行動出力との相関が低いという最近の観察のメカニズムを提供する。 したがって、セマンティックな区別は依然として存在するが、埋め込みに関する類似性尺度はますます見えなくなり、セマンティック検索、検索、後期層コサインの類似性に依存するクラスタリングのような埋め込みに基づく手法に意味を持つ。

関連論文リスト

• Mapping and Measuring the Behavioral Evolution of Large Language Models [28.603443859513153]
  ベンチマークのリーダーボードは、言語モデルのパフォーマンスを概説するが、その振る舞いが他のモデルとどのように関係しているか、世代によって異なる。 1万のプロンプトの共有バンクに対する応答を用いて、6つのファミリーから32モデルの出力挙動を特徴付ける。
  論文  参考訳（メタデータ） (2026-08-11T15:07:28Z)
• Investigating Anisotropy in Visual Grounding under Controlled Counterfactual Perturbations [1.423280626666929]
  接地モデルは意味的にミスマッチしたキャプションで評価されることは滅多にない。 本研究は, 埋込異方性が反現実的失敗に寄与するかどうかを考察する。
  論文  参考訳（メタデータ） (2026-05-09T17:54:31Z)
• On the Structural Non-Preservation of Epistemic Behaviour under Policy Transformation [51.56484100374058]
  このような情報条件の相互作用パターンを振る舞い依存として定式化する。 これにより、$$-behavioural equivalenceというプローブ相対的な概念と、政治内行動距離が導かれる。 その結果、共通政策変換の下でプローブ条件の挙動分離が保存されない構造条件が明らかになった。
  論文  参考訳（メタデータ） (2026-02-24T22:55:21Z)
• Convergence and Divergence of Language Models under Different Random Seeds [26.31262670498101]
  コンバージェンス(コンバージェンス)は,種子間でのコンバージェンス(コンバージェンス)を期待値として測定する。 より大きなモデルは後続のトレーニング段階でより高速に再収束するのに対し、小さなモデルは実際には再収束しない。
  論文  参考訳（メタデータ） (2025-09-30T17:59:50Z)
• Multi-Level Collaboration in Model Merging [56.31088116526825]
  本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。 これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
  論文  参考訳（メタデータ） (2025-03-03T07:45:04Z)
• Tracing Representation Progression: Analyzing and Enhancing Layer-Wise Similarity [20.17288970927518]
  本研究では,各変圧器の隠蔽層間の表現の類似性について検討する。 層間の表現が正の相関を示し、層が近づくと類似度が増加する。 浅い層の有効性を向上させるためのアライメント・トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T16:41:09Z)
• Exploring Activation Patterns of Parameters in Language Models [27.454051736471374]
  モデルパラメータのアクティベーションレベルを評価するための勾配に基づく計量法を提案する。 浅い層のパラメータは密に活性化されるため、パラメータの大部分は出力に大きな影響を与える。 深層層では、活性化パラメータの分布の類似性は経験的データ関連性と正に相関する。
  論文  参考訳（メタデータ） (2024-05-28T03:49:54Z)
• Duality-Induced Regularizer for Semantic Matching Knowledge Graph Embeddings [70.390286614242]
  本稿では, 類似のセマンティクスを持つエンティティの埋め込みを効果的に促進する新しい正規化器(duality-induced RegulArizer (DURA))を提案する。 実験により、DURAは、最先端のセマンティックマッチングモデルの性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2022-03-24T09:24:39Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• Learning from Aggregate Observations [82.44304647051243]
  本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。 本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。 単純な極大解は様々な微分可能なモデルに適用できる。
  論文  参考訳（メタデータ） (2020-04-14T06:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。