論文の概要: A Mechanistic Understanding of Pronoun Fidelity in LLMs

• arxiv url: http://arxiv.org/abs/2606.16407v1
• Date: Mon, 15 Jun 2026 08:45:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.245073
• Title: A Mechanistic Understanding of Pronoun Fidelity in LLMs
• Title（参考訳）: LLMにおける代名詞の忠実度に関する力学的理解
• Authors: Katharina Trinley, Jesujoba O. Alabi, Dietrich Klakow, Vagrant Gautam,
• Abstract要約: グループ実体結合(G)、回帰バイアス(R)、ステレオタイプバイアス(S)の3つのメカニズムが複数のSOTA言語モデルに因果的に実装されているかを検討する。 モデル動作を完全に説明できるメカニズムは存在しないが、3つの組み合わせは一貫して99.5%1-9である。 要約すると、代名詞の忠実さは同時に活性な因果部分空間間の競合から生じる。
• 参考スコア（独自算出の注目度）: 21.554337243825884
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Faithful and robust pronoun use is important for fair and coherent generations, yet large language models largely fail when multiple referents use different pronouns. To study the interplay of reasoning, repetition, and bias in this task, prior work relies exclusively on behavioural approaches, which may not reflect a model's internal workings. Therefore, we provide a mechanistic, model-internal perspective on pronoun fidelity, testing whether three mechanisms -- group entity binding (G), recency bias (R), and stereotypical bias (S) -- are causally implemented across several SOTA language models. Using Boundless Distributed Alignment Search, we find all three coexist as causal subspaces distributed across network depth. No single mechanism fully explains model behaviour, but a combination of the three consistently accounts for 91-99.5%. An attention head analysis further reveals two competing copying routes; group binding and stereotype share a localized concept-level route that retrieves a bound occupation-pronoun unit, while recency uses a distributed token-level route that repeats surface forms. In sum, pronoun fidelity arises from competition between simultaneously active causal subspaces.
• Abstract（参考訳）: 忠実で堅牢な代名詞の使用は、公平で一貫性のある世代にとって重要であるが、複数の参照者が異なる代名詞を使用すると、大きな言語モデルはほとんど失敗する。 このタスクにおける推論、反復、バイアスの相互作用を研究するために、先行作業はモデルの内部動作を反映しない行動的アプローチにのみ依存する。 そこで, 代名詞の忠実度に関する機械的, モデル-内部的視点を提供し, グループ実体結合(G), 回帰バイアス(R), ステレオタイプバイアス(S)の3つのメカニズムが複数のSOTA言語モデルに因果的に実装されているかどうかを検証した。 境界のない分散アライメント探索を用いて,ネットワーク深度に分散した因果部分空間として共存する3つの部分空間を探索する。 モデル動作を完全に説明できるメカニズムは存在しないが、3つの組み合わせは常に91-99.5%を占める。 グループバインディングとステレオタイプは、限定された占有確率単位を検索するローカライズされた概念レベルルートを共有する一方、Recencyは、表面形状を繰り返す分散トークンレベルルートを使用する。 要約すると、代名詞の忠実さは同時に活性な因果部分空間間の競合から生じる。

関連論文リスト

• DisPOSE: Projected Polystochastic Diffusion for Self-Supervised Multi-View 3D Human Pose Estimation [58.47973015036709]
  DisPOSEは、本質的に離散的な多視点人物割り当て問題を近似する自己教師型フレームワークである。 特定可能なシンクホーン射影を用いることにより、本モデルは有効かつ実現可能な課題への解の導出を学ぶ。 提案手法は、標準データセット上での最先端の自己教師手法よりも優れている。
  論文  参考訳（メタデータ） (2026-06-05T16:14:39Z)
• Peer Identity Bias in Multi-Agent LLM Evaluation: An Empirical Study Using the TRUST Democratic Discourse Analysis Pipeline [0.0]
  我々は、TRUSTの全てのアクティブなアイデンティティ露光チャンネルにおいて、識別依存のスコアリングバイアスを初めて体系的に測定した。 単一チャネルの匿名化は、個々のチャネルが反対方向に作用し、互いにキャンセルするので、ほぼゼロのバイアス効果をもたらす。 1つの試験されたモデルは、他の2倍から3倍の塩基性シコファンシーを示し、イデオロギーに関するほぼゼロの熟考的対立を示す。
  論文  参考訳（メタデータ） (2026-04-24T19:32:01Z)
• The Illusion of Superposition? A Principled Analysis of Latent Thinking in Language Models [15.12701445445687]
  潜在CoTを用いた推論において,言語モデルが実際に重ね合わせを利用するかどうかを検討する。 スクラッチからトレーニングされたモデルだけが、重ね合わせを使うことの兆候を示します。 この結果は、連続連鎖推論において重畳がいつ、なぜ生じるのかを統一的に説明できる。
  論文  参考訳（メタデータ） (2026-04-07T18:59:32Z)
• UniG2U-Bench: Do Unified Models Advance Multimodal Understanding? [50.92401586025528]
  統一マルチモーダルモデルは、最近強力な生成能力を示したが、生成が理解を改善したかどうかはまだ不明である。 提案するUniG2U-Benchは,G2U(Generation-to-understanding)評価を7つのシステマと30のサブタスクに分類する総合ベンチマークである。
  論文  参考訳（メタデータ） (2026-03-03T18:36:16Z)
• Generation Space Size: Understanding and Calibrating Open-Endedness of LLM Generations [30.476953783731307]
  実効生成空間サイズ(英語版)(GSS)は、モデルがプロンプトに対して考慮する意味的に異なる出力の集合である。 GSSBench(英語版)は、異なるメトリクスを評価するために、GSS関係を持つプロンプトペアからなるタスクスイートである。 幻覚検出指標、特にEigenScoreは、標準の多様性と不確実な定量化指標を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-14T16:31:34Z)
• Escaping Plato's Cave: JAM for Aligning Independently Trained Vision and Language Models [30.07172193932125]
  本稿では,JAM(Joint Autoencoder Modulator)が独立に訓練された表現のアライメントを誘導することを示す。 本研究は, 共通意味論の構造に関する理論的知見と, 一般論的な一助的基礎を専門的マルチモーダルモデルに変換するための実践的ガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-07-01T21:43:50Z)
• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• Rethinking the Two-Stage Framework for Grounded Situation Recognition [61.93345308377144]
  接地状況認識は「人間のような」事象理解に向けた重要なステップである。 既存のGSR手法では、第1段階で動詞を予測し、第2段階での意味的役割を検出するという、2段階の枠組みを採用している。 本稿では,CFVM (Coarse-to-Fine Verb Model) と Transformer-based Noun Model (TNM) で構成される新しいGSR用SituFormerを提案する。
  論文  参考訳（メタデータ） (2021-12-10T08:10:56Z)
• Multi-sense embeddings through a word sense disambiguation process [2.2344764434954256]
  最も適した感覚。 (MSSA)は、その文脈の意味的効果を考慮して、それぞれの単語をその特定の感覚で曖昧にし、注釈する。 我々は,単語類似性タスクの6つの異なるベンチマークでアプローチを検証し,そのアプローチが最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-01-21T16:22:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。