論文の概要: Vernier: Probing Representational Misalignment Behind Lexical Gaps in Causal Reasoning

• arxiv url: http://arxiv.org/abs/2606.15733v1
• Date: Sun, 14 Jun 2026 10:29:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.812126
• Title: Vernier: Probing Representational Misalignment Behind Lexical Gaps in Causal Reasoning
• Title（参考訳）: Vernier: 因果推論における語彙ギャップの裏側における表現的ミスアライメントの探索
• Abstract要約: 英語の変数名を型保存プレースホルダーに置き換えた後、命令調整型言語モデルは、同じ因果関係の質問に異なる方法で答えることができることを示す。 この語彙的ギャップは、プレースホルダービューにおける情報損失を反映しているか、まだ回答関連コンテンツを持っている表現からミスアライメントされた読み出しを反映しているのかを問う。
• 参考スコア（独自算出の注目度）: 2.347843817145202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction-tuned language models can answer the same causal-reasoning question differently after its English variable names are replaced by type-preserving placeholders, although the structural causal model and the gold answer are unchanged. We ask whether this lexical gap reflects information loss in the placeholder view or a misaligned read-out from a representation that still carries answer-relevant content. Vernier uses a paired-view weight update as an instrument and then inspects the mechanism left after the gap closes. In the working regimes, the evidence favours representational misalignment. A variable-name probe becomes more accurate on the placeholder view, and activation patching on Qwen-7B, Qwen-14B, and Llama-3.1-8B shows that the decision-token representation can transfer answer identity between views. The update that realigns the views is counterfactual augmentation over original and placeholder prompts, while the answer-subspace KL mainly sharpens intermediate answer-belief agreement. Success is bounded by model family, scale, and task. CRASS transfer is reliable across Qwen scales and Llama, e-CARE remains weak, and preliminary non-causal rename tasks show a similar qualitative pattern.
• Abstract（参考訳）: インストラクションチューニング言語モデルは、構造因果モデルと金の答えは変わらないが、英語の変数名をタイプ保存プレースホルダーに置き換えた後に、同じ因果関係の質問に答えることができる。 この語彙的ギャップは、プレースホルダービューにおける情報損失を反映しているか、まだ回答関連コンテンツを持っている表現からミスアライメントされた読み出しを反映しているのかを問う。 Vernierは、ペアビューのウェイトアップデートを楽器として使用し、ギャップが閉じた後に残ったメカニズムを検査する。 労働体制においては、その証拠は表現上のミスアライメントを好む。 プレースホルダービューでは、変数名プローブがより正確になり、Qwen-7B、Qwen-14B、Llama-3.1-8Bのアクティベーションパッチは、ビュー間で応答IDを転送可能であることを示す。 見解を具現化する更新は、原案とプレースホルダーのプロンプトに対する反ファクト的な拡張であり、回答サブスペースKLは主に中間回答と信頼性の合意を鋭くする。 成功はモデルファミリー、スケール、タスクによって制限される。 CRASS転送はQwenスケールとLlamaで信頼性があり、e-CAREは弱いままであり、予備的な非因果リネームタスクも同様の定性パターンを示す。

関連論文リスト

• Inside VLM Chart Reading: Tracing Value Reading from Vertical Bar Charts Across Space and Depth [50.62320148925983]
  視覚言語モデル(VLM)は、チャートの質問に正確に答えることができるが、正確な値を取り戻すのに必要な証拠をどのように組み合わせるかは、出力精度が示さない。 Qwen2.5VL-7B-Instruct および InternVL3.5-8B における反現実的活性化パッチによる垂直バー値の読み出しについて検討した。
  論文  参考訳（メタデータ） (2026-09-12T06:28:11Z)
• When Absence Is Evidence: Evaluating Completeness-Sensitive Negative Reasoning in Large Language Models [11.54793572552358]
  大規模言語モデル(LLM)は、レコード、リスト、検索されたコンテキストから何かが欠落しているかどうかを尋ねられることが多い。 これを完全性に敏感な負の推論と呼ぶ。 CROWN-QAは,クエリ関係のカバレッジだけを変化させつつ,問題を修正し,事実を観察する,制御されたペアコアである。
  論文  参考訳（メタデータ） (2026-08-05T08:53:16Z)
• Geometry-Adaptive Explainer for Faithful Dictionary-Based Interpretability under Distribution Shift [17.611062308867275]
  分布シフトは、モデルが積極的に使用する部分空間を回転させ、イン・ディストリビューション(ID)アクティベーションに基づいて訓練された説明者の辞書を誤ることを示す。 我々は,このミスアライメントを,ID辞書とOOD活性部分空間との間の幾何学的距離である忠実度ギャップとして定式化する。 提案するGeometry-Adaptive Explainer (GAE, Geometry-Adaptive Explainer) は,従来の特徴構造を保ちながら,OOD-active 部分空間で説明者の辞書を実現する。
  論文  参考訳（メタデータ） (2026-05-21T00:46:01Z)
• Faithful or Fabricated? A Causal Framework for Rationalization Bias in LLM Judges [19.04544141221272]
  大言語モデル(LLM)は、要約と対話評価のための自動判断器として、ますます使われている。 我々は LLM の審査員が Cue-invariant であるかどうかを問う。 我々は、一連のキュー介入(Blind, Truth, Flip, Placebo, Reveal-After)と、結果アンカーと合理性アンカーの定量化のためのタイアウェアメトリクスを導入します。
  論文  参考訳（メタデータ） (2026-05-13T07:00:16Z)
• Self-Corrected Image Generation with Explainable Latent Rewards [55.29175717238288]
  我々は、説明可能なLatent RewarDを通じて生成をガイドする自己修正フレームワークであるxLARDを提案する。 xLARDは、モデル生成参照からの構造化されたフィードバックに基づいて遅延表現を洗練する軽量な修正器を導入している。 実験により、xLARDは、生成前の状態を維持しながら、意味的アライメントと視覚的忠実性を改善することが示された。
  論文  参考訳（メタデータ） (2026-03-26T02:59:35Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Answer, Assemble, Ace: Understanding How LMs Answer Multiple Choice Questions [103.20281438405111]
  MCQA(Multiple-choice Question answering)は、高性能トランスフォーマー言語モデルのキーコンピテンスである。 我々は,正解を予測するための関連情報をエンコードするキー隠れ状態のローカライズに語彙予測とアクティベーションパッチ手法を用いる。 後続の層は語彙空間における予測応答記号の確率を増大させ、この確率の増加は、特異な役割を持つ注目ヘッドのスパースセットと関連していることを示す。
  論文  参考訳（メタデータ） (2024-07-21T00:10:23Z)
• An Analysis of Attention via the Lens of Exchangeability and Latent Variable Models [64.87562101662952]
  入力トークンは、位置エンコーディングを含むため、しばしば交換可能であることを示す。 我々は入力トークンの十分かつ最小限の表現の存在を確立する。 所望パラメータの注意が近似誤差まで潜伏した後部を推定することを証明する。
  論文  参考訳（メタデータ） (2022-12-30T17:59:01Z)
• Subjective Question Answering: Deciphering the inner workings of Transformers in the realm of subjectivity [0.0]
  私は最近リリースされたSpat-selection Question Answering、すなわちSubjQAのデータセットを利用しています。 SubjQAは、6つの異なるドメインのレビュー項に対応する主観的な意見を求める質問を含む最初のデータセットである。 私はTransformerベースのアーキテクチャの内部動作を調査し、まだよく理解されていない"ブラックボックス"モデルの理解を深めるために貢献しました。
  論文  参考訳（メタデータ） (2020-06-02T13:48:14Z)
• What Happens To BERT Embeddings During Fine-tuning? [19.016185902256826]
  細調整がBERTモデルの表現に与える影響について検討する。 微調整は主にBERTの上位層に影響を与えるが、タスク間で注目すべきバリエーションがある。 特に、依存関係解析はモデルのほとんどを再構成するが、SQuADとMNLIはより浅い処理を伴っているように見える。
  論文  参考訳（メタデータ） (2020-04-29T19:46:26Z)
• SQuINTing at VQA Models: Introspecting VQA Models with Sub-Questions [66.86887670416193]
  現状のVQAモデルでは、知覚や推論の問題に答える上で同等の性能を持つが、一貫性の問題に悩まされていることを示す。 この欠点に対処するため、サブクエスト対応ネットワークチューニング(SQuINT)というアプローチを提案する。 我々は,SQuINTがモデル一貫性を5%向上し,VQAにおける推論問題の性能も改善し,注意マップも改善したことを示す。
  論文  参考訳（メタデータ） (2020-01-20T01:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。