論文の概要: The Attribution Blind Spot: Layerwise Trajectory Diagnostics for Source Reliance in Retrieval-Augmented Language Models
- arxiv url: http://arxiv.org/abs/2610.09493v1
- Date: Wed, 07 Oct 2026 05:47:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.742212
- Title: The Attribution Blind Spot: Layerwise Trajectory Diagnostics for Source Reliance in Retrieval-Augmented Language Models
- Title(参考訳): 帰属ブラインドスポット:検索言語モデルにおける情報源信頼のための階層的軌道診断
- Abstract要約: 制御された知識の衝突は、ソースの選択をオブザーバブルにする。
どの内部状態プロパティが有用な介入方向を定義するか?
トレーニング適合の第1主成分(PC1)へのサイン付きプロジェクションであるLatent Trajectory Shift(LTS)による隠れ状態のペア化について検討し,行動源選択とは別個のトレーニング露出を維持する。
- 参考スコア(独自算出の注目度): 22.202409807556517
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A retrieval-augmented model can match a document without relying on it. Controlled knowledge conflicts make source choice observable and let us ask a second question that prediction alone cannot answer: which internal-state properties define useful intervention directions? We study paired hidden-state changes with Latent Trajectory Shift (LTS), a signed projection onto a training-fitted first principal component (PC1), and keep verified training exposure separate from behavioral source choice. Across the evaluated conflicts, state-change magnitude is often the stronger predictor, whereas signed PC1 is the stronger selective controller: equal-norm interventions change source preference while better preserving non-target behavior, and the frozen direction transfers across the tested datasets and aligned model pairs. A same-system OLMo study further combines positive choice and control results with inconclusive exposure detection at the achieved power. The central result is a separation: representations that diagnose what a model will choose need not be the representations that best control that choice.
- Abstract(参考訳): 検索強化モデルは、ドキュメントを依存せずに文書にマッチさせることができる。
制御された知識の衝突は、ソースの選択を観測しやすくし、予測だけでは答えられない2つ目の疑問を問う。
トレーニング適合の第1主成分(PC1)へのサイン付きプロジェクションであるLatent Trajectory Shift(LTS)による隠れ状態のペア化について検討し,行動源選択とは別個のトレーニング露出を維持する。
評価された競合全体にわたって、状態変化のマグニチュードがより強力な予測器であるのに対して、署名されたPC1はより強力な選択的コントローラである。
同系統のOLMo研究は、肯定的な選択と制御結果と、達成されたパワーにおける非決定的な露光検出をさらに組み合わせている。
モデルが選択すべきものを診断する表現は、その選択を最も制御する表現にはならない。
関連論文リスト
- COSMO: Consensus-Driven Shift Modulation for Source-Free Domain Adaptation [79.43842208099619]
ソースフリードメイン適応(SFDA)は、ソースデータなしでラベルなしのターゲットドメインにソーストレーニングされたモデルを適用する。
VLM誘導型SFDAを標本単位の信頼性割当問題として定式化する。
本稿では,専門家から専門家への指導を協調適応に置き換えるために,COSMO(Consensus-Driven Shift Modulation)を提案する。
論文 参考訳(メタデータ) (2026-08-05T09:10:30Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳(メタデータ) (2026-07-02T14:33:07Z) - Beyond the Training Distribution: Evaluating Predictions Under Distribution Shift and Selection Bias [4.124127724629818]
デプロイ前に新しい環境で予測モデルがどのように機能するかを検討する。
任意のブラックボックス予測モデルのターゲットリスクを推定するための二重機械学習手法を提案する。
eICU電子健康記録データベースを用いた実験により推定器の評価を行った。
論文 参考訳(メタデータ) (2026-06-12T14:39:03Z) - Selective Mixup for Debiasing Question Selection in Computerized Adaptive Testing [50.805231979748434]
コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、オンライン教育プラットフォームにおける学習者の習熟度を評価する技術である。
選択バイアスは、質問選択が推定された熟練度に強く影響されるため生じる。
本稿では,Cross-Attribute Examinee RetrievalとSelective Mixup-based Regularizationの2つの主要なモジュールからなるデバイアス化フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-19T08:55:01Z) - Model-based causal feature selection for general response types [8.228587135343071]
Invariant causal prediction (ICP) は、不均一な設定からのデータを必要とする因果的特徴選択の手法である。
我々は変換モデル(TRAM)ベースのICPを開発し、連続的、分類的、カウント型、非形式的に検閲された応答を可能にする。
我々は、オープンソースのRパッケージ「tramicp」を提供し、シミュレーションデータに対する我々のアプローチを評価し、重篤な患者の生存の因果的特徴を調査する事例研究を行った。
論文 参考訳(メタデータ) (2023-09-22T12:42:48Z) - Large Class Separation is not what you need for Relational
Reasoning-based OOD Detection [12.578844450586]
Out-Of-Distribution (OOD) 検出法はセマンティックノベルティを識別して解を提供する。
これらの手法の多くは、既知のデータの学習段階を利用しており、これは正規性の概念を捉えるためのモデル(または微調整)を訓練することを意味する。
実行可能な代替手段は、大きな事前訓練されたモデルによって生成された埋め込み空間の類似性を評価することであり、それ以上の学習は行わない。
論文 参考訳(メタデータ) (2023-07-12T14:10:15Z) - Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。
本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。
我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文 参考訳(メタデータ) (2020-07-17T21:50:35Z) - NestedVAE: Isolating Common Factors via Weak Supervision [45.366986365879505]
我々は、バイアス低減の課題と、ドメイン間で共通する分離要因の関係を同定する。
共通因子を分離するために、潜伏変数モデルの理論と情報ボトルネック理論を組み合わせる。
共有重みを持つ2つの外部VAEは入力を再構成し、潜伏空間を推論し、一方、ネストされたVAEはペア化された画像の潜伏表現から1つの画像の潜伏表現を再構成しようとする。
論文 参考訳(メタデータ) (2020-02-26T15:49:57Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳(メタデータ) (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。