論文の概要: What Counts as Evidence? Epistemic Cue Utilization in Large Language Models
- arxiv url: http://arxiv.org/abs/2610.12788v1
- Date: Thu, 08 Oct 2026 22:45:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.310213
- Title: What Counts as Evidence? Epistemic Cue Utilization in Large Language Models
- Title(参考訳): エビデンスとは何か? : 大規模言語モデルにおける疫学的キューの利用
- Abstract要約: 情報源が一致しない場合には,どの情報が言語モデルの判断を形作るかを検討する。
500のシナリオと5つの補完的なトラックのベンチマークを使用して、キューの識別、キューの影響、競合を分離します。
我々は,一致したシャム素材,事実回復,構造化された証拠記録,付加的な重み付け原理を用いた3つのQwenチェックポイントに介入した。
- 参考スコア(独自算出の注目度): 25.305603518318993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Which information actually shapes a language model's judgment when sources disagree? We study epistemic cue utilization through a controlled benchmark of 500 scenarios and five complementary tracks separating cue identification, cue influence, and competition between source, temporal, and presentation cues. Across 13 LLMs, nearly identical recognition of relative source reliability can accompany effects ranging from negligible to complete choice reversal when source histories are exchanged. The resulting profiles distinguish models that rely on source history from those more responsive to evidence lineage, event time, or presentation order. We then intervene on three Qwen checkpoints using matched sham material, fact restatement, structured evidence records, and an additional weighting principle. Restatement increases reliability sensitivity in the two 27B models, and adding the principle increases it by a further 39.2 and 47.2 percentage points relative to the ledger. The 9B model instead changes its sensitivity to evidence lineage without a comparable reliability response. Verified-state accuracy remains 100\% throughout these interventions. Together, the benchmark and interventions show that identifying an epistemic cue and allowing it to influence judgment are distinct, experimentally measurable aspects of model behavior.
- Abstract(参考訳): 情報源が一致しない場合、どの情報が実際に言語モデルの判断を形作るのか?
本研究は,500のシナリオと5つの相補的トラックの制御されたベンチマークを用いて,cueの識別,cueの影響,およびソース,時間,プレゼンテーションのコンペティションについて検討した。
13個のLDMで、相対的なソース信頼性のほぼ同一の認識は、ソース履歴が交換されるときに、無視できるものから完全な選択逆転までの影響を伴う可能性がある。
結果として得られたプロファイルは、ソース履歴に依存するモデルと、エビデンス系統、イベント時間、プレゼンテーション順序に応答するモデルとを区別する。
次に、一致したシャム素材、事実の再考、構造化された証拠記録、追加の重み付け原理を用いて、3つのQwenチェックポイントに介入した。
リステートメントは2つの27Bモデルの信頼性感度を高め、原則を追加して、台帳に対してさらに39.2と47.2のパーセンテージを増す。
9Bモデルは、その感度を、同等の信頼性のないエビデンスラインに変更する。
検証された状態の精度は、これらの介入を通して100%である。
ベンチマークと介入は、認識的キューを識別し、判断に影響を及ぼすことが、モデル行動の異なる実験的に測定可能な側面であることを示している。
関連論文リスト
- Stale-Document Poisoning: When Outdated Retrieval Overrides Correct Model Answers [1.9140495620245608]
検索なしで正しい回答をしても、古い証拠がモデルに悪影響を及ぼすような、時間的アライメント障害、古文書中毒を同定する。
我々は、医学、法律、ソフトウェア、プラットフォームポリシーにまたがる317の検証済み知識逆転のベンチマークを構築し、公式資料を根拠にしている。
論文 参考訳(メタデータ) (2026-09-25T14:43:43Z) - TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction [48.104261148149654]
TimeLitmusは、イベント条件付き時系列予測における相互理解と忠実さの説明のための診断ベンチマークである。
TimeLitmusには財務と交通の計4,856件の評価記録がある。
論文 参考訳(メタデータ) (2026-09-21T14:38:49Z) - EvidentialRAG: Quantifying and Mitigating Information Conflict in Multi-Source Retrieval-Augmented Generation via Evidential Deep Learning [0.2730969268472861]
本稿では,取得したチャンクを生成前に確率的証拠に変換する不確実性を考慮したRAGフレームワークであるERAGを紹介する。
CRAG、ConflictQA、MuSiQueの実験は、ERAGが標準質問応答における最強一致ベースラインと競争力を維持していることを示している。
論文 参考訳(メタデータ) (2026-07-11T21:56:15Z) - Trust, but Don't Verify: Epistemic Blind Spots in LLM Source Evaluation [0.0]
モデルが生成した統計量を検出する能力を持っているが、マルチソース合成においてこの能力を採用していないことを示す。
具体的には、ソースの影響は、解析テキストの分布レジスタに応答するが、数値の有効性には反応しない方法論登録ゲートによって制御される。
論文 参考訳(メタデータ) (2026-06-03T20:15:48Z) - Three Regimes of Context-Parametric Conflict: A Predictive Framework and Empirical Validation [0.0]
大規模言語モデルが学習知識と矛盾する文書の相違にどのように対処するかを考察する。
本稿では,Regime 1 (単一ソース更新),Regime 2 (競合統合),Regime 3 (タスクに適した選択)という3つの登録フレームワークを提案する。
我々はClaude Sonnet 4.6、GPT-5.5、Gemini 2.5 Flash、Llama 4 Maverick、DeepSeek V3の3つの実験段階で9,970のAPIコールを使用してフレームワークを検証する。
論文 参考訳(メタデータ) (2026-05-12T06:00:48Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳(メタデータ) (2025-10-02T02:14:33Z) - Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。
因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
論文 参考訳(メタデータ) (2025-09-24T13:06:35Z) - Detecting and Identifying Selection Structure in Sequential Data [53.24493902162797]
我々は,音楽のシーケンスなどの実践的な状況において,潜在目的に基づくデータポイントの選択的包摂が一般的である,と論じる。
選択構造はパラメトリックな仮定や介入実験なしで識別可能であることを示す。
また、他の種類の依存関係と同様に、選択構造を検知し、識別するための証明可能な正当性アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-06-29T20:56:34Z) - Nonparametric Identifiability of Causal Representations from Unknown
Interventions [63.1354734978244]
本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。
我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
論文 参考訳(メタデータ) (2023-06-01T10:51:58Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳(メタデータ) (2023-05-23T12:05:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。