論文の概要: Evidence Integration in Large Language Models
- arxiv url: http://arxiv.org/abs/2609.04290v1
- Date: Thu, 03 Sep 2026 11:57:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.768577
- Title: Evidence Integration in Large Language Models
- Title(参考訳): 大規模言語モデルにおけるエビデンス統合
- Abstract要約: 我々は,受信者の初期解答の分布が,受信者の事前重みと候補証拠傾倒によってどのように変化するかを示す。
私たちは、1000万以上のトライアル、4つのファミリーから12のLSM、そして8つのドメインを確認します。
ネットワークの後半には,外部候補の回答を許容するステップの構造化シーケンスとして,候補統合が実装されていることを示す。
- 参考スコア(独自算出の注目度): 1.3092549225920291
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite increasing reliance on LLMs that reason with external evidence supplied by tools, retrieval-augmented generation, other agents, and users, how LLMs integrate such evidence into decisions they have already begun to form remains largely unclear. We present a distributional theory in which evidence shifts the receiver's distribution of initial answers, driven by a receiver prior weight and a candidate evidence tilt, leading to three predictions. First, candidates more probable to the receiver are more persuasive. Second, receivers more readily integrate characteristic errors of their own than foreign errors from different sources. Third, identical evidence can improve weaker models and harm stronger ones. We confirm these over ten million trials, twelve LLMs from four families, and eight domains, four of them scientific discovery tasks in the physical and life sciences: quantum mechanics, physics, genetics, and molecular biology. The law also yields a receiver-relative reliability frontier: receiver-congruent errors depress performance more steeply than random errors of the same rate. LLMs also integrate candidates even after internally verifying their invalidity (93-100% with propositional constraints; up to 99.4% on held-out physical and life-sciences reasoning), demonstrating evidence integration is a receiver-specific control policy over existing distributions, determined by receiver properties rather than scalar trust in the evidence source. Causal interventions show candidate integration is implemented late in the network, as a structured sequence of steps admitting external candidate answers, promoting them, and transporting them into the answer state. Representations of verification are decodable but have little causal impact on answers. A J-lens decomposition shows the state underlying verbalized verification is fully dissociable from that underlying candidate integration.
- Abstract(参考訳): ツール、検索強化された世代、その他のエージェント、そしてユーザによって提供される外部の証拠によって、LCMに依存度が高まるが、LCMがこれらの証拠をどのように統合して、既に形成が始まっている決定に組み込むかは、明らかになっていない。
本稿では,受信者の初期解答の分布を,受信者の事前重みと疑似証拠傾きによって変化させることで,3つの予測が導かれる分布理論を提案する。
第一に、受信者にとってより確率の高い候補の方が説得力が高い。
第2に、受信機は異なるソースからの外国のエラーよりも、独自の特性エラーを容易に統合する。
第三に、同一の証拠はより弱いモデルを改善し、より強いモデルを傷つける可能性がある。
量子力学、物理学、遺伝学、分子生物学の4つの分野において、これらの1000万以上の試行、12のLLM、そして8つのドメイン、そしてそれらのうちの4つの科学的発見タスクは、物理科学と生命科学の分野における量子力学、物理学、遺伝学、分子生物学である。
この法則はまた、レシーバ相対的な信頼性フロンティアを与える: 受信側一致誤差は、同じレートのランダムなエラーよりも、パフォーマンスを著しく低下させる。
証拠統合は、証拠源へのスカラー信頼ではなく、受信者特性によって決定される、既存の分布に対する受信者固有の制御ポリシーである。
因果的介入は、外部の候補回答を認め、それらを促進し、答え状態に転送する一連のステップとして、ネットワークの後半に候補統合が実施されることを示している。
検証の表現は無視可能であるが、回答に因果的な影響はほとんどない。
J-lens分解は、言語化検証の根底にある状態が、その基盤となる候補統合と完全に解離可能であることを示している。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳(メタデータ) (2026-09-10T08:34:56Z) - Minimax games for quantum channel discrimination [52.790001414559136]
量子チャネル識別は、量子力学を識別、検証、ベンチマークするための原始的なタスクである。
ここでは、テスタとジャマーの両方が別々の入力を制御できるゲーム理論フレームワークを紹介する。
我々は、達成可能性の結果を強い逆結果にアップグレードし、複数のゲームモデルに対して強い逆特性を確立する一般引数を開発する。
論文 参考訳(メタデータ) (2026-09-09T07:46:08Z) - CausalGame: Benchmarking Causal Thinking of LLM Agents in Games [55.189910630332065]
CausalGameは、AI Scientistsの因果思考能力を評価するためのベンチマークである。
選択バイアス、測定エラー、隠れた共同設立者を含む14のシナリオを設計します。
最高のモデルは78-85%の分析最適値に対して68.0%しか生存できず、セッションの5-7%は因果推論するルーリックのクレジットを受け取っている。
論文 参考訳(メタデータ) (2026-07-05T13:08:51Z) - One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。
その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。
12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
論文 参考訳(メタデータ) (2026-06-30T10:54:16Z) - Position: Correct Answer, Wrong Mechanism -- When AI Scientists Defend General Claims Their Own Data Contradicts [0.0]
コーディングエージェントは信頼できるツールを証明しているが、オープンエンドのクレーム作成のための信頼性の低い科学的共著者である。
一段階の体制シフトチェックは、エージェントのクレームのみを必要とし、過度に一般化されたケースにフラグを付ける。
コンパニオン再計算は、正しいオブザーバブルがわかっている場合の残りのケースをフラグする。
論文 参考訳(メタデータ) (2026-06-22T11:14:07Z) - DeepSciVerify: Verifying Scientific Claim--Citation Alignment via LLM-Driven Evidence Escalation [39.146761527401424]
本稿では,科学的クレーム引用検証のための2段階パイプラインであるDeepSciVerifyを紹介する。
このシステムはまず, 要約を用いてクレームを検証し, 必要な場合にのみ全文を検索, 解析する。
論文 参考訳(メタデータ) (2026-05-26T21:33:29Z) - Contradiction to Consensus: Dual Perspective, Multi Source Retrieval Based Claim Verification with Source Level Disagreement using LLM [0.17188280334580197]
事実確認と呼ばれるクレーム検証は、潜在的な誤情報を特定するのに役立つ。
ほとんどの自動クレーム検証システムは単一の知識源に依存している。
オープンドメインのクレーム検証のための新しいシステムを提案する。
論文 参考訳(メタデータ) (2026-02-21T02:21:31Z) - The Facade of Truth: Uncovering and Mitigating LLM Susceptibility to Deceptive Evidence [49.94160400740222]
MisBeliefは、協調的な多ラウンドの相互作用によって誤解を招く証拠を生成するフレームワークである。
MisBeliefを用いて、3つの難易度で4,800のインスタンスを生成し、7つの代表的なLCMを評価する。
結果は、モデルは直接的な誤報に対して堅牢であるが、この洗練された証拠に非常に敏感であることを示している。
本稿では,疑似意図を証拠裏で推測することにより早期警告信号を提供するガバナンス機構である,認知的意図遮蔽(DIS)を提案する。
論文 参考訳(メタデータ) (2026-01-09T02:28:00Z) - Proximity-Based Evidence Retrieval for Uncertainty-Aware Neural Networks [6.9681910774977815]
本研究は,不確実性を考慮した意思決定のためのエビデンス・検索機構を提案する。
それぞれのテストインスタンスに対して、例題は埋め込み空間で検索され、それらの予測分布はデンプスター・シェーファー理論を介して融合される。
支持する証拠は明確であるため、決定は透明で監査可能である。
論文 参考訳(メタデータ) (2025-09-11T13:12:22Z) - CRAVE: A Conflicting Reasoning Approach for Explainable Claim Verification Using LLMs [15.170312674645535]
CRAVE は、説明可能なクレーム VErification に対する Conflicting Reasoning Approach である。
大規模な言語モデルによって推論される矛盾する理性に基づいて、複雑なクレームを検証することができる。
CRAVEは最先端の手法よりもはるかに優れた性能を実現している。
論文 参考訳(メタデータ) (2025-04-21T07:20:31Z) - Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies [66.30619782227173]
大規模言語モデル(LLMs)は、流動的で説得力のある誤った応答を生成することができる。
ユーザの信頼を形作るLCM応答のいくつかの特徴を同定する。
説明は正しい応答と誤応答の両方に依存することが判明した。
情報源が提供された場合や説明が矛盾している場合の誤った応答への依存度は低い。
論文 参考訳(メタデータ) (2025-02-12T16:35:41Z) - Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳(メタデータ) (2024-07-15T23:41:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。