論文の概要: Do We Need an LLM to Know Why Sources Conflict? Decision Models for Knowledge-Conflict Typing in RAG

• arxiv url: http://arxiv.org/abs/2610.36915v1
• Date: Tue, 27 Oct 2026 09:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.557804
• Title: Do We Need an LLM to Know Why Sources Conflict? Decision Models for Knowledge-Conflict Typing in RAG
• Title（参考訳）: 情報源が矛盾する理由を知るには LLM が必要か? : RAG における知識競合型決定モデル
• Abstract要約: テキストを生成する代わりに、1つのフォワードパスで固定オプションに対して確率を返す型決定モデルが、この分類を迅速かつ安価に行うことができるかどうかを検討する。 同一入力におけるGeminiモデルに対して、7つのプロバイダから1つの商用推論ゲートウェイによって提供される11の決定モデルすべてを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When the sources retrieved for a query disagree, the right response depends on why they disagree: a question with several valid answers, a contested topic, stale information and a false source each call for different behaviour. Cattan et al. (2025) showed that telling a generator the conflict type improves its responses by about 24 points, but that predicting the type is hard even for frontier LLMs. We study whether typed decision models, which return probabilities over fixed options in a single forward pass instead of generating text, can do this classification fast and cheaply. Using the CONFLICTS benchmark and the original paper's prompt verbatim, we evaluate all 11 decision models served by one commercial inference gateway, from 7 providers, against Gemini models on identical inputs. Asked directly, the decision models reach 50.0--67.0% accuracy; 10 of the 11 match or exceed Gemini 2.5 Flash, the paper's model (61.3%), at 4--39x lower billed cost (2 were free) and 2.6--6.0x lower latency. The current Gemini 3.8 Flash (70.0%) is significantly more accurate than 8 of them, but sending each decision model's least confident quarter of queries to it gives a cascade statistically tied with it for 8 of the 11, at 25--37% of its cost. End to end, answers generated with the types of 10 of the 11 follow the expected behaviour as often as with the LLM's types. Decomposing the taxonomy into yes/no questions lowers accuracy for every model, and a repair fitted on one model does not transfer. Pre-specified diagnostics show that dates play no measurable role and that sensitivity to source order varies widely between models. Decision models detect a planted false source less reliably than the LLM as hard labels, but their probabilities still separate planted from clean sources. We release code, prompts and all model outputs at https://github.com/Parv17k/decision-models-conflict-typing.
• Abstract（参考訳）: クエリーのために検索されたソースが一致しない場合、正しいレスポンスは、なぜそうでないのかによって異なる: 有効な回答がいくつかある質問、競合するトピック、古い情報、そして異なる振る舞いを要求する偽のソース。 Cattan et al (2025) は、ジェネレータにコンフリクトタイプの応答が約24ポイント向上することを示したが、フロンティアLSMでも予測は困難であることを示した。 テキストを生成する代わりに、1つのフォワードパスで固定オプションに対して確率を返す型決定モデルが、この分類を迅速かつ安価に行うことができるかどうかを検討する。 CONFLICTSベンチマークと原論文の即時評価を用いて、同一入力上のジェミニモデルに対して、7つのプロバイダから1つの商用推論ゲートウェイによって提供される11の判定モデルすべてを評価する。 決定モデルの精度は50.0--67.0%に達し、11つのうち10つがGemini 2.5 Flash、61.3%は紙のモデルで、4--39倍の請求コスト(2つは無料)、2.6--6.0xは遅延時間である。現在のGemini 3.8 Flash(70.0%)は8つよりもかなり正確だが、各決定モデルの信頼性の低いクォーターを11つのうち8つに統計的に結びついたカスケードを、そのコストの25-37%で提供する。 結局のところ、11の10の型で生成された答えは、LLMの型と同様に期待された振る舞いに従う。 分類をイエス/ノーに分解すると、すべてのモデルの精度が低下し、1つのモデルに装着された修復は転送されない。 事前に特定された診断は、日付が測定可能な役割を果たせず、ソースオーダーに対する感受性がモデルによって大きく異なることを示している。 決定モデルは、ハードラベルとしてLLMよりも確実に植木された偽源を検出するが、その確率は依然としてクリーンソースとは分離されている。 コード、プロンプト、およびすべてのモデル出力はhttps://github.com/Parv17k/decision-models-conflict-typingでリリースします。

関連論文リスト

• Two Uncertainties Are Not One: Disagreement versus Decision-Risk in Cheap Structured Content Moderation [0.0]
  フリーズされた"System One"モデルの新たなクラスは、テキストの代わりにタイプされ、キャリブレーションされた決定を1コールあたり0.000025、100ミリ秒で返します。 人間のラベル付きコメント142,658件に対して、そのようなモデルの最初の独立した監査を行い、それを14のフロンティア推論モデルと比較した。 インスツルメンテーション、キャッシュされた実行、そして分析をリリースします。
  論文  参考訳（メタデータ） (2026-10-23T20:08:04Z)
• Not All Test-Time Compute Is Evidence: Model-Specific Bias in LLM Reasoning [4.223010731824652]
  誤差は、繰り返しサンプル、推論深度、およびモデル自身の自己評価において相関していることを示す。 本稿では,中間段階と最終段階の予測の相違を推論不安定性の問合せ信号として扱うDIAを紹介する。
  論文  参考訳（メタデータ） (2026-10-16T09:48:02Z)
• Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
  System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。 オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
  論文  参考訳（メタデータ） (2026-10-01T05:57:14Z)
• JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
  JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。 ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。 Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
  論文  参考訳（メタデータ） (2026-09-25T11:32:19Z)
• When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models [0.0]
  マルチモデルLPMシステムは単一モデルの精度を上回ります。 彼らの利益は、ほとんど報告されない量で占められていることを示す。
  論文  参考訳（メタデータ） (2026-06-25T17:06:06Z)
• Probing for Knowledge Attribution in Large Language Models [45.47366023067617]
  大規模言語モデル(LLM)は、しばしば流動的だが根拠のないクレームや幻覚を生成する。 適切な緩和は、モデルの答えがプロンプトまたは内部の重みに基づいているかどうかを知ることに依存する。 モデル隠れ表現に基づいて訓練された単純な線形分類器であるプローブは、帰納的帰属を確実に予測できることを示す。
  論文  参考訳（メタデータ） (2026-02-26T09:21:12Z)
• Independence Tests for Language Models [47.0749292650885]
  2つのモデルの重みを考えると、独立してトレーニングされたかどうかテストできますか? 制約付きと制約なしの2つの設定を検討します。 本稿では,2つのモデル間の隠れアクティベーションに一致し,逆変換やモデルアーキテクチャの変更に対して堅牢な新しいテストを提案する。
  論文  参考訳（メタデータ） (2025-02-17T20:01:08Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• Selective Question Answering under Domain Shift [90.021577320085]
  モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。 キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。 提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
  論文  参考訳（メタデータ） (2020-06-16T19:13:21Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。