論文の概要: When Retrieval Partially Conflicts with Skills: Understanding Procedural Hallucination in Language Models
- arxiv url: http://arxiv.org/abs/2610.25827v1
- Date: Mon, 19 Oct 2026 05:43:27 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:09:53.477922
- Title: When Retrieval Partially Conflicts with Skills: Understanding Procedural Hallucination in Language Models
- Title（参考訳）: 検索がスキルと部分的に対立する時--言語モデルにおける手続き的幻覚を理解する
- Abstract要約: モデルが検索支援されるが、スキル非有意な回答を生成する失敗について検討する。
SourceClashは1271個のバンドルと6,355個のプロシージャを10のプロシージャドメインで組み合わせたベンチマークである。
9つのモデルで、有効回答率は平均25.7%で、78.2%と72.8%の2つのサポート付き検索設定で比較されている。
- 参考スコア（独自算出の注目度）: 29.895986422736872
- License:
- Abstract: Language models increasingly use skills that provide reusable instructions and procedures for task execution. After a relevant skill has been selected, the model may need to apply its governing procedure together with retrieved task context. When the retrieved context is useful but contains cues that violate the skill, the model must retain compatible information while rejecting the conflicting cues. We study failures in which the model adopts such cues and produces a retrieval-supported but skill-invalid answer, which we call procedural hallucination. We introduce SourceClash, a matched benchmark with 1,271 bundles and 6,355 prompts across ten procedural domains. Each bundle fixes the task, skill specification, and answer space while varying the relation between the skill and retrieval. Across nine models, valid-answer rates average 25.7% under conflicting retrieval, compared with 78.2% and 72.8% under two supportive retrieval settings. Mechanistic analysis of open-weight models shows that the answer-preference difference typically reaches its maximum shortly after generation begins. Residual replacement moves the model toward valid answers, while attention decomposition attributes most of the repair to value vectors. Intervention at the identified value pathway also improves final answer validity. These results characterize how partly conflicting retrieval changes skill-guided generation.
- Abstract（参考訳）: 言語モデルは、タスク実行のための再利用可能な命令と手順を提供するスキルをますます使います。
関連するスキルが選択された後、モデルは、検索されたタスクコンテキストとともに、その管理手順を適用する必要があるかもしれない。
検索されたコンテキストが有用だが、スキルに反するキューを含んでいる場合、モデルは矛盾するキューを拒否しながら互換性のある情報を保持する必要がある。
本研究では,このような手法をモデルが採用する失敗について検討し,検索支援のスキル非有意な回答を生成し,手続き幻覚(Procedural Hallucination)と呼ぶ。
SourceClashは1271個のバンドルと6,355個のプロシージャを10のプロシージャドメインで組み合わせたベンチマークである。
各バンドルは、スキルと検索の関係を変化させながら、タスク、スキル仕様、および回答空間を修正します。
9つのモデルで、有効回答率は平均25.7%で、78.2%と72.8%の2つのサポート付き検索設定で比較されている。
オープンウェイトモデルの力学解析は、解-参照差が生成開始直後にその最大値に達することを典型的に示している。
残留置換はモデルを有効な解へと移動させ、注意分解は修理の大部分を値ベクトルに割り当てる。
同定された値経路での介入は、最終回答の妥当性も向上する。
これらの結果から,検索の相違がスキルガイド生成にどう影響するかが明らかになった。
関連論文リスト
- OptiRepair: Closed-Loop Diagnosis and Repair of Supply Chain Optimization Models with LLM Agents [19.31559944205485]
サプライチェーン最適化モデルは、しばしばモデリングエラーのために実現不可能になる。
我々は、このタスクをドメインに依存しないフィージビリティフェーズとドメイン固有の検証フェーズの2つのフェーズに分解する。
976のマルチエキロンサプライチェーン問題に対して、7つのファミリーから22のAPIモデルをテストする。
論文 参考訳（メタデータ） (2026-02-23T02:19:05Z) - HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。
HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。
我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
論文 参考訳（メタデータ） (2026-02-15T02:50:15Z) - Pointwise Mutual Information as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
文脈と問合せの間のポイントワイドな相互情報は,言語モデルの性能向上に有効な指標であることを示す。
本稿では,文書と質問のポイントワイドな相互情報を利用する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:14:09Z) - Assessing "Implicit" Retrieval Robustness of Large Language Models [17.006566708461346]
様々な大規模言語モデルの「単純」検索頑健性を評価する。
金と気を散らすコンテキストの混合による微調整は、モデルの不正確な検索に対する堅牢性を大幅に向上させる。
これは、大きな言語モデルは、最終回答の監督からのみ学習することで、関連性または無関係な検索コンテキストを暗黙的に扱うことができることを示唆している。
論文 参考訳（メタデータ） (2024-06-26T07:38:24Z) - Cumulative Reasoning with Large Language Models [12.267474250936123]
Cumulative Reasoning (CR)は、大規模言語モデル(LLM)問題解決を強化する構造化フレームワークである。
CRはLLMを3つの異なる役割 - Proposer、Verifier(s)、Reporter - タスクを体系的に分解し、中間的推論ステップを生成し、検証し、ソリューションに構成する。
論文 参考訳（メタデータ） (2023-08-08T16:18:20Z) - Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。
再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
論文 参考訳（メタデータ） (2022-04-15T14:51:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。