論文の概要: The "Curse of Knowledge" in LLM Query Simulation: Concept Provenance for Tracing Answer-Side Intrusion

• arxiv url: http://arxiv.org/abs/2608.25245v1
• Date: Wed, 26 Aug 2026 00:06:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.497477
• Title: The "Curse of Knowledge" in LLM Query Simulation: Concept Provenance for Tracing Answer-Side Intrusion
• Title（参考訳）: LLMクエリーシミュレーションにおける「知識のコース」: 回答側からの侵入を追跡するための概念実証
• Abstract要約: 本稿では,背景支援型,人中心型,人尾型,候補型応答側ゾーンに問合せ概念を割り当てるフレームワークである概念実証を紹介した。 概念証明を100UQV100トピック,8LLM,5プロンプト条件の77,004クエリに適用し,5条件平均以上1.0のクロスパイプトークン-HCIRスピアマンローを求める。 人間の検証は68.2%の精度で緩和され、45.5%の知識侵入と45.0パーセントのデプロイメント侵入という2つのメカニズムが明らかになった。
• 参考スコア（独自算出の注目度）: 8.706093337738869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-generated search queries are widely used to augment IR evaluation, yet they may contain concepts that presuppose answer-side document knowledge, violating the information-access boundary of pre-search users. Existing validation metrics, including overlap, diversity, and effectiveness, cannot distinguish rare human-tail variation from candidate answer-side intrusion. We introduce concept provenance, a framework that assigns query concepts to backstory-supported, human-central, human-tail, and candidate answer-side zones, operationalizing a boundary that retrieval metrics alone cannot detect. Applying concept provenance to 77,004 queries across 100 UQV100 topics, 8 LLMs, and 5 prompt conditions with two extraction pipelines, we obtain a cross-pipeline token-HCIR Spearman rho of 1.0 over five condition means. Candidate answer-side concepts constitute 7.40 percent of non-generic concepts and appear in 97 of 100 topics, with topic explaining approximately 67 percent of variance. Human validation yields 68.2 percent relaxed precision, revealing two mechanisms: knowledge intrusion at 45.5 percent and deployment intrusion at 45.0 percent. Diagnostic probes show disproportionate localized retrieval effects, with deletion effect size d = -0.47 compared with d = -0.34 for random deletion, but these concepts explain less than 2 percent of aggregate evaluation variance. Concept provenance therefore serves as a boundary-compliance diagnostic rather than an evaluation-shift predictor. Under the tested conditions, no prompt condition eliminates intrusion; post-generation concept-provenance selection achieves 99 percent elimination.
• Abstract（参考訳）: LLM生成した検索クエリはIR評価の強化に広く用いられているが、回答側の文書知識を前提とした概念が含まれており、検索前ユーザの情報アクセス境界に違反する可能性がある。 重複、多様性、有効性を含む既存の検証指標は、疑似回答側の侵入と稀な人尾変動を区別することはできない。 提案手法は,検索基準だけでは検出できない境界を運用する,背景支援型,人間中心型,人間中心型,人尾型,候補対応の応答側ゾーンに問合せ概念を割り当てるフレームワークである。 また,100UQV100トピック,8LLM,5のプロンプト条件に77,004のクエリを2つの抽出パイプラインで適用することにより,5つの条件平均で1.0のクロスパイプトークン-HCIRスピアマンロッドを求める。 候補となる回答側の概念は、非ジェネリックな概念の7.40%を占め、100のトピックの97に現れ、約67%の分散について説明する。 人間の検証は68.2%の精度で緩和され、45.5%の知識侵入と45.0パーセントのデプロイメント侵入という2つのメカニズムが明らかになった。 診断プローブは、ランダム削除の場合、d = -0.34と比較して、削除効果の大きさが d = -0.47 であるような局所的な検索効果を示すが、これらの概念は、集合評価のばらつきの2%未満を説明できる。 したがって、概念実証は評価シフト予測器ではなく境界適合診断として機能する。 試験条件下では、プロンプト条件は侵入を排除せず、ポストジェネレーションのコンセプト・プロヴァンス選択は99%の除去を達成する。

関連論文リスト

• The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
  決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。 本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。 検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
  論文  参考訳（メタデータ） (2026-09-14T17:13:05Z)
• Beyond Self-Knowledge: Propagating Uncertainty Across Reasoning and Retrieval in LLMs [4.476374205849672]
  ブラックボックス言語モデルの言語的信頼度は、検索ルーティングのための実用的な信号として機能する。 6つのQAベンチマーク、3つのモデルファミリー、3つの検索ポリシーで27,000のポリシーインスタンスを評価した。
  論文  参考訳（メタデータ） (2026-07-28T11:30:25Z)
• Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
  大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。 仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。 本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
  論文  参考訳（メタデータ） (2026-07-17T08:56:43Z)
• Beyond Localization: A Comprehensive Diagnosis of Perspective-Conditioned Spatial Reasoning in MLLMs from Omnidirectional Images [52.50752250573993]
  MLLM(Multimodal Large Language Models)は、視覚的知覚が強いが、視点の変化による空間の推論には限界がある。 本研究では、この課題を全方位360度画像におけるパースペクティブ・コンディションド・スペース・推論(PCSR)として検討する。 我々は2,600全方位画像から84,373組の質問応答対の診断ベンチマークであるPCSR-Benchを紹介する。
  論文  参考訳（メタデータ） (2026-05-12T17:11:17Z)
• Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation [0.0]
  DriftBenchは、科学的思考における制約の順守を評価するためのベンチマークである。 繰り返し圧力は構造的複雑さを確実に増加させ、しばしば元の制約への固執を減少させる。 オープンベンチマークとして、すべてのブリーフ、プロンプト、ルックス、書き起こし、スコアをリリースします。
  論文  参考訳（メタデータ） (2026-04-30T15:46:33Z)
• ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
  LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。 IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。 当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
  論文  参考訳（メタデータ） (2026-04-09T10:26:32Z)
• From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
  異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。 商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。 低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
  論文  参考訳（メタデータ） (2026-03-02T13:02:13Z)
• AI Transparency Atlas: Framework, Scoring, and Real-Time Model Card Evaluation Pipeline [2.1787849426740364]
  我々は5つのフロンティアモデル(Gemini 3, Grok 4.1, Llama 4, GPT-5, Claude 4.5)と100台のHugging Faceモデルカードからドキュメントを分析した。 安全クリティカルな開示を優先する8つのセクションと23のサブセクションからなる重み付き透明性フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-13T19:48:44Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
  マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
  論文  参考訳（メタデータ） (2024-11-05T01:11:28Z)
• Elastic Weight Removal for Faithful and Abstractive Dialogue Generation [61.40951756070646]
  対話システムは、関連する文書に含まれる知識に忠実な応答を生成するべきである。 多くのモデルは、それと矛盾したり、検証不可能な情報を含んでいる代わりに幻覚応答を生成する。 本手法は,幻覚と抽出反応を同時に阻止するために拡張できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-30T17:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。