論文の概要: Can LLMs in Draft-Verify-Revise Pipelines Resolve Deictic Ambiguity?

• arxiv url: http://arxiv.org/abs/2609.12162v1
• Date: Thu, 10 Sep 2026 19:49:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.532142
• Title: Can LLMs in Draft-Verify-Revise Pipelines Resolve Deictic Ambiguity?
• Title（参考訳）: LLMs in Draft-Verify-Revise Pipelines Resolve Deicic Ambiguity?
• Abstract要約: Draft-verify-reviseは推論時間計算のスケーリングのためのオーケストレーションパターンである。 Draft-verify-reviseパイプラインは、デリケートなシフトを警戒し、各ステージで意図した参照を明示するべきである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Draft-verify-revise is a common LLM orchestration pattern for scaling inference-time compute. One LLM drafts, a second critiques the draft and provides feedback, and a third uses that feedback to revise the draft into the final output. As context cascades between stages, LLMs at different stages can resolve a context-dependent expression such as "previous" differently. When that happens, the expression undergoes a deictic shift, a change in what it refers to. This phenomenon was studied with a synthetic dataset of 10 base examples, each rendered in three conditions. Holding the shared components constant, the conditions varied whether the draft stage LLM (the assistant) or the verify stage LLM (the grader) resolved the expression correctly, and how much independent reasoning the revise stage LLM (the meta-evaluator) needed to determine which reading was correct. Six models from three providers were tested across 21 reasoning effort configurations using e-values for sequential testing, in a primary experiment and an ablation experiment that removed error classification labels from the grader's feedback. A separate LLM analyzed the meta-evaluator's stated rationale for each wrong verdict. Balanced accuracy (the unweighted mean of sensitivity and specificity) ranged from 0.156, below chance, to near-perfect. GPT-5.2 rose from 0.156 without reasoning to 0.942 at its highest reasoning effort level, while Gemini 3 Pro stayed above 0.94 at every level. Gemini 3 Pro at low reasoning effort outscored GPT-5.2 at xhigh reasoning effort for roughly 5% of the cost per trial. When the meta-evaluator erred, it tended to rely on surface cues rather than operational reasoning. Context engineers implementing draft-verify-revise pipelines should be wary of deictic shifts and make the intended referent explicit at each stage.
• Abstract（参考訳）: Draft-verify-reviseは、推論時間計算をスケールするための一般的なLLMオーケストレーションパターンである。 1つのLCMドラフト、もう1つはドラフトを批判し、フィードバックを提供する。 ステージ間のコンテキストカスケードとして、異なるステージにおけるLCMは、"previous"のようなコンテキスト依存の表現を異なる方法で解決することができる。 それが起こると、表現はデリケートなシフト、すなわちそれが指すものを変える。 この現象は10塩基サンプルの合成データセットを用いて研究され、それぞれが3つの条件でレンダリングされた。 共有成分を一定に保ちながら、ドラフトステージLLM(アシスタント)か検証ステージLLM(グレーダ)で式を正しく解決するか、どの読み出しが正しいかを決定するのに必要な修正ステージLLM(メタ評価器)でどの程度独立した推論を行うかが条件によって異なる。 3つのプロバイダからの6つのモデルが、シーケンシャルなテストのためにe値を使用して21の推論作業構成でテストされ、初等実験と、グレーダのフィードバックからエラー分類ラベルを除去するアブレーション実験が行われた。 別個のLCMは、誤判定毎にメタ評価者の主張する根拠を分析した。 バランスの取れた精度(感度と特異性の非重み付き平均)は0.156からほぼ完璧に変化した。 GPT-5.2は最大推力で0.942まで上昇し、ジェミニ3 Proは0.94以上にとどまった。 ゲミニ3 Proは低推理で、試験1回あたりのコストの約5%で、X高推理で GPT-5.2 を上回った。 メタ評価器が老朽化すると、運用上の理由よりも表面的な手がかりに依存する傾向にあった。 ドラフト検証-修正パイプラインを実装するコンテキストエンジニアは、デリケートなシフトに注意し、各ステージで意図した参照を明確にする必要がある。

関連論文リスト

• Code Transformation Rule Synthesis using LLMs: Potential and Limits [3.8596904019882206]
  本研究は,Comby, GritQL, Ast-Grepという3つのトランスフォーメーションルールを対象とする。 我々は4つのソフトウェア進化タスクをカバーする6つの多様なデータセットに対して、3つのLCM(GPT-5.4, GPT-oss-120B, Llama3.1-8B)を評価する。 GPT-5.4は一貫して高い規則適用率を獲得し、基底真理に最も近い変換を生成する。 小型でオープンウェイトな GPT-oss-120B と Llama3.1-8B モデルは、よりシンプルで局所的な変更には有効であるが、複雑な移行シナリオでは困難である。
  論文  参考訳（メタデータ） (2026-09-03T09:40:30Z)
• LLMs as Teaching Assistants for Mathematics Exam Grading: Reliability, and Practical Usability [0.0]
  オープンエンド数学試験は、推論、証明構築、アルゴリズム思考、中間段階のコミュニケーションを評価するため、価値がある。 本稿では,6つの現代大規模言語モデル (LLM) の構成を,大学生の離散的数学試験のための段階的アシスタントとして評価する。
  論文  参考訳（メタデータ） (2026-06-01T18:00:34Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• How Much LLM Does a Self-Revising Agent Actually Need? [0.14323566945483496]
  我々は,エージェントの状態,信頼信号,保護された動作,仮説的遷移を検査可能なランタイム構造に外部化する,宣言された反射型ランタイムプロトコルを導入する。 54ゲームで4つの段階的に構造化されたエージェントを用いて,ノイズの多い協調戦闘艦上での評価を行った。
  論文  参考訳（メタデータ） (2026-04-08T16:02:04Z)
• Implicit Grading Bias in Large Language Models: How Writing Style Affects Automated Assessment Across Math, Programming, and Essay Tasks [0.0]
  本研究では,大言語モデル (LLM) が,内容の正しさが一定である場合の書き込みスタイルに基づいて,暗黙のグレーディングバイアスを示すか否かを検討する。 2つの最先端のオープンソース LLM は、1-10 スケールでレスポンスをグレードし、内容の正確性のみを評価し、書き込みスタイルを無視するように指示された。 以上の結果から,Essay/Writingタスクにおける統計的に有意なグレーディングバイアスが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-19T11:20:07Z)
• LLM Reasoning Predicts When Models Are Right: Evidence from Coding Classroom Discourse [0.18268488712787334]
  大規模言語モデル(LLM)は、大規模に教育対話を自動的にラベル付けし分析するために、ますます多くデプロイされている。 本研究では,LLMが生成した推論がモデル自身の予測の正確性を予測するのに有効かどうかを検討する。 授業の対話から30,300人の教師の発話を分析し,複数の最先端LPMでラベル付けし,指導的移動構造とそれに伴う推論を行った。
  論文  参考訳（メタデータ） (2026-02-10T14:38:13Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Can Aha Moments Be Fake? Identifying True and Decorative Thinking Steps in Chain-of-Thought [72.45900226435289]
  大きな言語モデル(LLM)は、テスト時に長いチェーン・オブ・ソート(CoT)を生成することができ、複雑なタスクを解決できる。 提案したTrue Thinking Score (TTS) を用いて、各推論ステップの段階的因果関係がモデルの最終予測に与える影響を測定する。 我々は、LLMの潜在空間におけるTrueThinking方向を同定し、モデルに特定のCoTステップの実行や無視を強制することができる。
  論文  参考訳（メタデータ） (2025-10-28T20:14:02Z)
• Stop Spinning Wheels: Mitigating LLM Overthinking via Mining Patterns for Early Reasoning Exit [114.83867400179354]
  オーバーライドは、大きな言語モデル全体のパフォーマンスを低下させる可能性がある。 推論は, 探索段階の不足, 補償推論段階, 推論収束段階の3段階に分類される。 我々は,ルールに基づく軽量なしきい値設定戦略を開発し,推論精度を向上させる。
  論文  参考訳（メタデータ） (2025-08-25T03:17:17Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• Sentiment Analysis through LLM Negotiations [58.67939611291001]
  感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。 本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-03T12:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。