論文の概要: Analyzing the Narration Gap in LLM-Solver Loops

• arxiv url: http://arxiv.org/abs/2606.19588v1
• Date: Wed, 17 Jun 2026 20:44:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.532895
• Title: Analyzing the Narration Gap in LLM-Solver Loops
• Title（参考訳）: LLM-Solverループにおけるナレーションギャップの解析
• Authors: Zunchen Huang, Songgaojun Deng,
• Abstract要約: 解答器は、独立して検証可能な解答を生成するが、解答器とモデルとの相互作用によって音質保証が失われることがある。 本研究は, 固化プロンプトによる緩和効果について検討し, 注入量を大幅に減少させるが, 除去することはできず, 適応攻撃下での損傷を被る。
• 参考スコア（独自算出の注目度）: 5.637755949742304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Formal tools such as SAT and SMT solvers are increasingly embedded in language model reasoning pipelines when a safety or security critical question can be formulated in logic. Unlike chain of thought whose steps are sampled from the model distribution without formal guarantee, a solver produces a sound and independently verifiable answer. However, the soundness guarantee can be lost in the interaction between the solver and the model. The hybrid pipeline has three components: formalizing the question, deciding it, and narrating the result. Prior work has studied the formalization and decision, but not narration, which is the step that turns a formal tool's output into the user answer. To fill the narration gap, we first model the LLM-solver loop as a verified decision procedure. We further evaluate five open-sourced models under prompt injection, and we find certificate gating makes the solver verdict sound, while an adversary can invert a verified conclusion across phrasings and channels. We study the mitigation through hardened prompt that reduces injection significantly but cannot eliminate it and still suffers under adaptive attack. Combining the formal analysis and empirical studies, we show in the LLM-solver loop, robustness does not reach to the answer that the user finally reads.
• Abstract（参考訳）: SATやSMTソルバのような形式的なツールは、安全性やセキュリティ上の重要な問題が論理的に定式化される場合、言語モデル推論パイプラインに組み込まれている。 形式的な保証なしにモデル分布からステップをサンプリングする思考の連鎖とは異なり、解法は音と独立に検証可能な解を生成する。 しかし、解法とモデルとの相互作用によって音質保証が失われることがある。 ハイブリッドパイプラインには,質問の形式化,判断,結果のナレーションという,3つのコンポーネントがある。 これまでの研究は形式化と意思決定を研究してきたが、ナレーションではなく、形式ツールのアウトプットをユーザ回答に変換するステップだった。 ナレーションギャップを埋めるために、まずLLM-ゾルバループを検証された決定手順としてモデル化する。 さらに, インジェクションによる5つのオープンソースモデルの評価を行い, 証明ゲーティングが解法を判定するのに対して, 相手はフレーズやチャネルをまたいで検証された結論を逆転させることができることを確認した。 本研究は, 固化プロンプトによる緩和効果について検討し, 注入量を大幅に減少させるが, 除去することはできず, 適応攻撃下での損傷を被る。 形式解析と経験的研究を組み合わせることで,LLM-ゾルバループでは,ユーザが最終的に読む答えにロバストさが届かないことを示す。

関連論文リスト

• More Yap Less Meaning: Uncovering Self-Improvement Behavior in SLMs [3.373200015661364]
  本研究では,小言語モデル(SLM)の自己補正能力について検討する。 本稿では,SLMの初期回答を収集する最小3ステップの自己補正パイプラインを提案する。 本研究では,算術的および論理的推論ベンチマークを用いた実験装置において,様々な命令調整および推論SLMを評価した。
  論文  参考訳（メタデータ） (2026-06-07T06:27:37Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Probabilistic Guarantees for Reducing Contextual Hallucinations in LLMs [0.0]
  大規模言語モデル(LLM)は、しばしば文脈幻覚を発生させ、生成されたコンテンツはプロンプトで明示された情報に矛盾したり無視する。 本稿では,この設定における幻覚の低減のための確率的保証を明示的に提供する,モデルに依存しないフレームワークを提案する。 判定されたパイプラインが失敗する確率は、審査員の真偽陽性確率によって決定される速度で低下することを示す。
  論文  参考訳（メタデータ） (2026-01-02T10:52:33Z)
• LaSeR: Reinforcement Learning with Last-Token Self-Rewarding [54.72617309922891]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高めるためのコアパラダイムとして登場した。 従来、LLMは2つの異なるプロンプトテンプレートを使用してソリューションと自己検証をシーケンシャルに生成し、効率を大幅に低下させる必要があった。 本稿では,従来のRLVR損失をMSE損失で増大させるアルゴリズムであるLaSeR(Reinforcement Learning with Last-Token Self-Rewarding)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:55:11Z)
• Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs [102.48588475875749]
  本稿では,新しい並列テスト時間スケーリングフレームワークであるGenerative Self-Refinement (GSR)を紹介する。 GSRは一連の候補応答を並列に生成し、その後自己精製を行い、新しい優れた解を合成する。 提案手法は,5つの数学ベンチマークにおいて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-08-27T06:51:48Z)
• Flipping Against All Odds: Reducing LLM Coin Flip Bias via Verbalized Rejection Sampling [59.133428586090226]
  大規模言語モデル(LLM)は、しばしば自然言語を用いて確率分布を正確に記述することができる。 このミスマッチはモンテカルロ法、エージェントベースのシミュレーション、ランダム化された意思決定などの信頼性を必要とするタスクでの使用を制限する。 本稿では,古典的リジェクションサンプリングの自然言語適応であるVerbalized Rejection Smpling (VRS)を紹介する。
  論文  参考訳（メタデータ） (2025-06-11T17:59:58Z)
• FLARE: Faithful Logic-Aided Reasoning and Exploration [47.46564769245296]
  タスク分解を用いて問題空間をトラバースする新しい手法を提案する。 我々はLarge Language Modelsを使ってソリューションを計画し、クエリを事実に軟式化し、論理プログラミングコードを使って述語する。 提案手法は,生成したコードに対する推論プロセスの忠実度を計算し,外部の解法に頼らずにマルチホップ探索のステップを解析する。
  論文  参考訳（メタデータ） (2024-10-14T19:39:11Z)
• Order-Independence Without Fine Tuning [18.020492646988746]
  本稿では,LLMの出力が指定されたサブシーケンスのセットに順序依存しないことを保証する手法であるSet-Based Promptingを提案する。 我々の入力が分布外であるにもかかわらず、期待される精度への影響は小さく、予測は、一様に選択された応答のシャッフルの順序を超える。
  論文  参考訳（メタデータ） (2024-06-04T16:09:13Z)
• LLMAuditor: A Framework for Auditing Large Language Models Using Human-in-the-Loop [7.77005079649294]
  有効な方法は、同じ質問の異なるバージョンを使って、大きな言語モデルを探索することである。 この監査方法を大規模に運用するには、これらのプローブを確実かつ自動的に作成するためのアプローチが必要である。 我々はLLMAuditorフレームワークを提案し、異なるLLMとHIL(Human-in-the-loop)を併用する。 このアプローチは、検証性と透明性を提供すると同時に、同じLLMへの円形依存を回避する。
  論文  参考訳（メタデータ） (2024-02-14T17:49:31Z)
• It's Never Too Late: Fusing Acoustic Information into Large Language Models for Automatic Speech Recognition [70.77292069313154]
  大規模言語モデル(LLM)は、自動音声認識(ASR)出力の上の生成誤り訂正(GER)に成功することができる。 本研究では,不確実性認識ダイナミックフュージョン (UADF) と呼ばれる新しい遅延融合解によって予測された転写を生成する前に,音響情報を注入することにより,そのような制限を克服することを目的とする。
  論文  参考訳（メタデータ） (2024-02-08T07:21:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。