論文の概要: interwhen: A Generalizable Framework for Verifiable Reasoning with Test-time Monitors
- arxiv url: http://arxiv.org/abs/2602.11202v1
- Date: Thu, 05 Feb 2026 08:35:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-13 21:07:25.43841
- Title: interwhen: A Generalizable Framework for Verifiable Reasoning with Test-time Monitors
- Title(参考訳): interwhen: テスト時間モニタによる検証可能な推論のための一般化可能なフレームワーク
- Authors: Vishak K Bhat, Prateek Chanda, Ashmit Khandelwal, Maitreyi Swaroop, Vineeth N. Balasubramanian, Subbarao Kambhampati, Nagarajan Natarajan, Amit Sharma,
- Abstract要約: 実験時間検証フレームワークであるInterwhenを提案し, 与えられた検証結果に対して, 推論モデルの出力が有効であることを保証する。
検証された推論は、物理的な世界にエージェントを配置するといった高度なシナリオにおいて重要な目標である。
- 参考スコア(独自算出の注目度): 47.363850513075356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a test-time verification framework, interwhen, that ensures that the output of a reasoning model is valid wrt. a given set of verifiers. Verified reasoning is an important goal in high-stakes scenarios such as deploying agents in the physical world or in domains such as law and finance. However, current techniques either rely on the generate-test paradigm that verifies only after the final answer is produced, or verify partial output through a step-extraction paradigm where the task execution is externally broken down into structured steps. The former is inefficient while the latter artificially restricts a model's problem solving strategies. Instead, we propose to verify a model's reasoning trace as-is, taking full advantage of a model's reasoning capabilities while verifying and steering the model's output only when needed. The key idea is meta-prompting, identifying the verifiable properties that any partial solution should satisfy and then prompting the model to follow a custom format in its trace such that partial outputs can be easily parsed and checked. We consider both self-verification and external verification and find that interwhen provides a useful abstraction to provide feedback and steer reasoning models in each case. Using self-verification, interwhen obtains state-of-the-art results on early stopping reasoning models, without any loss in accuracy. Using external verifiers, interwhen obtains 10 p.p. improvement in accuracy over test-time scaling methods, while ensuring 100% soundness and being 4x more efficient. The code for interwhen is available at https://github.com/microsoft/interwhen
- Abstract(参考訳): 我々は、推論モデルの出力が有効であることを保証するテスト時間検証フレームワーク、Interwhenを提案する。
検証対象のセットです
検証された推論は、物理的世界にエージェントを配置したり、法律や金融などの領域にエージェントを配置するといった、高リスクシナリオにおいて重要な目標である。
しかし、現在の手法は最終回答が生成された後にのみ検証される生成テストパラダイムに依存するか、あるいはタスクの実行を外部的に構造化されたステップに分解するステップ抽出パラダイムを通じて部分的な出力を検証するかのいずれかである。
前者は非効率であり、後者はモデルの問題解決戦略を人工的に制限する。
その代わりに、モデルの推論トレースをそのまま検証し、モデルの推論能力を最大限に活用し、必要な時にのみモデルのアウトプットを検証およびステアリングすることを提案する。
重要なアイデアはメタプロンプティングであり、任意の部分的なソリューションが満足すべき検証可能なプロパティを特定し、その後、部分的なアウトプットを容易に解析し、チェックできるように、そのトレース内でカスタムフォーマットに従うようにモデルに促す。
自己検証と外部検証の両方を考慮すると、Interwhenは各ケースにおいてフィードバックとステア推論モデルを提供するのに有用な抽象化を提供する。
自己検証を用いて、Interwhenは、精度を損なうことなく、早期停止推論モデルに対する最先端の結果を得る。
外部検証器を用いて、Interwhenはテスト時間スケーリング法よりも精度が10 p.p.向上し、100%の音質が確保され、4倍効率が向上した。
Interwhenのコードはhttps://github.com/microsoft/interwhenで公開されている。
関連論文リスト
- Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳(メタデータ) (2026-01-23T17:17:32Z) - Are Large Reasoning Models Interruptible? [77.53059044071107]
LRM(Large Reasoning Models)は複雑な推論において優れているが、伝統的に静的な「凍った世界」設定で評価されている。
静的な設定で高い精度を達成できる最先端のLEMでさえ、割り込みやコンテキストの変化に晒された場合、予測不能に失敗する可能性があることを示す。
我々の分析ではさらに、漏れの原因、パニック、自己疑念など、いくつかの新しい障害モードを明らかにしている。
論文 参考訳(メタデータ) (2025-10-13T17:59:35Z) - Trust but Verify! A Survey on Verification Design for Test-time Scaling [8.428618801719198]
テスト時スケーリング(TTS)は,大規模言語モデルのパフォーマンス向上のための新たなフロンティアとして登場した。
検証者は、復号プロセスから候補出力をスコアするのに役立つ報酬モデルとして機能する。
検証者は、素早いベースで、識別または生成モデルとして微調整することができる。
論文 参考訳(メタデータ) (2025-08-20T22:27:21Z) - Fractional Reasoning via Latent Steering Vectors Improves Inference Time Compute [60.151643048803145]
本稿では,推論時の推論強度を連続的に制御するフレームワークであるフラクショナル推論を提案する。
提案手法は, より深い推論を伴う潜在ステアリングベクトルを抽出し, 調整可能なスケーリング係数で再適用することによって機能する。
GSM8K、MATH500、GPQAの実験により、フラクショナル推論は様々な推論タスクやモデルのパフォーマンスを一貫して改善することを示した。
論文 参考訳(メタデータ) (2025-06-18T21:15:59Z) - VerifiAgent: a Unified Verification Agent in Language Model Reasoning [10.227089771963943]
本稿では,メタ検証とツールベース適応検証の2つのレベルを統合した統合検証エージェントを提案する。
VerifiAgentは推論型に基づいて適切な検証ツールを自律的に選択する。
推論スケーリングに効果的に適用でき、より少ないサンプルとコストでより良い結果が得られる。
論文 参考訳(メタデータ) (2025-04-01T04:05:03Z) - Certifiable 3D Object Pose Estimation: Foundations, Learning Models, and
Self-Training [23.802602957611676]
証明可能なオブジェクトのポーズ推定の問題を考えると、オブジェクトの部分的な点クラウドが与えられた場合、その目標は、その結果の見積もりに対して正当性を示す証明書を提供することである。
セマンティックキーポイントに基づくポーズ推定モデルであるC-3POを提案する。
論文 参考訳(メタデータ) (2022-06-22T17:06:39Z) - Tracking the risk of a deployed model and detecting harmful distribution
shifts [105.27463615756733]
実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。
我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
論文 参考訳(メタデータ) (2021-10-12T17:21:41Z) - Auditing AI models for Verified Deployment under Semantic Specifications [65.12401653917838]
AuditAIは、解釈可能な形式検証とスケーラビリティのギャップを埋める。
AuditAIは、画素空間の摂動のみを用いた検証の限界に対処しながら、検証と認定トレーニングのための制御されたバリエーションを得られるかを示す。
論文 参考訳(メタデータ) (2021-09-25T22:53:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。