論文の概要: Taming Imperfect Process Verifiers: A Sampling Perspective on Backtracking

• arxiv url: http://arxiv.org/abs/2510.03149v1
• Date: Fri, 03 Oct 2025 16:21:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.479168
• Title: Taming Imperfect Process Verifiers: A Sampling Perspective on Backtracking
• Title（参考訳）: 不完全なプロセス検証器のモデリング:バックトラッキングのサンプリング
• Authors: Dhruv Rohatgi, Abhishek Shetty, Donya Saless, Yuchen Li, Ankur Moitra, Andrej Risteski, Dylan J. Foster,
• Abstract要約: 言語モデルの生成能力をプロセス検証器と組み合わせたテストタイムアルゴリズムは、新しい推論能力を引き出すための有望なレバーを提供する。 提案手法は, 理論的に根拠付きバックトラックを用いて, 検証誤差に対して, 確実な堅牢性を実現するための新しいプロセス誘導型テスト時間サンプリングアルゴリズムであるVGBを導入する。
• 参考スコア（独自算出の注目度）: 54.43083499412643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time algorithms that combine the generative power of language models with process verifiers that assess the quality of partial generations offer a promising lever for eliciting new reasoning capabilities, but the algorithmic design space and computational scaling properties of such approaches are still opaque, and their benefits are far from apparent when one accounts for the cost of learning a high-quality verifier. Our starting point is the observation that seemingly benign errors in a learned verifier can lead to catastrophic failures for standard decoding techniques due to error amplification during the course of generation. We then ask: can this be improved with more sophisticated decoding strategies? We introduce a new process-guided test-time sampling algorithm, VGB, which uses theoretically grounded backtracking to achieve provably better robustness to verifier errors. VGB interprets autoregressive generation as a random walk on a tree of partial generations, with transition probabilities guided by the process verifier and base model; crucially, backtracking occurs probabilistically. This process generalizes the seminal Sinclair-Jerrum random walk (Sinclair & Jerrum, 1989) from the literature on approximate counting and sampling in theoretical computer science, and a conceptual contribution of our work is to highlight parallels with this literature. Empirically, we demonstrate on both synthetic and real language modeling tasks that VGB outperforms baselines on a variety of metrics.
• Abstract（参考訳）: 言語モデルの生成能力と、部分世代の品質を評価するプロセス検証器を組み合わせたテスト時アルゴリズムは、新しい推論能力を引き出すための有望なレバーを提供するが、アルゴリズム設計空間とそのようなアプローチの計算スケーリング特性はまだ不透明であり、高品質の検証器を学習するコストを考慮すれば、その利点は明らかではない。 我々の出発点は、学習した検証器における見かけ上の異常が、生成過程におけるエラー増幅による標準的な復号化手法の破滅的な失敗に繋がる、という観察である。 より洗練されたデコード戦略で改善できるのでしょうか? 提案手法は, 理論的に根拠付きバックトラックを用いて, 検証誤差に対して, 確実な堅牢性を実現するための新しいプロセス誘導型テスト時間サンプリングアルゴリズムであるVGBを導入する。 VGBは自己回帰生成を、プロセス検証器とベースモデルによって導かれる遷移確率を持つ部分世代木上のランダムウォークとして解釈する。 このプロセスは、理論計算機科学における近似数え上げとサンプリングに関する文献からシンクレア・イェルムランダムウォーク(Sinclair & Jerrum, 1989)を一般化する。 経験的に、VGBが様々な指標でベースラインを上回っている合成および実言語モデリングのタスクを実証する。

関連論文リスト

• VERIRL: Boosting the LLM-based Verilog Code Generation via Reinforcement Learning [32.974199255760944]
  本稿では,Verilogコード生成に適した強化学習フレームワークを提案する。 スパース信号と雑音信号に対処するために,トレースバックに基づくRescore機構を提案する。 RL微調整中の破滅的忘れと過適合を軽減するため,サンプルバランスの重み付け戦略を導入する。
  論文  参考訳（メタデータ） (2025-08-25T20:20:44Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• On the Query Complexity of Verifier-Assisted Language Generation [35.43462431990329]
  本研究では,事前学習した言語モデル生成器を用いて制約付き生成を推論するフレームワークを開発する。 検証者へのアクセスは、難解な問題(情報理論上または計算上)を、難解な問題にレンダリングすることができる。 トークンワイド・リジェクション・サンプリングのような単純なアルゴリズムでさえ、検証器へのアクセスによる大きなメリットを享受できることを示す。
  論文  参考訳（メタデータ） (2025-02-17T18:46:32Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Quantifying Contamination in Evaluating Code Generation Capabilities of Language Models [27.24738197172374]
  大規模言語モデルは、様々なコード生成ベンチマークで顕著なパフォーマンスを達成した。 これらのベンチマークが事前トレーニングや微調整のデータにリークされる可能性があるため、潜在的な汚染に関する懸念が高まっている。 我々は、人気のあるコード生成ベンチマークとオープントレーニングコーパスの間にかなりの重複があることを示し、トレーニング中に同様のソリューションが見られたベンチマークのサブセットにおいて、モデルの性能が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-03-06T21:45:35Z)
• On the Reliability and Explainability of Language Models for Program Generation [15.569926313298337]
  自動プログラム生成手法の能力と限界について検討する。 私たちは、コード変換に大きく貢献するトークンを強調するために、高度な説明可能なAIアプローチを採用しています。 解析の結果,言語モデルではコード文法や構造情報を認識できるが,入力シーケンスの変化に対するロバスト性は限られていることがわかった。
  論文  参考訳（メタデータ） (2023-02-19T14:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。