Fugu-MT 論文翻訳(概要): Learning from the Gap Between Pass@K and Pass@1

論文の概要: Learning from the Gap Between Pass@K and Pass@1

arxiv url: http://arxiv.org/abs/2609.35793v1
Date: Thu, 17 Sep 2026 04:34:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-05 14:48:16.268124
Title: Learning from the Gap Between Pass@K and Pass@1
Title（参考訳）: Pass@KとPass@1のギャップから学ぶ
Abstract要約: 本研究では,各クエリが検索なしで1つの応答を受信する単一サンプル復号法について検討し,検索対象の振る舞いをモデルに吸収できるかどうかを問う。既存のトレーニング後レシピは、Kサンプル内で回収された障害から、最初のデコードで既に解決されている問題を一般的に区別するものではない。本稿では、ソースチェックポイントの単一サンプル結果とPass@K-Pass@1ギャップ上の微調整によってトレーニングエビデンスを選択するGapFTを紹介する。
参考スコア（独自算出の注目度）: 5.390994765967647
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) are increasingly trained with reinforcement learning from verifiable rewards (RLVR). An exact verifier can also support test-time scaling by selecting a passing response from multiple samples, while other deployments use beam search, adaptive sampling, or tools. We study single-sample decoding, where each query receives one response without search, to ask whether search-exposed behavior can be absorbed into the model. Existing verified-response post-training recipes do not generally distinguish problems already solved on the first decode from failures recovered within K samples. Under a fixed budget, this can spend examples repeating behavior the deployed policy already has. We introduce GapFT, which selects training evidence by the source checkpoint's single-sample outcome and fine-tunes on the Pass@K-Pass@1 gap: problems the policy fails on one sample but solves within K samples. We match training examples, processed tokens, and optimizer steps while keeping the objective unchanged. GapFT fills the matched budget with recovered failures and uses an exact decomposition to distinguish corrections of recovered and missed failures from regressions on first-decode successes. On LogiQA 2.0 and ReClor with Llama-3.1-8B, GapFT improves Pass@1 by 14.4 and 13.9 points over the source model, outperforms budget-matched uniform verified RFT at the same learning rate, and matches fine-tuning on the full verified pool using one third of the data. A single decode matches the source model's verifier-selected Pass@4 accuracy. A randomized control attributes gains to covering distinct failures, and our analysis relates available gains to transferable failure support. A three-seed Qwen2.5-7B replication retains positive gains over uniform RFT on both logic tasks.
Abstract（参考訳）: 大規模言語モデル(LLM)は、検証可能な報酬(RLVR)からの強化学習でますます訓練されている。正確な検証者は、複数のサンプルからパスレスポンスを選択し、他のデプロイメントではビームサーチ、アダプティブサンプリング、ツールを使用する。本研究では,各クエリが検索なしで1つの応答を受信する単一サンプル復号法について検討し,検索対象の振る舞いをモデルに吸収できるかどうかを問う。既存のトレーニング後レシピは、Kサンプル内で回収された障害から、最初のデコードで既に解決されている問題を一般的に区別するものではない。固定予算の下では、デプロイされたポリシがすでに持っている振る舞いを繰り返す例を使用できる。本稿では,ソースチェックポイントの単一サンプル結果によるトレーニングエビデンスとPass@K-Pass@1ギャップに関する微調整,GapFTを紹介する。トレーニングの例、処理されたトークン、最適化のステップと一致します。 GapFTは、一致した予算を復元された失敗で満たし、復元された失敗と失敗した失敗の修正を、ファースト・デコードの成功に対する回帰と区別するために正確な分解を使用する。 LogiQA 2.0とLlama-3.1-8BのReClorでは、GapFTはPass@1を14.4ポイント、13.9ポイント改善し、予算に適合した一貫したRFTを同じ学習率で上回り、データの3分の1を使用して、完全な検証プールの微調整にマッチする。 1つのデコードは、ソースモデルの検証子選択されたPass@4の精度と一致する。ランダム化された制御属性は、異なる障害をカバーし、我々の分析は、転送可能な障害支援に利用可能なゲインを関連づける。 3シードのQwen2.5-7Bレプリケーションは、両方の論理タスクにおいて一様RFTよりも正の利得を保っている。

関連論文リスト

Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。 Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。 Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
論文参考訳（メタデータ） (2026-09-29T07:58:49Z)
Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文参考訳（メタデータ） (2026-08-31T01:42:10Z)
Verifier-Induced Support Reshaping in On-Policy Optimization [27.782412748608255]
検証可能な報酬(RLVR)によるオンライン強化学習は、現在の目標を改善できる一方で、後の目標に対する行動の成功は、サンプリングや強化が極めて稀であることを示す。我々は、この検証者によるサポートの再構築と呼び、有効な報奨支援を、固定されたロールアウト予算内で到達可能な軌道として定義する。
論文参考訳（メタデータ） (2026-07-31T19:05:43Z)
When RLVR Shrinks the Reasoning Boundary: Diagnosing Pass@k Inversion [0.0]
検証可能な報酬(RLVR)を用いた強化学習は、繰り返しサンプリング時にモデルを悪化させながら、一サンプル精度を向上させることができる。トレーニング後、このポリシーはベースモデルよりも小さな問題を、大きな$k$で解決する可能性がある。失敗は境界プロンプトに集中しており、ベースモデルにはサンプリングによって回復できる稀な正しい軌道が含まれており、有限のRLVRロールアウトグループに確実に現れるには小さすぎる。
論文参考訳（メタデータ） (2026-07-12T17:17:18Z)
When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。学習は、答えが振動し、正しさの証拠が広がる場所を給与する。コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
論文参考訳（メタデータ） (2026-06-29T19:33:42Z)
REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文参考訳（メタデータ） (2026-06-17T10:37:23Z)
Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline [56.53954182896384]
大規模言語モデルのための簡単な訓練後改良アルゴリズムである自己検証蒸留を提案する。自己検証蒸留(Self-Verified Distillation)は、未ラベルの種問に対する候補解を生成する。プロンプトベースの自己検証を使用してフィルタリングし、結果の自己計算データセットをトレーニングする。トレーニングデータ構築中に、より多くの候補世代をサンプリングし、より大きな検証予算を使用することで、高品質な自己計算データが得られることがわかった。
論文参考訳（メタデータ） (2026-05-20T17:26:10Z)
LaSeR: Reinforcement Learning with Last-Token Self-Rewarding [54.72617309922891]
RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高めるためのコアパラダイムとして登場した。従来、LLMは2つの異なるプロンプトテンプレートを使用してソリューションと自己検証をシーケンシャルに生成し、効率を大幅に低下させる必要があった。本稿では,従来のRLVR損失をMSE損失で増大させるアルゴリズムであるLaSeR(Reinforcement Learning with Last-Token Self-Rewarding)を提案する。
論文参考訳（メタデータ） (2025-10-16T17:55:11Z)
Train on Validation (ToV): Fast data selection with applications to fine-tuning [12.967061784324427]
最先端の機械学習は、しばしば2段階のプロセスに従う: 大きな汎用データセットで$(i)$pre-training、タスク固有のデータで$(ii)$fine-tuning。既存のデータ選択方法は、対象サンプルを検証セットとして扱い、トレーニングプールから単一のサンプルの追加や削除の効果を推定する。電車とバリデーションの通常の役割を逆転する,よりシンプルで高速な代替案を提案する。私たちの重要な洞察は、小さな検証セットの微調整によって最も影響を受けるトレーニングサンプルが最も有用であることです。
論文参考訳（メタデータ） (2025-10-01T00:55:39Z)
Verification Limits Code LLM Training [23.67882363039948]
コード生成のための大規模言語モデルは、問題解と検証テストの両方がモデルによって生成される合成データにますます依存している。本研究では,検証設計と戦略がモデル性能に与える影響について検討する。
論文参考訳（メタデータ） (2025-09-25T07:23:30Z)
Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。 Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
論文参考訳（メタデータ） (2023-01-02T07:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。