論文の概要: Don't Repeat Yourself: Self-Supervised Fine-Tuning for Coverage

• arxiv url: http://arxiv.org/abs/2609.31688v2
• Date: Wed, 30 Sep 2026 17:06:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.143924
• Title: Don't Repeat Yourself: Self-Supervised Fine-Tuning for Coverage
• Title（参考訳）: 自分でリピートしないで! 自己監督型ファイン・チューニングでカバー
• Abstract要約: Don't Repeat Yourself Supervised Fine-Tuning (DRY-SFT)は、出力の多様性とカバレッジを高めるポストトレーニング手法である。 HumanEval+、MBPP+、DS-1000では、DRY-SFTはそれぞれ10.8ポイント、12.5ポイント、12.4ポイントのパス@100を上昇させる。 また、ベースモデルが同じ200回の試行で解決しなかった600の問題の244も解決した。
• 参考スコア（独自算出の注目度）: 0.764671395172401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In verifiable domains such as math and coding, finding one correct solution among many attempts can matter more than the pass rate of each attempt. Post-training can concentrate large language model outputs around a few modes, while increasing sampling temperature has limited effectiveness. We introduce Don't Repeat Yourself Supervised Fine-Tuning (DRY-SFT), a post-training method that increases output diversity and coverage: the probability of at least one correct solution among many attempts. DRY-SFT has two stages. First, for each problem, sequentially generate K solutions, showing the model all prior attempts and asking for a different solution. Second, fine-tune on each attempt independently, removing prior attempts from the context. The process uses no reward, verifier, or correctness filter. On HumanEval+, MBPP+, and DS-1000, DRY-SFT raises pass@100 by 10.8, 12.5, and 12.4 percentage points, respectively, at a small cost to pass@1. Structural diversity, measured by abstract syntax tree edit distance among passing solutions, rises significantly on all three benchmarks. DRY-SFT also solves 244 of 600 problems that the base model did not solve in the same 200 attempts. Across nine open-weight models, lower structural diversity of the base model significantly predicts larger DRY-SFT gains, indicating that the method is especially effective on more mode-collapsed models.
• Abstract（参考訳）: 数学やコーディングのような検証可能な領域では、多くの試みの中で正しい解を見つけることは、各試みの通過率よりも重要である。 ポストトレーニングは大規模な言語モデル出力を数モードで集中させるが、サンプリング温度の上昇は有効性に制限がある。 我々は,多くの試みの中で少なくとも1つの正しい解の確率という,出力の多様性とカバレッジを高めるポストトレーニング手法であるDon't Repeat Yourself Supervised Fine-Tuning (DRY-SFT)を紹介した。 DRY-SFTには2つのステージがある。 まず、各問題に対して、K の解を逐次生成し、すべての事前試行を示し、異なる解を求める。 第2に、それぞれの試行を独立して微調整し、コンテキストから以前の試行を削除します。 このプロセスでは、報酬、検証、正当性フィルタは使用しない。 HumanEval+、MBPP+、DS-1000では、DRY-SFTはそれぞれ10.8ポイント、12.5ポイント、12.4ポイントのパス@100を、小さなコストで1.1ポイント引き上げている。 抽象構文木によって測定された構造的多様性は、3つのベンチマークで大きく上昇する。 DRY-SFTはまた、ベースモデルが同じ200回の試行で解決しなかった600の問題の244を解決した。 9つのオープンウェイトモデル全体で、ベースモデルの低い構造的多様性は、より大きなDRY-SFTゲインを著しく予測し、この手法がよりモード崩壊したモデルに特に有効であることを示す。

関連論文リスト

• Selecting Diverse SFT Traces Improves Post-RL Generalization [7.673852446824969]
  経路の多様性は、教師付き微調整データにおける推論ステップのシーケンスの変化である。 そこで我々は,軽量なルールベース指紋の提案を行った。
  論文  参考訳（メタデータ） (2026-09-27T17:22:01Z)
• Learning from the Gap Between Pass@K and Pass@1 [5.390994765967647]
  本研究では,各クエリが検索なしで1つの応答を受信する単一サンプル復号法について検討し,検索対象の振る舞いをモデルに吸収できるかどうかを問う。 既存のトレーニング後レシピは、Kサンプル内で回収された障害から、最初のデコードで既に解決されている問題を一般的に区別するものではない。 本稿では、ソースチェックポイントの単一サンプル結果とPass@K-Pass@1ギャップ上の微調整によってトレーニングエビデンスを選択するGapFTを紹介する。
  論文  参考訳（メタデータ） (2026-09-17T04:34:33Z)
• Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline [56.53954182896384]
  大規模言語モデルのための簡単な訓練後改良アルゴリズムである自己検証蒸留を提案する。 自己検証蒸留(Self-Verified Distillation)は、未ラベルの種問に対する候補解を生成する。 プロンプトベースの自己検証を使用してフィルタリングし、結果の自己計算データセットをトレーニングする。 トレーニングデータ構築中に、より多くの候補世代をサンプリングし、より大きな検証予算を使用することで、高品質な自己計算データが得られることがわかった。
  論文  参考訳（メタデータ） (2026-05-20T17:26:10Z)
• Recurrent Reasoning on Symbolic Puzzles with Sequence Models [3.900695166480356]
  本稿では、4つのリカレント論理パズルの難易度制御ベンチマークであるRecurrReasonを紹介する。 我々は、2つのトランスフォーマーファミリ、エンコーダ-デコーダモデル(T5スタイル)とデコーダ-オンリーモデル(GPT-2スタイル)をベンチマークする。 微調整済みのT5は97.27%の検証と81.00%のOOD精度をブロックワールドで達成している。
  論文  参考訳（メタデータ） (2026-04-19T15:48:32Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Reasoning Path Divergence: A New Metric and Curation Strategy to Unlock LLM Diverse Thinking [49.8843966537226]
  テスト時間スケーリング(TTS)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。 提案手法は「一問題・複数解」(1PNS)の学習パラダイムであり,モデルから妥当な推論軌跡を抽出する手法である。 Reasoning Path Divergence (RPD) を用いて、問題ごとの最大多様な解集合と微調整Qwen3-4B-Baseをキュレートする。
  論文  参考訳（メタデータ） (2025-10-30T04:08:53Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• Unite and Conquer: Plug & Play Multi-Modal Synthesis using Diffusion Models [54.1843419649895]
  拡散確率モデル(DDPM)に基づく解を提案する。 他の生成モデルよりも拡散モデルを選択する動機は、拡散モデルの柔軟な内部構造に由来する。 提案手法は,複数のサブタスクで訓練された複数の拡散モデルを統一し,組み合わせたタスクを克服する。
  論文  参考訳（メタデータ） (2022-12-01T18:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。