論文の概要: PROOF-Gen: From Optimized Data to Better Distillation
- arxiv url: http://arxiv.org/abs/2608.23911v1
- Date: Mon, 24 Aug 2026 23:33:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.6605
- Title: PROOF-Gen: From Optimized Data to Better Distillation
- Title（参考訳）: PROOF-Gen:最適化データからより良い蒸留へ
- Abstract要約: ツール呼び出しエージェントを駆動するポストトレーニングパイプラインは、毎日または毎週のケイデンスでこのステージを再実行し、フロンティアと教師の費用を各サイクルに支払う。
2ベンチでは、教員試験の57%が失敗し、その3分の2がほぼミスである。
本稿では,これらの故障からゴールデントラジェクトリを回復するPROOF-Genを,シナリオごとのプロンプト最適化により導入する。
- 参考スコア（独自算出の注目度）: 6.158612515104146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Supervised fine-tuning on teacher-generated trajectories is the standard first stage for distilling tool-calling capabilities into deployable models. Post-training pipelines that drive shipped tool-calling agents re-run this stage on a daily or weekly cadence, paying the frontier-teacher cost each cycle, yet the mechanism is generate-and-filter (keep the teacher's passing trajectories, discard the rest) and each cycle leaves behind the same hard scenarios because failures supply no signal. On τ2-bench, 57% of teacher trials fail, two-thirds of them near-misses (most tool calls correct, undone by one decisive error). We introduce PROOF-Gen (Per-scenario Reflective Optimization to Overcome FailedGeneration), which recovers golden trajectories from these failures via per-scenario prompt optimization. For each failed task, a reflector analyzes the execution trace and evaluation feedback, then writes corrective guidance that steers the teacher to a passing trajectory. The guidance is stripped before training, so the student learns from clean demonstrations with no task-specific scaffold. On τ2-bench, per-scenario optimization recovers 93% of failed scenarios. Fine-tuned on the combined data, Qwen3-4B-Instruct-2507 improves from Pass^1=0.132 to 0.529 and Gemma 4 E4B-it gains +7.2pp on BFCL v4 multi-turn. In a deployed pipeline, the method lifts trajectory quality by +6.3pp goal completion and transfers to a deployed on-device model (+1.5pp goal completion; +1.7 to +5.0pp across response-quality metrics), with positive transfer in every locale (non-English average +1.48pp).
- Abstract（参考訳）: 教師生成トラジェクトリの微調整は、ツールコール機能をデプロイ可能なモデルに蒸留するための標準的な第1段階である。
出荷されたツールコールエージェントを駆動する後トレーニングパイプラインは、毎日または毎週のケイデンスでこのステージを再実行し、フロンティアと教師のコストを各サイクルに支払うが、そのメカニズムは生成とフィルタ(教師のパストラジェクトリをキープし、残りを破棄する)であり、障害がシグナルを供給しないため、各サイクルは同じハードシナリオを残している。
τ2-benchでは、教師のトライアルの57%が失敗し、その3分の2がほぼ失敗する(ほとんどのツールが正しい、決定的なエラーで無くなる)。
ProOF-Gen(Per-scenario Reflective Optimization to Overcome FailedGeneration)を導入する。
失敗する各タスクに対して、リフレクタは実行トレースと評価フィードバックを分析し、その後、教師を通過軌跡に導く修正ガイダンスを書き込む。
指導はトレーニング前に取り除かれ、学生はタスク固有の足場のないクリーンなデモンストレーションから学ぶ。
τ2-benchでは、シナリオごとの最適化が93%の失敗を回復する。
Qwen3-4B-Instruct-2507はPass^1=0.132から0.529に改善され、Gemma 4 E4B-itはBFCL v4マルチターンで+7.2ppになった。
配置されたパイプラインにおいて、この方法は軌道品質を+6.3ppのゴール完了で引き上げ、配置されたオンデバイスモデル(+1.5ppのゴール完了、+1.7から+5.0ppの応答品質メトリクス)に転送し、全てのローカライズ(非英語平均+1.48pp)で正の転送を行う。
関連論文リスト
- ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳（メタデータ） (2026-09-15T04:59:03Z) - T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks [27.750923745153145]
T1は、強化学習で訓練された122BのMixture-of-Expertsモデルである。
実際のシェルをクラウドサンドボックスで運用し、タスク毎に最大300以上のツールコールを回し、各タスク独自の検証を実行することで報酬を得る。
Terminal-Bench 2.1では、最初のベースモデルを43.8%からT1に引き上げ、64.0%が解決した。
論文 参考訳（メタデータ） (2026-09-10T03:42:01Z) - NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness [76.6324710887112]
NeoHorse-1は、エージェントのポストトレーニングを通じてこの経路を探索するために開発されたエージェントネイティブモデルのファミリーである。
本システムでは,異種モデルプールとインテリジェントなルーティング,予測能力要求,選択されたサービス層,およびその後のユーザ毎のインタラクションを結合する。
論文 参考訳（メタデータ） (2026-09-08T03:14:54Z) - On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。
そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。
SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
論文 参考訳（メタデータ） (2026-08-25T14:55:24Z) - Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback [52.78692582507693]
専門家による自然言語スキルは、ツール使用エージェントを改善することができるが、エージェントによるスキルは、スキルを使用しないよりも8-11ポイント悪い。
本研究では,中間的スキルから実行経験を訓練状態に整理する方法について検討する。
論文 参考訳（メタデータ） (2026-08-18T09:52:48Z) - Cross-Benchmark Generalization in Long-Horizon Agents [1.0742728354283815]
我々は,27のカテゴリにわたる363の長距離モデルコンテキストプロトコル(MCP)タスク上で,オープンウェイト・ミックス・オブ・エキスパート・モデルを構築した。
トレーニングには外部ベンチマークタスクやグレーダが入らず、報酬、ハイパーパラメータのトレーニング、トレーニングされたチェックポイントの選択、停止を外部スコアが知らせなかった。
両方のソフトウェアベンチマークは、ソフトウェアエンジニアリングタスクを含まないトレーニングコレクションにもかかわらず改善されている。
論文 参考訳（メタデータ） (2026-07-31T18:05:36Z) - Pass the Baton: Trajectory-Relayed On-Policy Distillation [23.50689651536186]
オンライン蒸留は、学生自身の軌道におけるトークンレベルの監督を基礎としているが、プレフィックスの失敗に悩まされている。
Relay On-Policy Distillation (Relay-OPD)において、失敗プレフィックス上の教師-学生継続非対称性を特定し、ラベルなしハンドオフトリガに変換する。
トレーニング中、Relay-OPDは、教師が検出されたトリガーポイントを一時的に引き継ぎ、教師の足を生成し、その後、生徒が再開し、その結果の軌道に最適化することで、リレーの軌跡を構築する。
論文 参考訳（メタデータ） (2026-07-28T17:59:46Z) - Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0 [53.71882250666667]
エージェント最適化法で報告されているほとんどの利得はワンショットである。
これは、デプロイされたエージェントにとって重要な設定をテストするものではない。
エージェントハーネス最適化に対する3つのアプローチを比較する。
論文 参考訳（メタデータ） (2026-07-15T16:36:04Z) - Cost-Effective Agent Harnesses for Abstract Reasoning and Generalization on ARC-AGI-1 [4.486629113012585]
ARC-AGI-1の最近の進歩は、フロンティアモデルよりも重いテスト時間計算と、ARCデータに基づいて小さなモデルを微調整するベンチマーク固有のトレーニングの2つから来ている。
パターン発見とプログラム合成の段階を明示的に分解するエージェントハーネスを構築する。
論文 参考訳（メタデータ） (2026-07-07T19:49:35Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。
本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
論文 参考訳（メタデータ） (2026-05-21T04:54:55Z) - Rethinking Supervision Granularity: Segment-Level Learning for LLM-Based Theorem Proving [8.420305724549603]
リーン4における大きな言語モデルで証明された自動定理は、一般的に、木探索によるステップレベルの戦術予測と、全体的な防御生成を通じてアプローチされる。
これら2つのパラダイムは、教師付きトレーニングデータを構築するための反対の粒度を表す。
本稿では,訓練方針モデルのための局所的コヒーレントな証明セグメントを抽出する訓練データ構築戦略であるセグメントレベルの監視を提案する。
論文 参考訳（メタデータ） (2026-05-12T10:18:28Z) - Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation [86.62036852878354]
大規模言語モデル(LLM)は、信頼性の高い長文理解を必要とする設定でますます運用される。
位置ロバスト性を向上させるトレーニングレギュレータであるRoPE-Perturbed Self-Distillationを提案する。
Llama-3-8BとQwen-3-4Bの長文適応実験は、長文ベンチマークにおいて一貫した利得を示す。
論文 参考訳（メタデータ） (2026-04-15T18:46:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。