Fugu-MT 論文翻訳(概要): Towards Robust LLM Post-Training: Automatic Failure Management for Reinforcement Fine-Tuning

論文の概要: Towards Robust LLM Post-Training: Automatic Failure Management for Reinforcement Fine-Tuning

arxiv url: http://arxiv.org/abs/2605.04431v1
Date: Wed, 06 May 2026 02:50:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-07 18:41:07.614848
Title: Towards Robust LLM Post-Training: Automatic Failure Management for Reinforcement Fine-Tuning
Title（参考訳）: ロバストLDMのポストトレーニングに向けて:強化ファインチューニングのための自動故障管理
Abstract要約: 補強微調整のための自動故障管理フレームワークを提案する。 RFT-FaultBenchは、強化微調整におけるきめ細かい欠陥の最初のベンチマークである。 RFT-FMは、RTT障害の検出、診断、緩和に強い能力を示す。
参考スコア（独自算出の注目度）: 44.75827047453428
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement fine-tuning (RFT) has become a core paradigm for post-training large language models, yet its training process remains highly fragile. Existing efforts mainly improve reliability at the system level or address specific issues in individual subproblems by modifying RFT algorithms. Despite their effectiveness, they largely overlook the problem of failure management at the training-process level. When training goes wrong, practitioners still rely heavily on expert-driven manual inspection and correction, and automatic failure management for RFT remains largely unexplored. In this paper, we take a first step toward systematic failure management for reinforcement fine-tuning. To understand the empirical structure of RFT failures, we first construct RFT-FaultBench, the first benchmark for fine-grained failures in reinforcement fine-tuning, covering 5 fault families, 16 fault types, 779 training runs, 22,549 train-step records, and 1,457,288 trajectory-level records. Based on this benchmark, we conduct a comprehensive empirical study showing that RFT failures are both observable from training dynamics and distinguishable through their empirical fault fingerprints. Building on these findings, we propose RFT-FM, an automatic failure management framework for reinforcement fine-tuning that unifies anomaly detection, failure diagnosis, and auto remediation in a closed loop. Experimental results show that RFT-FaultBench is neither trivial nor saturated: it exhibits clear anomaly structure while still posing substantial challenges, especially under subtle fault settings. Moreover, RFT-FM shows strong capability in detecting, diagnosing, and mitigating RFT failures.
Abstract（参考訳）: 強化微調整(Reinforcement fine-tuning, RFT)は、大規模言語モデルの訓練後の中心となるパラダイムとなっているが、そのトレーニングプロセスは非常に脆弱である。既存の取り組みは主にシステムレベルでの信頼性の向上や、RFTアルゴリズムの変更による個々のサブプロブレムの特定の問題への対処である。その効果にもかかわらず、彼らはトレーニングプロセスレベルでの障害管理の問題をほとんど見落としている。トレーニングがうまくいかなかった場合、実践者は専門家主導による手動の検査と修正に大きく依存し、RFTの自動障害管理はほとんど未調査のままである。本稿では,強化微調整のための系統的故障管理に向けて第一歩を踏み出す。 RFT故障の実証的構造を理解するため,RFT-FaultBenchは5つの障害群,16の障害タイプ,779のトレーニングラン,22,549の列車ステップ記録,1,457,288のトラジェクトリレベルの記録を含む,強化微調整におけるきめ細かい故障の最初のベンチマークである。このベンチマークに基づいて,RFT故障はトレーニングのダイナミックスから観察可能であり,経験的欠陥指紋を通して識別可能であることを示す総合的な実験的検討を行った。これらの知見に基づいて, 閉鎖ループにおける異常検出, 故障診断, 自動修復を統一する強化微調整のための自動故障管理フレームワークであるRTT-FMを提案する。 RFT-FaultBenchは,特に微妙な断層条件下では,依然として重大な課題を呈しながら,明らかな異常構造を示す。さらに、RTT-FMは、RTT障害の検出、診断、緩和に強い能力を示す。

関連論文リスト

FailForge: Distilling Procedural Competence from Persistent Failures into Code Agents [49.519184792774304]
FailForgeは、失敗したロールアウトをトレーニングシグナルに変換するエージェントフレームワークである。 FailForgeは、これまで失敗したインスタンスの26%を、限界的な追加コストでリカバリする。
論文参考訳（メタデータ） (2026-08-09T08:22:57Z)
Tracing Agentic Failure from the Flow of Success [7.071269758592172]
我々は、実際の失敗帰属モデルは、障害データに対する段階的な監督なしに軽量で訓練可能であるべきだと論じる。本稿では,この問題をニューラル制御微分方程式を用いた一級学習とみなすOATを提案する。わずか100の軌道でのトレーニングにより、OATはプロンプトベースベースラインよりも200-5000ドル速い。
論文参考訳（メタデータ） (2026-07-14T13:16:14Z)
DRIFT: Difficulty Routing Self-DIstillation with Rhythm-Gated Exploration and Success BuFfer Training [12.82389963785782]
DRIFTは、大規模言語モデルのためのオンライン自己進化ポリシー最適化フレームワークである。これは、難易度ルーティングとリズムゲーティングを併用することで、モデルの自己改善プロセスを規制する。 5つのベンチマークと3つのモデルスケールで評価し、DRIFTはGRPOとSDPOのピーク性能を上回った。
論文参考訳（メタデータ） (2026-06-29T14:20:47Z)
Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
論文参考訳（メタデータ） (2026-04-27T09:00:30Z)
Trust-Region Adaptive Policy Optimization [82.09255251747818]
後学習法は,大規模言語モデル(LLM)の複雑な推論能力の向上に重要な役割を果たしている。トレーニングインスタンス毎に,Fun-Tuning(SFT)とReinforcement Learning(RL)をインターリーブするフレームワークであるTRAPOを紹介する。 5つの数学的推論ベンチマークの実験は、TRAPOが標準SFT、RL、SFT-then-RLパイプラインを一貫して上回っていることを示している。
論文参考訳（メタデータ） (2025-12-19T14:37:07Z)
Anchored Supervised Fine-Tuning [26.17356786243252]
大規模言語モデルのポストトレーニングには、教師付き微調整と強化学習のトレードオフが含まれる。 Dynamic Fine-Tuning (DFT)は、最近、トークンの確率でSFTの目標を再重み付けする、有望な中核として登場した。我々は, 軽量KL正則化によるDFTの再重み付けを向上し, 安定性を確保しつつ, 密度を維持したAnchored Supervised Fine-Tuning (ASFT)を提案する。
論文参考訳（メタデータ） (2025-09-28T08:58:12Z)
Reinforcement Fine-Tuning Naturally Mitigates Forgetting in Continual Post-Training [36.69514399442043]
本稿では,教師付きファインチューニング(SFT)と強化ファインチューニング(RFT)の2つのコアポストトレーニングパラダイムの比較分析を行った。本実験は,7つの多様なマルチモーダルタスクからなるベンチマークで実施した。
論文参考訳（メタデータ） (2025-07-07T18:17:06Z)
Why Reinforcement Fine-Tuning Enables MLLMs Preserve Prior Knowledge Better: A Data Perspective [98.45690529036848]
Supervised Fine-Tuning (SFT) や Reinforcement Fine-Tuning (RFT) といったポストトレーニングアルゴリズムは、マルチモーダルな大規模言語モデルを下流タスクに適応するために広く使われている。タスク適応には有効であるが、以前の知識に対する影響はいまだ不明である。
論文参考訳（メタデータ） (2025-06-30T04:15:01Z)
Exploring Expert Failures Improves LLM Agent Tuning [74.0772570556016]
本稿では,失敗した専門家の軌道から有益な行動を識別する専門的失敗の探索(EEF)を提案する。 EEFは、未解決のいくつかのサブタスクをうまく解決し、エージェントチューニング性能を改善する。
論文参考訳（メタデータ） (2025-04-17T17:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。