Fugu-MT 論文翻訳(概要): Don't Just Fine-tune the Agent, Tune the Environment

論文の概要: Don't Just Fine-tune the Agent, Tune the Environment

arxiv url: http://arxiv.org/abs/2510.10197v1
Date: Sat, 11 Oct 2025 12:35:15 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-14 18:06:29.838762
Title: Don't Just Fine-tune the Agent, Tune the Environment
Title（参考訳）: エージェントを微調整するな, 環境を微調整するな
Authors: Siyuan Lu, Zechuan Wang, Hongxuan Zhang, Qintong Wu, Leilei Gan, Chenyi Zhuang, Jinjie Gu, Tao Lin,
Abstract要約: 合成データの微調整の監督は、過度な適合につながる。標準的な強化学習は、重要なコールドスタート問題とトレーニング不安定性に苦慮している。本研究は,静的軌道の教師付き微調整から動的環境探索へのパラダイムシフトを示す。
参考スコア（独自算出の注目度）: 25.7349297100143
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Large Language Model (LLM) agents show great promise for complex, multi-turn tool-use tasks, but their development is often hampered by the extreme scarcity of high-quality training data. Supervised fine-tuning (SFT) on synthetic data leads to overfitting, whereas standard reinforcement learning (RL) struggles with a critical cold-start problem and training instability. To address these challenges, we introduce $\textbf{Environment Tuning}$, a novel training paradigm that enables agents to learn complex behaviors directly from problem instances without relying on pre-collected expert trajectories. $\textbf{Environment Tuning}$ orchestrates this learning process through a structured curriculum, actionable environment augmentation that provides corrective feedback, and fine-grained progress rewards to ensure stable and efficient exploration. Using only 400 problem instances from Berkeley Function-Calling Leaderboard (BFCL) benchmark, our method not only achieves competitive in-distribution performance against strong baselines but also demonstrates superior out-of-distribution generalization, overcoming the performance collapse common to SFT-based approaches. Our work presents a paradigm shift from supervised fine-tuning on static trajectories to dynamic, environment-based exploration, paving the way for training more robust and data-efficient agents.
Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、複雑なマルチターンツール使用タスクを大いに約束するが、その開発は高品質なトレーニングデータの極端な不足によって妨げられることが多い。合成データに対する改良された微調整(SFT)は過度に適合するが、標準強化学習(RL)は重要なコールドスタート問題とトレーニング不安定性に苦しむ。これらの課題に対処するために、エージェントが事前にコンパイルされた専門家の軌跡に頼ることなく、問題インスタンスから直接複雑な振る舞いを学習できる新しいトレーニングパラダイムである$\textbf{Environment Tuning}$を紹介します。 $\textbf{Environment Tuning}$ この学習プロセスを、構造化されたカリキュラム、修正的なフィードバックを提供する実行可能な環境拡張、そして安定した効率的な探索を保証するためのきめ細かい進歩報酬を通じて編成する。バークレー・ファンクション・カリング・リーダーボード (BFCL) ベンチマークから得られた400個の問題事例を用いて, 本手法は, 強力なベースラインに対する競合的分散性能を達成するだけでなく, SFTベースのアプローチに共通する性能崩壊を克服し, より優れたアウト・オブ・ディストリビューション一般化を示す。我々の研究は、静的軌道の教師付き微調整から動的で環境に基づく探索へのパラダイムシフトを示し、より堅牢でデータ効率のよいエージェントを訓練するための道を開く。

関連論文リスト

ASTRA: Automated Synthesis of agentic Trajectories and Reinforcement Arenas [13.919124676472022]
ASTRAは、ツール拡張言語モデルエージェントをトレーニングするためのエンドツーエンドフレームワークである。 ASTRAはスケーラブルなデータ合成と検証可能な強化学習を統合している。複数のエージェントツール使用ベンチマークの実験は、ASTRA訓練されたモデルが最先端のパフォーマンスを達成することを示した。
論文参考訳（メタデータ） (2026-01-29T11:22:23Z)
SCALER:Synthetic Scalable Adaptive Learning Environment for Reasoning [24.80806018678682]
強化学習(Reinforcement Learning, RL)は、大規模言語モデルの推論能力を高めるための原則的な方法である。実際には、RLの進捗は、タスクの難しさがモデル能力と整合しなくなると遅くなります。本稿では,適応環境設計による効果的な学習信号を維持する枠組みを提案する。
論文参考訳（メタデータ） (2026-01-08T10:42:04Z)
Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
論文参考訳（メタデータ） (2025-10-30T11:53:08Z)
BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning [82.925106913459]
強化微調整(Reinforcement Finetuning, RFT)は、大規模言語モデル(LLM)を人間の嗜好と整合させ、推論を強化するための重要な手法である。 RFT強化微調整におけるベイズオンラインタスク選択のための統合フレームワークBOTSを紹介する。
論文参考訳（メタデータ） (2025-10-30T11:15:23Z)
Training-Free Group Relative Policy Optimization [34.73950078782136]
我々は,Large Language Model (LLM) エージェントが,経験的知識を先行するトークンとして学習することで,出力分布に類似した効果を得られることを論じる。我々は,LLMエージェントの性能をパラメータ更新なしで向上する,費用対効果の高いソリューションであるTraining-Free Group Relative Policy Optimization (Training-Free GRPO)を提案する。数学的推論とWeb検索タスクの実験により、DeepSeek-V3.1-Terminusに適用されたトレーニングフリーGRPOは、ドメイン外のパフォーマンスを大幅に改善することを示した。
論文参考訳（メタデータ） (2025-10-09T13:18:17Z)
On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting [91.38734024438357]
Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の能力の強化と振る舞いの整合化のための訓練後パラダイムである。 SFTとRLを統合する既存のアプローチは、確立された応答パターンを乱し、専門家データに過度に適合するリスクに直面することが多い。動的重み付けによるオン・アンド・オフ・ポリティクス強化学習の制御可能な調和のためのフレームワークであるCHORDを提案する。
論文参考訳（メタデータ） (2025-08-15T11:20:03Z)
Scaling Off-Policy Reinforcement Learning with Batch and Weight Normalization [15.212942734663514]
CrossQは,更新データ(UTD)比が1。より高UTD比で強調されるトレーニングダイナミクスの課題を明らかにする。提案手法はUTD比の増大とともに確実にスケールし,25の難易度連続制御タスクにまたがる競争性能を達成する。
論文参考訳（メタデータ） (2025-02-11T12:55:32Z)
Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文参考訳（メタデータ） (2024-02-22T04:10:57Z)
End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文参考訳（メタデータ） (2023-05-25T10:58:46Z)
Stabilizing and Improving Federated Learning with Non-IID Data and Client Dropout [15.569507252445144]
ラベル分布スキューによるデータヘテロジェニーティは、フェデレート学習におけるモデル性能を制限する重要な障害であることが示されている。クロスエントロピー損失を計算するための事前校正ソフトマックス関数を導入することで、シンプルで効果的なフレームワークを提案する。非IIDデータとクライアントドロップアウトの存在下で、既存のベースラインよりも優れたモデル性能を示す。
論文参考訳（メタデータ） (2023-03-11T05:17:59Z)
Understanding the Difficulty of Training Transformers [120.99980924577787]
バランスの取れない勾配がトレーニングの不安定性の根本原因ではないことを示す。我々は,早期段階のトレーニングを安定させ,後期段階においてその潜在能力を最大限に活用するためのアドミンを提案する。
論文参考訳（メタデータ） (2020-04-17T13:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。