論文の概要: Bilevel Optimization of Synthetic Trajectories for Multi-Turn LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2605.24743v1
• Date: Sat, 23 May 2026 21:34:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.36007
• Title: Bilevel Optimization of Synthetic Trajectories for Multi-Turn LLM Fine-Tuning
• Title（参考訳）: LLMファインチューニングのための合成軌道のバイレベル最適化
• Authors: Shresth Verma, Mauricio Tec, Cheol Woo Kim, Kai Wang, Milind Tambe,
• Abstract要約: マルチターントラジェクトリによる学習のための双方向最適化フレームワークであるBOOSTを提案する。 本研究では,BOOSTのアップウェイトは,実データ分布に整合し,質的な優位性を示す合成軌道を示す。
• 参考スコア（独自算出の注目度）: 27.869067884673157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While LLMs excel at single-turn generation, they struggle with long-horizon, multi-turn interactions. Offline reinforcement learning (RL) offers a scalable approach, yet its performance hinges on the availability and quality of multi-turn trajectory data. A common remedy is to augment training with synthetic trajectories generated by LLMs or simulators, but synthetic data is highly heterogeneous in quality, and naively treating all trajectories as equally informative can degrade performance. We propose BOOST, a bilevel optimization framework where the inner level trains the LLM on reweighted data and the outer level trains a lightweight reweighting head on held-out real validation tasks, assigning continuous trajectory-level weights without requiring an external judge. To ground this approach, we derive a PAC-Bayesian bound revealing a three-way trade-off: synthetic data increases diversity but risks task-shift, while concentrating weight on high-quality trajectories improves empirical performance at the cost of effective sample size. Empirically, our method consistently outperforms multiple baselines. Analysis reveals it upweights synthetic trajectories that align with the real data distribution and exhibit higher qualitative merit.
• Abstract（参考訳）: LLMはシングルターン世代で優れているが、長い水平・マルチターン相互作用に苦しむ。 オフライン強化学習(RL)はスケーラブルなアプローチを提供するが、その性能はマルチターン軌道データの可用性と品質に依存している。 一般的な治療法は、LLMやシミュレータによって生成された合成軌跡による訓練を増強することであるが、合成データは品質において非常に均一であり、全ての軌跡を同等に情報的に扱い、性能を低下させることができる。 内部レベルがLLMを重み付けされたデータで訓練し、外部レベルが重み付けされた実検定タスクで軽量な重み付けヘッドを訓練し、外部の判断を必要とせずに連続的な軌跡レベルの重み付けを割り当てる2レベル最適化フレームワークであるBOOSTを提案する。 合成データは多様性を増大させるが、タスクシフトを危険にさらす一方で、高品質な軌道に重みを集中させることは、有効サンプルサイズを犠牲にして経験的性能を向上させる。 経験的に、我々の手法は複数のベースラインを一貫して上回る。 分析により、実際のデータ分布と整合し、質的なメリットを示す合成軌道のアップウェイトが明らかになる。

関連論文リスト

• PLOT: Enhancing Preference Learning via Optimal Transport [28.079554847535107]
  PLOTは、最適輸送から導出されるトークンレベルの損失を通じて、微調整に基づくアライメントにおける優先度学習を強化する。 PLOTは、大規模言語モデルの本来の分布を保ちながら、モデルの出力を人間の好みに合わせる。
  論文  参考訳（メタデータ） (2026-04-02T09:51:56Z)
• Guided by Trajectories: Repairing and Rewarding Tool-Use Trajectories for Tool-Integrated Reasoning [65.10602992874787]
  AutoTrajはツール使用トラジェクトリの修復と報酬によってTIRを自動的に学習するフレームワークである。 実世界のベンチマークの実験では、AutoTrajの有効性が示されている。
  論文  参考訳（メタデータ） (2026-01-30T14:42:04Z)
• Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration [56.074760766965085]
  PRISMは、モデルの既存の知識との認知的対立度に基づいてデータを調停する動的認識フレームワークを実現する。 この結果から,内部最適化方式に基づくデータ分離が,スケーラブルでロバストなエージェントアライメントに不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-12T05:43:20Z)
• Hierarchical Optimization via LLM-Guided Objective Evolution for Mobility-on-Demand Systems [9.979671028876464]
  動的階層システムにおいて,大規模言語モデル(LLM)と数学的最適化を統合した新しいフレームワークを提案する。 このフレームワーク内では、LLMはメタ最適化として機能し、制約執行とリアルタイム決定実行に責任を負う低レベルのセマンティクスを生成する。 ニューヨークとシカゴの両方のタクシーデータに基づく実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2025-10-12T14:56:19Z)
• Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models [79.2162092822111]
  我々は,一連のナビゲーションタスクにおいて,強化学習(RL)と制御に基づく手法を体系的に評価する。 我々は、JEPA(Joint Embedding Predictive Architecture)を使用して、潜在ダイナミクスモデルを使用し、それを計画に使用します。 その結果,モデルベースプランニングではレイアウトが不明瞭になるのに対して,モデルフリーのRLは高品質なデータから恩恵を受けることがわかった。
  論文  参考訳（メタデータ） (2025-02-20T18:39:41Z)
• Condor: Enhance LLM Alignment with Knowledge-Driven Data Synthesis and Refinement [41.929860869084536]
  本研究では,ワールドナレッジツリーと自己回帰リファインメントを組み込んだ2段階合成データ生成フレームワークであるCondorを導入し,高品質なSFTデータを大規模に生成する。 実験結果から,20Kコンドル生成サンプルのみを微調整したベースモデルでは,本モデルよりも優れた性能が得られた。
  論文  参考訳（メタデータ） (2025-01-21T16:44:12Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。