論文の概要: JudgeMix: Judge-Guided Mixed-Rollout Data Synthesis for LLM Agents
- arxiv url: http://arxiv.org/abs/2611.16174v1
- Date: Thu, 12 Nov 2026 02:03:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.299973
- Title: JudgeMix: Judge-Guided Mixed-Rollout Data Synthesis for LLM Agents
- Title(参考訳): judgeMix: LLMエージェントのための判定ガイド付き混合ロールアウトデータ合成
- Abstract要約: エキスパート・トラジェクトリーにおける監督された微調整(SFT)は、訓練エージェントの標準パラダイムである。
judgeMixは、ターゲットモデルが苦労したタイミングで専門家のガイダンスをクエリし、高い軌道成功率を保証する。
さらに、審査員評価を使用して、異なるステップにおける専門家の監督を再重み付けし、モデル固有の有効な振る舞いを保持しながら、エラーを修正します。
- 参考スコア(独自算出の注目度): 30.39051727793732
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised fine-tuning (SFT) on expert trajectories is a standard paradigm for training LLM agents. However, it suffers from a well-known training-inference distribution mismatch, calling for target-aware data synthesis strategies that ground the training data in the target model's native state distribution. To bridge this gap, emerging approaches incorporate the expert either to guide mixed rollouts alongside the target model, or to provide dense step-wise supervision. Nonetheless, existing methods apply expert assistance blind to the target model's inherent behavior: they either disrupt the rollout using sub-optimal random intervention heuristics, or they enforce indiscriminate uniform supervision that unnecessarily overwrites the model's already-correct actions. We introduce JudgeMix, a judge-guided data synthesis framework that dynamically interleaves the target model and expert based on step-wise semantic evaluations. JudgeMix queries expert guidance precisely when the target model struggles, ensuring high trajectory success rates while keeping the state distribution aligned with the target model. It additionally uses the judge evaluation to reweight expert supervision on different steps, preserving model's inherent valid behavior while correcting its errors. On two agentic tool-use benchmarks, AppWorld and AutomationBench, JudgeMix demonstrates consistent superior performance to existing methods, with improvements up to 10 pass@1 points.
- Abstract(参考訳): 専門的軌道上の超微調整(SFT)は、LLMエージェントを訓練するための標準パラダイムである。
しかし、ターゲットモデルのネイティブ状態分布にトレーニングデータを基盤とするターゲット認識データ合成戦略を要求され、トレーニング-推論分布のミスマッチに悩まされる。
このギャップを埋めるために、新たなアプローチでは、ターゲットモデルと混在するロールアウトをガイドしたり、ステップワイドな監視を提供するために専門家を取り入れている。
それらは、準最適ランダム介入ヒューリスティックを使ってロールアウトを妨害するか、または、モデルの既に正しい動作を不必要に上書きする無差別な統一的な監督を強制するかである。
本稿では,段階的セマンティック評価に基づいて,対象モデルと専門家を動的にインターリーブする判断誘導型データ合成フレームワークであるJiceMixを紹介する。
judgeMixは、ターゲットモデルが苦労したときのエキスパートガイダンスを正確にクエリし、ターゲットモデルと状態分布を一致させながら、高い軌道成功率を確保する。
さらに、審査員評価を使用して、異なるステップにおける専門家の監督を再重み付けし、モデル固有の有効な振る舞いを保持しながら、エラーを修正します。
AppWorld と AutomationBench の2つのエージェントツール使用ベンチマークでは、JiceMix は既存のメソッドに対して一貫したパフォーマンスを示し、最大 10 パス@1 ポイントまで改善されている。
関連論文リスト
- MixSD: Mixed Contextual Self-Distillation for Knowledge Injection [29.7616760417696]
Supervised Fine-tuning (SFT) は言語モデルに新しい知識を注入するために広く使われている。
このことは、人間や外部システムからの微調整対象が、モデルの自動回帰分布から逸脱するためである、と我々は主張する。
分布整合型知識注入のための簡易な外部教師なし手法であるMixSDを提案する。
論文 参考訳(メタデータ) (2026-05-16T07:57:09Z) - Toward Reliable Machine Unlearning: Theory, Algorithms, and Evaluation [1.7767466724342065]
本稿では,SOTA MIAスコアに基づく画像分類の最先端手法を超越したAdrial Machine UNlearning(AMUN)を提案する。
既存の手法は、最寄りの会員推定攻撃(MIA-NN)を導入して、再訓練されたモデルの動作を再現できないことを示す。
そこで我々は,スクラッチから再学習したモデルが生成する残りのクラスに対する分布を,クラス入力に対して近似することで,このリークを緩和する微調整対象を提案する。
論文 参考訳(メタデータ) (2025-12-07T20:57:25Z) - CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。
CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
論文 参考訳(メタデータ) (2025-07-12T01:34:24Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳(メタデータ) (2025-05-21T07:16:44Z) - Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。
従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。
これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
論文 参考訳(メタデータ) (2024-07-16T06:38:49Z) - Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳(メタデータ) (2024-02-13T11:25:20Z) - Unstoppable Attack: Label-Only Model Inversion via Conditional Diffusion
Model [14.834360664780709]
モデルアタック(MIA)は、深層学習モデルの到達不可能なトレーニングセットからプライベートデータを復元することを目的としている。
そこで本研究では,条件拡散モデル(CDM)を応用したMIA手法を開発し,対象ラベル下でのサンプルの回収を行う。
実験結果から,本手法は従来手法よりも高い精度で類似したサンプルをターゲットラベルに生成できることが示唆された。
論文 参考訳(メタデータ) (2023-07-17T12:14:24Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。