論文の概要: Proximity-Based Multi-Turn Optimization: Practical Credit Assignment for LLM Agent Training

• arxiv url: http://arxiv.org/abs/2602.19225v1
• Date: Sun, 22 Feb 2026 15:18:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.541847
• Title: Proximity-Based Multi-Turn Optimization: Practical Credit Assignment for LLM Agent Training
• Title（参考訳）: 確率に基づくマルチターン最適化: LLMエージェントトレーニングのための実践的クレジットアサインメント
• Authors: Yangyi Fang, Jiaye Lin, Xiaoliang Fu, Cong Qin, Haolin Shi, Chang Liu, Peilin Zhao,
• Abstract要約: マルチターンLDMエージェントは、顧客サービス自動化、eコマース支援、インタラクティブタスク管理など、プロダクションシステムにとって重要な存在である。 Proximity-based Multi-turn Optimization (ProxMO) は実世界の展開の制約に特化して設計された実用的で堅牢なフレームワークである。
• 参考スコア（独自算出の注目度）: 26.571744733431448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-turn LLM agents are becoming pivotal to production systems, spanning customer service automation, e-commerce assistance, and interactive task management, where accurately distinguishing high-value informative signals from stochastic noise is critical for sample-efficient training. In real-world scenarios, a failure in a trivial task may reflect random instability, whereas success in a high-difficulty task signifies a genuine capability breakthrough. Yet, existing group-based policy optimization methods rigidly rely on statistical deviation within discrete batches, frequently misallocating credit when task difficulty fluctuates. To address this issue, we propose Proximity-based Multi-turn Optimization (ProxMO), a practical and robust framework engineered specifically for the constraints of real-world deployment. ProxMO integrates global context via two lightweight mechanisms: success-rate-aware modulation dynamically adapts gradient intensity based on episode-level difficulty, while proximity-based soft aggregation derives baselines through continuous semantic weighting at the step level. Extensive evaluations on ALFWorld and WebShop benchmarks demonstrate that ProxMO yields substantial performance gains over existing baselines with negligible computational cost. Ablation studies further validate the independent and synergistic efficacy of both mechanisms. Crucially, ProxMO offers plug-and-play compatibility with standard GRPO frameworks, facilitating immediate, low-friction adoption in existing industrial training pipelines. Our implementation is available at: \href{https://anonymous.4open.science/r/proxmo-B7E7/README.md}{https://anonymous.4open.science/r/proxmo}.
• Abstract（参考訳）: マルチターンLDMエージェントは、顧客サービス自動化、eコマース支援、対話型タスク管理など、実運用システムにおいて重要な役割を担っている。 現実のシナリオでは、自明なタスクの失敗はランダムな不安定性を反映するが、高次タスクの成功は真の能力のブレークスルーを意味する。 しかし、既存のグループベースの政策最適化手法は離散バッチ内での統計的偏差を厳格に頼り、タスクの難易度が変動した場合、しばしば信用を誤る。 この問題に対処するために,実世界展開の制約に特化して設計された実用的で堅牢なフレームワークであるProxMO(Proximity-based Multi-turn Optimization)を提案する。 ProxMOは2つの軽量なメカニズムを通じてグローバルコンテキストを統合する:成功率対応変調はエピソードレベルの難易度に基づく勾配強度を動的に適応する一方、近接ベースのソフトアグリゲーションはステップレベルでの連続的な意味重み付けを通じてベースラインを導出する。 ALFWorld と WebShop ベンチマークの大規模な評価は,ProxMO が既定のベースラインに対して,計算コストを無視して大幅なパフォーマンス向上を達成していることを示している。 アブレーション研究は、両方のメカニズムの独立性と相乗効果をさらに検証する。 重要な点として、ProxMOは標準のGRPOフレームワークとのプラグイン・アンド・プレイの互換性を提供し、既存の産業訓練パイプラインにおける即時かつ低フリクションの採用を促進する。 実装は以下の通りである。 \href{https://anonymous.4open.science/r/proxmo-B7E7/README.md}{https://anonymous.4open.science/r/proxmo}。

関連論文リスト

• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
  本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。 ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。 我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
  論文  参考訳（メタデータ） (2025-10-11T18:11:09Z)
• Scale, Don't Fine-tune: Guiding Multimodal LLMs for Efficient Visual Place Recognition at Test-Time [12.659582318581606]
  Vision Foundation Models (VFM) や Multimodal Large Language Models (MLLM) といった現在のアプローチでは意味理解が強化されているが、微調整時に高い計算オーバーヘッドと限られたクロスドメイン転送性に悩まされている。 本稿では,直接類似度スコアリングのためのガイダンスベースの手法を用いて,視覚言語アライメント機能を活用したテスト時間スケーリング(TTS)を用いた新しいフレームワークを提案する。 提案手法では,長さ制御可能なスコアアウトプットを生成する構造的プロンプトを用いることで,2段階処理を除去する。
  論文  参考訳（メタデータ） (2025-09-02T09:25:13Z)
• InternBootcamp Technical Report: Boosting LLM Reasoning with Verifiable Task Scaling [71.37579508777843]
  大規模言語モデル(LLM)は、複雑な推論機能を実現することによって、人工知能に革命をもたらした。 このギャップに対処するため、1000以上のドメイン分散タスク環境からなるオープンソースのフレームワークであるInternBootcampを紹介します。
  論文  参考訳（メタデータ） (2025-08-12T05:00:00Z)
• SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling [58.05959902776133]
  私たちはSingle-Passを紹介します。 Reference-Guided Evaluation (SPARE)は、効率的なステップごとのアノテーションを可能にする新しい構造化フレームワークである。 数学的推論(GSM8K, MATH)、マルチホップ質問応答(MuSiQue-Ans)、空間推論(SpaRP)にまたがる4つの多様なデータセットにおけるSPAREの有効性を実証する。 ProcessBenchでは、SPAREがデータ効率のよいアウト・オブ・ディストリビューションの一般化を実証し、トレーニングサンプルの$sim$16%しか使用していない。
  論文  参考訳（メタデータ） (2025-06-18T14:37:59Z)
• A Production Scheduling Framework for Reinforcement Learning Under Real-World Constraints [0.0]
  実世界の運用環境は、従来のスケジューリングアプローチの効率を低下させる追加の複雑さを導入します。 強化学習(RL)は、エージェントが適応的なスケジューリング戦略を学習できるようにするため、これらの課題に対処する可能性を秘めている。 本稿では,従来のJSSPの定式化を,主要な実世界の制約を組み込むことで拡張するモジュラーフレームワークを提案する。 JobShopLabは、研究開発と産業アプリケーションの両方のためのオープンソースのツールだ。
  論文  参考訳（メタデータ） (2025-06-16T14:50:26Z)
• Heterogeneous Group-Based Reinforcement Learning for LLM-based Multi-Agent Systems [25.882461853973897]
  本稿では、相対報酬の利点を推定して政策更新を導くマルチエージェント不均一グループ政策最適化(MHGPO)を提案する。 MHGPOは、批判的ネットワークの必要性を排除し、安定性を向上し、計算オーバーヘッドを減らす。 また,効率性と有効性を両立させる3つのグループロールアウトサンプリング戦略も導入する。
  論文  参考訳（メタデータ） (2025-06-03T10:17:19Z)
• MAS-ZERO: Designing Multi-Agent Systems with Zero Supervision [76.42361936804313]
  自動MAS設計のための自己進化型推論時間フレームワークMAS-ZEROを紹介する。 MAS-ZEROはメタレベルの設計を採用し、各問題インスタンスに適したMAS構成を反復的に生成し、評価し、洗練する。
  論文  参考訳（メタデータ） (2025-05-21T00:56:09Z)
• Performant LLM Agentic Framework for Conversational AI [1.6114012813668932]
  複雑なグラフをトラバースする際に,適切なノードを選択し,順に処理を実行する際に,LLM(Large Language Models)を支援する新しいシステムであるPerformant Agentic Framework(PAF)を紹介する。 PAFはLLMベースの推論と数学的に基底化されたベクトルスコアリング機構を組み合わせることで、高い精度とレイテンシの低減を実現している。 PAFは、複雑なビジネス環境において、スケーラブルでリアルタイムな会話型AIシステムを実現する方法として、ベースラインメソッドを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2025-03-09T02:58:34Z)
• Refining Salience-Aware Sparse Fine-Tuning Strategies for Language Models [14.68920095399595]
  SPEFT(Sparsity-based PEFT)は、モデルの重み行列にトレーニング可能なスパース適応を導入する。 我々は、ゼロコストNASプロキシにインスパイアされたSPEFTのサリエンス指標を初めて体系的に評価した。 静的マスキング戦略と動的マスキング戦略を比較し、トレーニング前にゼロでないエントリを事前に決定する静的マスキングが、パフォーマンスを犠牲にすることなく効率を向上することを示した。
  論文  参考訳（メタデータ） (2024-12-18T04:14:35Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。