論文の概要: Act More, Decide Less: Skill-Guided Adaptive Action Chunking for Long-Horizon LLM Agents

• arxiv url: http://arxiv.org/abs/2609.02042v1
• Date: Wed, 02 Sep 2026 03:17:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.037674
• Title: Act More, Decide Less: Skill-Guided Adaptive Action Chunking for Long-Horizon LLM Agents
• Title（参考訳）: ロングホライゾンLSM剤のスキルガイドによる適応的アクションチャンキング
• Abstract要約: 大規模言語モデル(LLM)エージェントは、通常、ReActスタイルのプロトコルに従う。 自然な方法は、エージェントが可変長のアクションチャンクを出力することです。 しかし、こうした政策を標準的な強化学習で素直に訓練することは失敗する。
• 参考スコア（独自算出の注目度）: 50.85250898062218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) agents for long-horizon interactive tasks typically follow a ReAct-style protocol, issuing one primitive action per LLM round. While this enables frequent replanning, it is inefficient for long-horizon tasks where many rounds are spent on routine action sequences. A natural alternative is to let the agent emit variable-length action chunks. However, naively training such policies with standard reinforcement learning fails: the agent either collapses to single-action behavior or over-commits to excessively long sequences. Both failures share a common root cause: the inability to learn chunk boundaries. We propose SPACE, which addresses this challenge by distilling chunk-boundary supervision from trajectory-induced programmatic skills. We induce two-level programmatic skills from successful trajectories, where subskill boundaries serve as direct chunk-boundary supervision. This temporal structure is then distilled into a primitive-chunk policy via hybrid on-/off-policy optimization with chunk-aware credit assignment. Experiments on ALFWorld and ScienceWorld show that SPACE improves success rates by 7.0%-31.3% over the strongest baseline in each setting while reducing average LLM decision rounds by up to 78.9%.
• Abstract（参考訳）: 大きな言語モデル(LLM)エージェントは、長い水平の対話的なタスクに対して通常ReActスタイルのプロトコルに従っており、LLMラウンド毎に1つのプリミティブアクションを発行する。 これは頻繁な再計画を可能にするが、通常のアクションシーケンスに多くのラウンドが費やされる長い水平タスクでは非効率である。 自然な方法は、エージェントが可変長のアクションチャンクを出力することです。 しかし、標準的な強化学習でこのような政策を鼻で訓練することは失敗し、エージェントは単一行動に崩壊するか、過度に長いシーケンスに過度にコミットする。 どちらの障害も共通の根本原因を共有している。 本研究では,この課題に対処するために,トラジェクトリによるプログラムスキルからチャンク境界管理を抽出するSPACEを提案する。 我々は、サブスキル境界が直接チャンク境界監督として機能する、成功軌道から2段階のプログラムスキルを誘導する。 この時間構造は、チャンク・アウェア・クレジット割り当てを伴うハイブリッドオン・オフ・ポリティクス最適化によりプリミティブ・チャンク・ポリシーに蒸留される。 ALFWorldとScienceWorldの実験では、SPACEはそれぞれの設定において最強のベースラインよりも7.0%-31.3%向上し、平均的なLSM決定ラウンドを78.9%削減している。

関連論文リスト

• Explore More, Drift Less: Outcome-Only Reinforcement Learning Can Suffice for Long-Horizon Interactive Agents [3.3656546156010942]
  強化学習(Reinforcement learning)は、エンド・オブ・タスクの検証のみで判断される長距離対話型タスクのための訓練後エージェントの自然な方法である。 最近の作業は、より密度の高い報酬、SFTプリエント、スキルライブラリ、キュレートされたメモリ、マルチエージェントオーケストレーションによるトレーニングの周辺を補っている。 我々は、CANOPYという、両者を直接攻撃する最小限のプロトコルを提示する: 自然信号が現れるまで、同じタスクの探索をスケールし、すべての更新を政治上、KLアンコールし、エージェント自身のアクショントークンに制限する。
  論文  参考訳（メタデータ） (2026-09-01T13:44:40Z)
• Spinning Straw into Gold: Relabeling LLM Agent Trajectories in Hindsight for Successful Demonstrations [53.931465193216155]
  我々は、HSL(Hindsight Supervised Learning)を導入し、補助的なLLMが各完了軌跡をレビューし、エージェントが実際に達成したすべての自然言語目標をラベル付けする。 HSLは軌道をその延長された目標と組み合わせ、これらのペアを追加の微調整に使用する。 実験の結果,HSLは既存のポストトレーニングパイプラインと柔軟で互換性があることがわかった。
  論文  参考訳（メタデータ） (2026-07-05T11:21:26Z)
• Adaptive Action Chunking via Multi-Chunk Q Value Estimation [18.426163168939365]
  本稿では,新しいオフライン-オンライン強化学習アルゴリズムであるAdaptive Action CHunking (ACH)を提案する。 ACHはトレーニングと推論の間、チャンクの長さを動的に調節する。 我々のメカニズムにより,エージェントは現在の状態に基づいて最適なチャンク長を適応的に選択できる。
  論文  参考訳（メタデータ） (2026-05-11T06:14:32Z)
• HiPER: Hierarchical Reinforcement Learning with Explicit Credit Assignment for Large Language Model Agents [36.77027704958893]
  HiPERは階層的計画実行(Hierarchical Plan-Execute RL)フレームワークで、高レベルの計画と低レベルの実行を分離する。 HiPER は ALFWorld で97.4%、Qwen2.5-7B-Instruct で WebShop で83.3% を達成している。
  論文  参考訳（メタデータ） (2026-02-18T03:31:34Z)
• On GRPO Collapse in Search-R1: The Lazy Likelihood-Displacement Death Spiral [59.14787085809595]
  この障害を引き起こす中核的なメカニズムとしてLazy Likelihood Displacement(LLD)を同定する。 LDDは早期に出現し、自己強化性LDDデススパイラル(LDD Death Spiral)を引き起こす。 本稿では,GRPO のための軽量な確率保存正則化 LLDS を提案する。
  論文  参考訳（メタデータ） (2025-12-03T19:41:15Z)
• ReAcTree: Hierarchical LLM Agent Trees with Control Flow for Long-Horizon Task Planning [6.600538353483611]
  本稿では,複雑な目標を動的に構築されたエージェントツリー内のより管理可能なサブゴールに分解する階層的タスクプランニング手法を提案する。 ReAcTreeは、さまざまな大きな言語モデルでReActのような強力なタスク計画ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-11-04T09:55:40Z)
• Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
  大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。 LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-05-23T08:23:36Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [68.29746557968107]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• Plan, Eliminate, and Track -- Language Models are Good Teachers for Embodied Agents [99.17668730578586]
  事前訓練された大言語モデル(LLM)は、世界に関する手続き的な知識をキャプチャする。 Plan, Eliminate, and Track (PET)フレームワークはタスク記述をハイレベルなサブタスクのリストに変換する。 PETフレームワークは、人間の目標仕様への一般化のために、SOTAよりも15%改善されている。
  論文  参考訳（メタデータ） (2023-05-03T20:11:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。