論文の概要: SAND: Boosting LLM Agents with Self-Taught Action Deliberation

• arxiv url: http://arxiv.org/abs/2507.07441v1
• Date: Thu, 10 Jul 2025 05:38:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.283892
• Title: SAND: Boosting LLM Agents with Self-Taught Action Deliberation
• Title（参考訳）: SAND:自己学習行動検討によるLDMエージェントの強化
• Authors: Yu Xia, Yiran Jenny Shen, Junda Wu, Tong Yu, Sungchul Kim, Ryan A. Rossi, Lina Yao, Julian McAuley,
• Abstract要約: 大規模言語モデル(LLM)エージェントは、通常、ReActスタイルの専門家軌道の教師付き微調整や、ペアのロールアウトよりも好みの最適化で調整される。 本稿では,自己学習型アクチオN審議(SAND)フレームワークを提案する。 SANDは、初期教師付き微調整よりも平均20%改善し、また最先端のエージェントチューニングアプローチより優れている。
• 参考スコア（独自算出の注目度）: 53.732649189709285
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Model (LLM) agents are commonly tuned with supervised finetuning on ReAct-style expert trajectories or preference optimization over pairwise rollouts. Most of these methods focus on imitating specific expert behaviors or promoting chosen reasoning thoughts and actions over rejected ones. However, without reasoning and comparing over alternatives actions, LLM agents finetuned with these methods may over-commit towards seemingly plausible but suboptimal actions due to limited action space exploration. To address this, in this paper we propose Self-taught ActioN Deliberation (SAND) framework, enabling LLM agents to explicitly deliberate over candidate actions before committing to one. To tackle the challenges of when and what to deliberate given large action space and step-level action evaluation, we incorporate self-consistency action sampling and execution-guided action critique to help synthesize step-wise action deliberation thoughts using the base model of the LLM agent. In an iterative manner, the deliberation trajectories are then used to finetune the LLM agent itself. Evaluating on two representative interactive agent tasks, SAND achieves an average 20% improvement over initial supervised finetuning and also outperforms state-of-the-art agent tuning approaches.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、通常、ReActスタイルの専門家軌道の教師付き微調整や、ペアのロールアウトよりも好みの最適化で調整される。 これらの手法のほとんどは、特定の専門家の行動を模倣することや、拒絶されたものよりも選択された推論の思考と行動を促進することに焦点を当てている。 しかし、代替のアクションを推論したり比較したりすることなく、これらの手法で微調整されたLLMエージェントは、限られたアクション空間探索のために、可塑性であるように見えるが、最適でないアクションに対して過度にコミットする可能性がある。 そこで,本稿では,自己学習型アクティオN検討(SAND)フレームワークを提案する。 LLMエージェントのベースモデルを用いて,自己整合性行動サンプリングと実行指導型行動評定を併用し,段階的行動評定思考の合成を支援する。 反復的な方法で、熟考軌跡を用いてLSM剤自体を微調整する。 2つの代表的対話型エージェントタスクを評価し、SANDは初期教師付き微調整よりも平均20%改善し、また最先端のエージェントチューニングアプローチよりも優れている。

関連論文リスト

• MIRROR: Multi-agent Intra- and Inter-Reflection for Optimized Reasoning in Tool Learning [33.009759731505746]
  ツール統合を含む複雑なタスクは、大規模言語モデルにとって大きな課題となる。 リフレクションはエージェントベンチマークにおける誤った軌道の修正に有効な戦略として現れている。 提案するMIRRORは,実行前に意図した動作を批判的に評価するフレームワークと,軌道のさらなる調整を行うインターリフレクションの両方からなるフレームワークである。
  論文  参考訳（メタデータ） (2025-05-27T03:37:33Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)
• Controlling Large Language Model Agents with Entropic Activation Steering [20.56909601159833]
  In-context Learning Agent のためのアクティベーションステアリングである Entropic Activation Steering (EAST) を導入する。 EAST は LLM の出力から解析された高レベルな動作に直接影響を与えることにより LLM エージェントの探索を効果的に操作できることを示す。 また, この制御を適用することで, LLMの思考に現れる不確実性を調節し, エージェントをより探索的な行動へと導くことも明らかにした。
  論文  参考訳（メタデータ） (2024-06-01T00:25:00Z)
• Devil's Advocate: Anticipatory Reflection for LLM Agents [53.897557605550325]
  我々のアプローチは、LLMエージェントに対して、与えられたタスクを管理可能なサブタスクに分解するように促す。 イントロスペクティブ・イントロスペクティブ・イントロスペクティブ・イントロスペクティブ(introspective intervention)を3回実施する。 潜在的な障害の予測と、アクション実行前の代替策。 サブタスクの目的とのポストアクションアライメントと、計画実行における最大限の努力を保証するための改善によるバックトラック。
  論文  参考訳（メタデータ） (2024-05-25T19:20:15Z)
• Formally Specifying the High-Level Behavior of LLM-Based Agents [24.645319505305316]
  LLMはタスク固有の微調整モデルを必要とせずに、課題を解決するための有望なツールとして登場した。 現在、このようなエージェントの設計と実装はアドホックであり、LLMベースのエージェントが自然に適用できる様々なタスクは、エージェント設計に一律に適合するアプローチが存在しないことを意味する。 エージェント構築のプロセスを簡単にする最小主義的生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-12T17:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。