Fugu-MT 論文翻訳(概要): Reward Shaping and Action Masking for Compositional Tasks using Behavior Trees and LLMs

論文の概要: Reward Shaping and Action Masking for Compositional Tasks using Behavior Trees and LLMs

arxiv url: http://arxiv.org/abs/2605.05795v1
Date: Thu, 07 May 2026 07:33:08 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-08 22:27:11.59611
Title: Reward Shaping and Action Masking for Compositional Tasks using Behavior Trees and LLMs
Title（参考訳）: 行動木とLLMを用いた構成課題に対する逆整形とアクションマスキング
Abstract要約: 強化学習は、エージェントポリシーを最適化してサブタスクを完了するために使用することができる。最近の研究は、報酬形成とアクションマスキングを自動化するために、大きな言語モデル(LLM)を使用している。マスク報酬行動木(MRBT, masking reward behavior tree)は,反応型およびモジュラー型報酬およびアクションマスク機能として使用されるシンボル構造である。
参考スコア（独自算出の注目度）: 3.285378336473673
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Decomposing complex tasks into a sequence of simpler subtasks can improve learning efficiency for an autonomous agent. Reinforcement learning (RL) can be used to optimize agent policies to complete subtasks, but requires well-defined subtask rewards and benefits from action masking. Recent work uses large language models (LLMs) to automate reward shaping and action masking, however none of them fully address reactivity to subtask failure and modularity to varying objects for compositional tasks. To overcome these challenges, we develop masking reward behavior tree (MRBT), a symbolic structure used as a reactive and modular reward and action mask function. We design an MRBT template and derive logical specifications to construct and verify MRBTs for a sequence of object-interaction subtasks. Further, we develop an automated pipeline that uses an LLM to generate MRBTs robust to varying task objects, an SMT-solver to verify correctness of specifications, and a neurosymbolic RL loop to train agents on compositional tasks. Experiments demonstrate successful generation and refinement of five MRBTs, consistently improving training efficiency and task success rates over baselines and MRBTs without action masking. We further highlight three advantages of MRBTs: transferability, modularity, and verifiability.
Abstract（参考訳）: 複雑なタスクを単純なサブタスクのシーケンスに分解することで、自律エージェントの学習効率を向上させることができる。強化学習(Reinforcement Learning, RL)は、エージェントポリシーを最適化してサブタスクを完成させるが、適切に定義されたサブタスクの報酬とアクションマスキングの恩恵を必要とする。最近の研究では、報酬のシェーピングとアクションマスキングを自動化するために、大きな言語モデル(LLM)を使用しているが、いずれもサブタスクの失敗に対する反応性と、さまざまなオブジェクトに対する合成タスクに対するモジュラリティに完全に対処するものではない。これらの課題を克服するために,反応型およびモジュール型報酬およびアクションマスク機能として使用されるシンボル構造であるMRBT(Masking reward Behavior Tree)を開発した。我々はMRBTテンプレートを設計し、オブジェクト-相互作用サブタスクのシーケンスに対してMRBTを構築し検証するための論理仕様を導出する。さらに,LLMを用いたMRBTを多種多様なタスクオブジェクトに対して堅牢に生成する自動パイプライン,仕様の正しさを検証するSMTソルバ,構成タスクのエージェントを訓練するニューロシンボリックRLループを開発する。実験では、5つのMRBTの生成と改良が成功し、ベースラインやMRBTよりもトレーニング効率とタスク成功率を継続的に改善した。さらに、MRBTの3つの利点として、転送性、モジュール性、検証性を挙げる。

関連論文リスト

Learning to Adapt: Representation-Based Reinforcement Learning for Multi-Task Skill Transfer [5.787601808065202]
RepMT-SACはマルチタスクRLのためのフレームワークであり、効率的な知識共有と新しいタスクへの堅牢な転送を可能にする。本研究では,RepMT-SACを分布内および分布外領域にまたがるトラジェクトリ追従タスクにおいて評価し,ベースラインを最大30%向上させることを示した。
論文参考訳（メタデータ） (2026-06-11T04:33:03Z)
Decomposing the Basic Abilities of Large Language Models: Mitigating Cross-Task Interference in Multi-Task Instruct-Tuning [58.90602461025722]
大規模言語モデル(LLM)におけるマルチタスクインストラクトチューニングは、主にマルチタスクインストラクトチューニングによって駆動されている。トレーニングパラダイムは、異なるタスク間で共有されたパラメータよりも勾配が矛盾するため、クロスタスク干渉と呼ばれる重要な問題に悩まされる。本稿では,LLMパラメータを基本能力を表す高特異値LoRAエキスパートに分解するBADITを提案する。 6LLMのSuperNIベンチマークで広範な実験を行い、実験結果から、BADITはSOTA法より優れ、クロスタスク干渉の程度を緩和できることが示された。
論文参考訳（メタデータ） (2026-05-07T05:08:58Z)
Efficient Knowledge Transfer in Multi-Task Learning through Task-Adaptive Low-Rank Representation [11.955971931186006]
事前訓練された言語モデルは、現実世界のアプリケーションでトレーニング中に見つからない新しいタスクに苦しむ。本稿では,タスク適応型低ランク表現(TA-LoRA)を提案する。 16のタスクの実験では、TA-LoRAがフルデータおよび少数ショット設定で最先端のパフォーマンスを達成することを示した。
論文参考訳（メタデータ） (2025-04-20T06:33:19Z)
Task Tokens: A Flexible Approach to Adapting Behavior Foundation Models [45.12916211850169]
行動基盤モデル(BFM)は、ヒューマノイドエージェントのマルチモーダル、ヒューマンライクな制御を可能にする。タスクトークン(Task Tokens)は、BFMを柔軟性を維持しつつ、特定のタスクに効果的に調整する方法である。タスクトークンは,その一般化能力を維持しつつ,特定の制御タスクにBFMを適用する上で有望なアプローチであることを示す。
論文参考訳（メタデータ） (2025-03-28T21:28:13Z)
Layer-Aware Task Arithmetic: Disentangling Task-Specific and Instruction-Following Knowledge [12.367471198090655]
Task Arithmetic (TA)は、微調整から派生したタスクベクトルを組み合わせることで、マルチタスク学習とタスク忘れを可能にするが、一般的な指示追従行動からタスク固有の知識を分離するのに苦労する。本稿では,命令フォローやタスク固有のコンポーネントとのアライメントに基づいて,階層固有の重みをタスクベクトルに割り当てる新しい手法であるLayer-Aware Task Arithmetic (LATA)を提案する。
論文参考訳（メタデータ） (2025-02-27T15:22:14Z)
Guiding Multi-agent Multi-task Reinforcement Learning by a Hierarchical Framework with Logical Reward Shaping [16.5526277899717]
本研究の目的は,論理報酬形成を伴う多エージェント協調アルゴリズムを設計することである。 Minecraftのような環境下で様々な種類のタスクで実験が行われてきた。
論文参考訳（メタデータ） (2024-11-02T09:03:23Z)
Supervised Fine-Tuning Achieve Rapid Task Adaption Via Alternating Attention Head Activation Patterns [47.57912649802414]
本研究では,SFTプロセスがLLMを下流タスクに適応させるプロセスについて,注意パターンの観点から検討する。 LLMは、SFT中にタスク固有のアテンションヘッドを選択的に活性化し、(2)複雑なタスクのアクティベーションパターンは基本的なタスクパターンの組み合わせであり、(3)少数のパラメータの変化は、少数のサンプル上でSFT後のアクティベーションパターンに大きな影響を与える。
論文参考訳（メタデータ） (2024-09-24T07:34:50Z)
Re-TASK: Revisiting LLM Tasks from Capability, Skill, and Knowledge Perspectives [54.14429346914995]
CoT(Chain-of-Thought)は、大規模言語モデル(LLM)による複雑な問題を解決する重要な方法となっている。本稿では,LLMタスクを能力,スキル,知識の観点から再考する理論モデルであるRe-TASKフレームワークを紹介する。多様な領域にわたる実験は、Re-TASKの有効性を示す。
論文参考訳（メタデータ） (2024-08-13T13:58:23Z)
TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文参考訳（メタデータ） (2023-11-30T18:02:44Z)
CL-MAE: Curriculum-Learned Masked Autoencoders [49.24994655813455]
本稿では,自己指導型再建作業の複雑さを継続的に増大させるために,マスキング戦略を更新するカリキュラム学習手法を提案する。我々は、ImageNet上でCL-MAE(Curriculum-Learned Masked Autoencoder)をトレーニングし、MAEよりも優れた表現学習能力を示すことを示す。
論文参考訳（メタデータ） (2023-08-31T09:13:30Z)
Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning [56.26889258704261]
我々は,MARL(SAMA)における意味的アライズされたタスク分解という,新しい「不整合」意思決定手法を提案する。 SAMAは、潜在的な目標を示唆し、適切な目標分解とサブゴールアロケーションを提供するとともに、自己回帰に基づくリプランニングを提供する、チェーン・オブ・シントによる事前訓練された言語モデルを促進する。 SAMAは, 最先端のASG法と比較して, 試料効率に有意な優位性を示す。
論文参考訳（メタデータ） (2023-05-18T10:37:54Z)
Plan, Eliminate, and Track -- Language Models are Good Teachers for Embodied Agents [99.17668730578586]
事前訓練された大言語モデル(LLM)は、世界に関する手続き的な知識をキャプチャする。 Plan, Eliminate, and Track (PET)フレームワークはタスク記述をハイレベルなサブタスクのリストに変換する。 PETフレームワークは、人間の目標仕様への一般化のために、SOTAよりも15%改善されている。
論文参考訳（メタデータ） (2023-05-03T20:11:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。