論文の概要: Ground-Compose-Reinforce: Grounding Language in Agentic Behaviours using Limited Data

• arxiv url: http://arxiv.org/abs/2507.10741v2
• Date: Sun, 26 Oct 2025 19:50:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 22:08:13.75681
• Title: Ground-Compose-Reinforce: Grounding Language in Agentic Behaviours using Limited Data
• Title（参考訳）: 接地強化:限られたデータを用いたエージェント行動における接地言語
• Authors: Andrew C. Li, Toryn Q. Klassen, Andrew Wang, Parand A. Alamdari, Sheila A. McIlraith,
• Abstract要約: 認識と行動における接地言語は、人間や他のエージェントと対話できる位置にあるエージェントを構築する上で、言語を介して重要な課題である。 高レベルタスク仕様から直接RLエージェントを訓練するためのエンドツーエンドのニューロシンボリックフレームワークであるGround-Compose-Reinforceを提案する。
• 参考スコア（独自算出の注目度）: 17.614395125762304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grounding language in perception and action is a key challenge when building situated agents that can interact with humans, or other agents, via language. In the past, addressing this challenge has required manually designing the language grounding or curating massive datasets that associate language with the environment. We propose Ground-Compose-Reinforce, an end-to-end, neurosymbolic framework for training RL agents directly from high-level task specifications--without manually designed reward functions or other domain-specific oracles, and without massive datasets. These task specifications take the form of Reward Machines, automata-based representations that capture high-level task structure and are in some cases autoformalizable from natural language. Critically, we show that Reward Machines can be grounded using limited data by exploiting compositionality. Experiments in a custom Meta-World domain with only 350 labelled pretraining trajectories show that our framework faithfully elicits complex behaviours from high-level specifications--including behaviours that never appear in pretraining--while non-compositional approaches fail.
• Abstract（参考訳）: 認識と行動における接地言語は、人間や他のエージェントと対話できる位置にあるエージェントを構築する上で、言語を介して重要な課題である。 過去にこの問題に対処するためには、言語と環境を関連付ける巨大なデータセットを手動で設計するか、あるいはキュレートする必要がある。 我々は,高レベルタスク仕様から直接RLエージェントをトレーニングするためのエンドツーエンドのニューロシンボリックフレームワークであるGround-Compose-Reinforceを提案する。 これらのタスク仕様は、高レベルなタスク構造をキャプチャするオートマチックベースの表現であるReward Machinesの形式をとり、場合によっては自然言語から自動変換できる。 批判的に言えば、Reward Machinesは構成性を利用して限られたデータでグラウンドすることができる。 350のラベル付き事前学習軌道を持つカスタムのMeta-Worldドメインの実験は、我々のフレームワークが高レベルの仕様から複雑な振る舞いを忠実に引き起こしていることを示している。

関連論文リスト

• HELP: Hierarchical Embodied Language Planner for Household Tasks [75.38606213726906]
  複雑なシナリオを扱うエージェントは、堅牢な計画能力に大きく依存する。 広範な言語知識を備えた大規模言語モデルは、この役割を果たすことができる。 LLMをベースとした一組のエージェントからなる階層型エンボディード言語プランナーHELPを提案する。
  論文  参考訳（メタデータ） (2025-12-25T15:54:08Z)
• CuES: A Curiosity-driven and Environment-grounded Synthesis Framework for Agentic RL [35.086788669916594]
  大規模言語モデルベースのエージェントは、複雑なツール拡張環境にますますデプロイされている。 既存のアプローチは通常、新しい環境で失敗する前提である事前定義されたタスクコレクションを仮定する。 そこで我々はCuESを提案する。CuESはキュリオシティ駆動環境基盤合成フレームワークで、多様で実行可能で有意義なタスクを自律的に生成する。
  論文  参考訳（メタデータ） (2025-12-01T06:11:37Z)
• Words into World: A Task-Adaptive Agent for Language-Guided Spatial Retrieval in AR [8.295391485284298]
  マルチモーダル大規模言語モデル(MLLM)と接地型視覚モデルを統合するモジュール型拡張現実(AR)エージェントシステムを提案する。 適応タスクエージェントはMLLMと座標認識ツールを協調して,クエリの複雑さに対処する。 このシステムは、人間のループ内改良を支援しながら、情報密度領域に人間の注意を誘導する。
  論文  参考訳（メタデータ） (2025-11-29T03:29:15Z)
• Executable Analytic Concepts as the Missing Link Between VLM Insight and Precise Manipulation [70.8381970762877]
  VLM(Vision-Language Models)は、セマンティック推論とタスク計画において顕著な能力を示す。 本稿では,VLMに基づく推論を実行可能な解析概念を通じて基礎づける新しいフレームワークであるGRACEを紹介する。 G GRACEは高レベル命令理解と低レベルロボット制御の統一的で解釈可能なインターフェースを提供する。
  論文  参考訳（メタデータ） (2025-10-09T09:08:33Z)
• Breaking Down and Building Up: Mixture of Skill-Based Vision-and-Language Navigation Agents [43.5771856761934]
  VLN(Vision-and-Language Navigation)は、自然言語命令を解釈し、複雑な3D環境をナビゲートするエージェントにとって大きな課題となる。 トランスフォーマーベースのVLNエージェントに構造化されたスキルベースの推論を導入するモジュラーフレームワークであるSkillNavを提案する。
  論文  参考訳（メタデータ） (2025-08-11T05:50:30Z)
• The Synergy of LLMs & RL Unlocks Offline Learning of Generalizable Language-Conditioned Policies with Low-fidelity Data [50.544186914115045]
  TEDUOは、シンボリック環境におけるオフライン言語条件のポリシー学習のための、新しいトレーニングパイプラインである。 まず、オフラインデータセットをよりリッチなアノテーションで拡張する自動化ツールとして、次に、一般化可能な命令フォローエージェントとして使用します。
  論文  参考訳（メタデータ） (2024-12-09T18:43:56Z)
• Symbolic Learning Enables Self-Evolving Agents [55.625275970720374]
  エージェントシンボリックラーニング(エージェントシンボリックラーニング)(エージェントシンボリックラーニング)は、言語エージェントが自分自身で最適化できるための体系的なフレームワークである。 エージェント記号学習は、コネクショナリズム学習における2つの基本的なアルゴリズムを模倣することにより、言語エージェント内のシンボルネットワークを最適化するように設計されている。 我々は、標準ベンチマークと複雑な実世界のタスクの両方で概念実証実験を行う。
  論文  参考訳（メタデータ） (2024-06-26T17:59:18Z)
• tagE: Enabling an Embodied Agent to Understand Human Instructions [3.943519623674811]
  我々は, Embodied Agent (tagE) のためのタスク・アンド・引数・グラウンドティング(タスク・アンド・引数・グラウンドディング)と呼ばれる新しいシステムを導入する。 本システムでは,自然言語で表現された複雑なタスク命令から一連のタスクを抽出するために,発明的なニューラルネットワークモデルを採用している。 提案モデルでは,入れ子デコードに富んだエンコーダ・デコーダ・フレームワークを用いて,複雑な命令からタスクとその引数を効果的に抽出する。
  論文  参考訳（メタデータ） (2023-10-24T08:17:48Z)
• Embodied Task Planning with Large Language Models [86.63533340293361]
  本研究では,現場制約を考慮した地上計画のための具体的タスクにおけるTAsk Planing Agent (TaPA)を提案する。 推論の際には,オープンボキャブラリオブジェクト検出器を様々な場所で収集された多視点RGB画像に拡張することにより,シーン内の物体を検出する。 実験の結果,我々のTaPAフレームワークから生成されたプランは,LLaVAやGPT-3.5よりも大きなマージンで高い成功率が得られることがわかった。
  論文  参考訳（メタデータ） (2023-07-04T17:58:25Z)
• Goal Representations for Instruction Following: A Semi-Supervised Language Interface to Control [58.06223121654735]
  本稿では,少数の言語データのみを用いて,共同画像と目標条件のポリシーを言語と併用する手法を提案する。 本手法は,言語を目標画像と一致させないラベル付きデータから埋め込みを学習することにより,実世界のロバストな性能を実現する。 ラベル付きデータの外部の言語命令に一般化して,様々な操作タスクをさまざまな場面で追従する命令を示す。
  論文  参考訳（メタデータ） (2023-06-30T20:09:39Z)
• Simple Embodied Language Learning as a Byproduct of Meta-Reinforcement Learning [56.07190845063208]
  具体的強化学習(RL)エージェントは、非言語タスクから間接的に言語を学習できるか? エージェントが特定のオフィスを見つけることを目標とするオフィスナビゲーション環境を設計し、異なる建物(タスク)でオフィスロケーションが異なる。 我々は、RLエージェントが言語を間接的に学習できることを発見した。現在のメタRLアルゴリズムで訓練されたエージェントは、ホールドアウトレイアウトと言語フレーズでフロアプランを読むことに成功している。
  論文  参考訳（メタデータ） (2023-06-14T09:48:48Z)
• Grounded Decoding: Guiding Text Generation with Grounded Models for Embodied Agents [111.15288256221764]
  グラウンデッドデコーディングプロジェクトは、両方のモデルの知識を活用することで、ロボット環境で複雑な長期タスクを解決することを目的としている。 我々はこれを確率的フィルタリングに類似した問題として、言語モデルの下で高い確率を持つシーケンスをデコードし、基底モデル対象のセットで高い確率を示す。 本研究では,3つのシミュレーション領域と実世界の領域にまたがって,そのような基底モデルがどのように得られるのかを実証し,両モデルの知識を活用して,ロボット環境での複雑な長期的タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-03-01T22:58:50Z)
• Differentiable Parsing and Visual Grounding of Verbal Instructions for Object Placement [26.74189486483276]
  言語条件のオブジェクト配置のためのPARsing and visual GrOuNdingフレームワークであるParaGonを紹介する。 言語命令をオブジェクト間の関係に解析し、それらのオブジェクトを視覚的なシーンでグラウンド化する。 ParaGonは、これらの手順をすべてニューラルネットワークにエンコードして、エンドツーエンドのトレーニングを行う。
  論文  参考訳（メタデータ） (2022-10-01T07:36:51Z)
• Compositional Generalization in Grounded Language Learning via Induced Model Sparsity [81.38804205212425]
  グリッド環境における単純な言語条件のナビゲーション問題について考察する。 本研究では,オブジェクトの指示文と属性のスパース相関を助長するエージェントを設計し,それらを組み合わせて目的を導出する。 我々のエージェントは、少数のデモンストレーションから学習した場合でも、新しいプロパティの組み合わせを含む目標に対して高いレベルのパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2022-07-06T08:46:27Z)
• Sim-To-Real Transfer of Visual Grounding for Human-Aided Ambiguity Resolution [0.0]
  視覚的接地という課題について考察し, エージェントは, 混み合ったシーンからオブジェクトを抽出し, 自然言語で記述する。 視覚的接地に対する現代の全体論的アプローチは、言語構造を無視し、ジェネリックドメインをカバーするのに苦労する。 実体,属性,空間関係の合成視覚的グラウンド化のための,完全に分離されたモジュラー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-24T14:12:32Z)
• Do As I Can, Not As I Say: Grounding Language in Robotic Affordances [119.29555551279155]
  大規模な言語モデルは、世界に関する豊富な意味知識を符号化することができる。 このような知識は、自然言語で表現された高レベルで時間的に拡張された命令を動作させようとするロボットにとって極めて有用である。 低レベルのスキルを大規模言語モデルと組み合わせることで,言語モデルが複雑かつ時間的に拡張された命令を実行する手順について高いレベルの知識を提供することを示す。
  論文  参考訳（メタデータ） (2022-04-04T17:57:11Z)
• Learning Language-Conditioned Robot Behavior from Offline Data and Crowd-Sourced Annotation [80.29069988090912]
  本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。 クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。 提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-09-02T17:42:13Z)
• Language in a (Search) Box: Grounding Language Learning in Real-World Human-Machine Interaction [4.137464623395377]
  ユーザデータのみから、接地領域、表記関数、合成関数がどのように学習されるかを示す。 合成性およびゼロショット推論タスクに関する基礎的セマンティクスをベンチマークする。
  論文  参考訳（メタデータ） (2021-04-18T15:03:16Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。