論文の概要: One Step at a Time: Long-Horizon Vision-and-Language Navigation with Milestones

• arxiv url: http://arxiv.org/abs/2202.07028v1
• Date: Mon, 14 Feb 2022 20:46:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-17 08:50:29.511900
• Title: One Step at a Time: Long-Horizon Vision-and-Language Navigation with Milestones
• Title（参考訳）: 1つのステップ:マイルストーンを用いた長距離視線とランゲージナビゲーション
• Authors: Chan Hee Song, Jihyung Kil, Tai-Yu Pan, Brian M. Sadler, Wei-Lun Chao, Yu Su
• Abstract要約: 本稿では,モデルに依存しないマイルストーンベースタスクトラッカ(M-TRACK)を提案する。 M-TRACKは、2つの競争ベースモデルよりも目立たない成功率において、顕著な45%と70%の相対的な改善をもたらす。
• 参考スコア（独自算出の注目度）: 27.899562950351676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of developing autonomous agents that can follow human instructions to infer and perform a sequence of actions to complete the underlying task. Significant progress has been made in recent years, especially for tasks with short horizons. However, when it comes to long-horizon tasks with extended sequences of actions, an agent can easily ignore some instructions or get stuck in the middle of the long instructions and eventually fail the task. To address this challenge, we propose a model-agnostic milestone-based task tracker (M-TRACK) to guide the agent and monitor its progress. Specifically, we propose a milestone builder that tags the instructions with navigation and interaction milestones which the agent needs to complete step by step, and a milestone checker that systemically checks the agent's progress in its current milestone and determines when to proceed to the next. On the challenging ALFRED dataset, our M-TRACK leads to a notable 45% and 70% relative improvement in unseen success rate over two competitive base models.
• Abstract（参考訳）: 本研究では,人間の指示に従って行動列を推論し実行し,タスクを完了させる自律エージェントの開発について検討する。 近年は、特に地平線が短いタスクにおいて大きな進歩を遂げている。 しかし、アクションのシーケンスが拡張された長い水平タスクの場合、エージェントはいくつかの命令を無視したり、長い命令の途中で立ち往生したりすることができ、最終的にタスクを失敗する。 この課題に対処するため,モデルに依存しないマイルストーンベースタスクトラッカー (M-TRACK) を提案し,エージェントの誘導と進捗監視を行う。 具体的には、エージェントがステップバイステップで完了する必要があるナビゲーションとインタラクションのマイルストーンをタグ付けするマイルストーンビルダーと、現在のマイルストーンにおけるエージェントの進捗をシステム的にチェックし、次のステップへ進むタイミングを決定するマイルストーンチェッカを提案する。 挑戦的なALFREDデータセットでは、M-TRACKは2つの競合ベースモデルに対して、目立たない成功率において、顕著な45%と70%の改善をもたらす。

関連論文リスト

• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)
• Large Language Models for Orchestrating Bimanual Robots [19.60907949776435]
  本稿では,Language-based Bimanual Orchestration (LABOR)を提案する。 NICOLヒューマノイドロボットを用いた2種類の長距離作業のシミュレーション実験により,本手法の評価を行った。
  論文  参考訳（メタデータ） (2024-04-02T15:08:35Z)
• Improving Cross-Task Generalization with Step-by-Step Instructions [25.081391266289046]
  本稿では,言語モデルによるタスクの分解を支援するために,ステップバイステップ命令を導入することを提案する。 ステップバイステップ命令は、ChatGPTをプロンプトすることで自動的に得られる。 SUP-NATINSTの実験により、高品質なステップバイステップ命令は、異なるモデルサイズにわたるクロスタスクの一般化を改善することができることが示された。
  論文  参考訳（メタデータ） (2023-05-08T02:50:41Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Wish you were here: Hindsight Goal Selection for long-horizon dexterous manipulation [14.901636098553848]
  スパース報酬をサンプル効率のよい方法で解くことは、現代の強化学習の課題である。 既存の戦略はタスク非依存のゴール分布に基づいて検討されており、これは長軸タスクの解を非現実的なものにすることができる。 実験を成功させた少数の事例によって示されるタスク固有の分布に沿った探索をガイドするために、後視リラベリング機構を拡張した。
  論文  参考訳（メタデータ） (2021-12-01T16:12:32Z)
• Waypoint Models for Instruction-guided Navigation in Continuous Environments [68.2912740006109]
  本稿では,言語条件付きウェイポイント予測ネットワークのクラスを開発し,この問題について検討する。 プロファイリングされたLoCoBotロボット上でのタスク性能と実行時間の推定を行う。 我々のモデルは、VLN-CEにおける以前の仕事を上回り、新しい最先端の技術を公衆のリーダーボードに置きました。
  論文  参考訳（メタデータ） (2021-10-05T17:55:49Z)
• A Persistent Spatial Semantic Representation for High-level Natural Language Instruction Execution [54.385344986265714]
  本稿では,言語行動とロボット行動のギャップを埋めるために,永続的な空間意味表現法を提案する。 一般的なステップバイステップ命令を完全に回避しながら、ALFREDベンチマークに対する我々のアプローチを評価し、最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-07-12T17:47:19Z)
• Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
  新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。 エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。 そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。 提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2020-06-17T03:58:25Z)
• Planning to Explore via Self-Supervised World Models [120.31359262226758]
  Plan2Exploreは自己監督型強化学習エージェントである。 我々は、自己監督型探索と、新しいタスクへの迅速な適応に対する新しいアプローチを提案する。 Plan2Exploreは、訓練の監督やタスク固有の相互作用がなければ、自己監督型の探査方法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-12T17:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。