論文の概要: Learning Object Relation Graph and Tentative Policy for Visual Navigation

• arxiv url: http://arxiv.org/abs/2007.11018v1
• Date: Tue, 21 Jul 2020 18:03:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 05:15:46.586836
• Title: Learning Object Relation Graph and Tentative Policy for Visual Navigation
• Title（参考訳）: 視覚ナビゲーションのための学習対象関係グラフと仮ポリシー
• Authors: Heming Du, Xin Yu, Liang Zheng
• Abstract要約: 情報的視覚表現とロバストなナビゲーションポリシーを学ぶことは重要である。 本稿では、オブジェクト関係グラフ(ORG)、試行駆動型模倣学習(IL)、メモリ拡張仮ポリシーネットワーク(TPN)の3つの補完手法を提案する。 パス長(SPL)による成功率と成功率の22.8%と23.5%の増加を報告した。
• 参考スコア（独自算出の注目度）: 44.247995617796484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Target-driven visual navigation aims at navigating an agent towards a given target based on the observation of the agent. In this task, it is critical to learn informative visual representation and robust navigation policy. Aiming to improve these two components, this paper proposes three complementary techniques, object relation graph (ORG), trial-driven imitation learning (IL), and a memory-augmented tentative policy network (TPN). ORG improves visual representation learning by integrating object relationships, including category closeness and spatial correlations, e.g., a TV usually co-occurs with a remote spatially. Both Trial-driven IL and TPN underlie robust navigation policy, instructing the agent to escape from deadlock states, such as looping or being stuck. Specifically, trial-driven IL is a type of supervision used in policy network training, while TPN, mimicking the IL supervision in unseen environment, is applied in testing. Experiment in the artificial environment AI2-Thor validates that each of the techniques is effective. When combined, the techniques bring significantly improvement over baseline methods in navigation effectiveness and efficiency in unseen environments. We report 22.8% and 23.5% increase in success rate and Success weighted by Path Length (SPL), respectively. The code is available at https://github.com/xiaobaishu0097/ECCV-VN.git.
• Abstract（参考訳）: ターゲット駆動型視覚ナビゲーションは、エージェントの観察に基づいて、特定のターゲットに向かってエージェントをナビゲートすることを目的としている。 このタスクでは、視覚的表現とロバストなナビゲーションポリシーを学ぶことが重要である。 本稿では,これら2つのコンポーネントの改善を目的として,オブジェクト関係グラフ(ORG),試行錯誤学習(IL),メモリ拡張仮ポリシーネットワーク(TPN)の3つの補完手法を提案する。 ORGは、カテゴリの近接性や空間的相関を含むオブジェクト関係を統合することで、視覚的表現学習を改善する。 試行駆動のilとtpnの両方がロバストなナビゲーションポリシーを満たし、エージェントにループや行き詰まりなどのデッドロック状態から逃れるよう指示する。 特に、トライアル駆動ilは、ポリシーネットワークトレーニングで使用される監視の一種であり、tpnは、見えない環境でのil監視を模倣し、テストに適用される。 人工環境におけるAI2-Thorの実験は、それぞれの技術が有効であることを検証する。 組み合わせることで、未確認環境におけるナビゲーションの有効性と効率性において、ベースライン手法よりも大幅に改善される。 成功率22.8%,成功率23.5%,成功率23.5%をPath Longth(SPL)が重み付けした。 コードはhttps://github.com/xiaobaishu0097/ECCV-VN.gitで公開されている。

関連論文リスト

• DMC-VB: A Benchmark for Representation Learning for Control with Visual Distractors [13.700885996266457]
  行動クローニングやオフライン強化学習(RL)を通じて収集されたデータから学習することは、ジェネラリストエージェントをスケールするための強力なレシピである。 オフラインRLエージェントの堅牢性を評価するため,DeepMind Control Visual Benchmark (DMC-VB) をDeepMind Control Suiteで収集した。 そこで,本研究では,事前学習のための表現学習手法を評価するための3つのベンチマークを提案し,最近提案したいくつかの手法の実験を行った。
  論文  参考訳（メタデータ） (2024-09-26T23:07:01Z)
• Aligning Knowledge Graph with Visual Perception for Object-goal Navigation [16.32780793344835]
  オブジェクトゴールナビゲーションのための視覚知覚付きアライニング知識グラフ(AKGVP)を提案する。 提案手法では,階層型シーンアーキテクチャの連続的モデリングを導入し,自然言語記述と視覚知覚との整合性を確保するために,視覚-言語事前学習を活用する。 継続的知識グラフアーキテクチャとマルチモーダル機能アライメントの統合により、ナビゲータは目覚ましいゼロショットナビゲーション能力を持つ。
  論文  参考訳（メタデータ） (2024-02-29T06:31:18Z)
• Zero-Shot Object Goal Visual Navigation With Class-Independent Relationship Network [3.0820097046465285]
  ゼロショット(Zero-shot)とは、エージェントが探すべきターゲットがトレーニングフェーズ中にトレーニングされないことを意味する。 本研究では,学習中の目標特徴とナビゲーション能力の結合の問題に対処するために,クラス独立関係ネットワーク(CIRN)を提案する。 本手法は、ゼロショット目標視覚ナビゲーションタスクにおける最先端のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2023-10-15T16:42:14Z)
• Contrastive Instruction-Trajectory Learning for Vision-Language Navigation [66.16980504844233]
  視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。 先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。 本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-08T06:32:52Z)
• Learning to Explore by Reinforcement over High-Level Options [0.0]
  エージェントに「見回し」と「フロンティアナビゲーション」という2つの行動選択肢を与える新しい手法を提案する。 各タイムステップにおいて、エージェントはポリシーに従ってオプションと対応するアクションを生成する。 提案手法が利用可能な2つの3次元環境データセットに対して有効であることを示す。
  論文  参考訳（メタデータ） (2021-11-02T04:21:34Z)
• Semantic Tracklets: An Object-Centric Representation for Visual Multi-Agent Reinforcement Learning [126.57680291438128]
  本研究では,不整合表現によるスケーラビリティの実現について検討する。 視覚多エージェント粒子環境(VMPE)と視覚多エージェントGFootball環境における意味トラックレット'の評価を行った。 特に,この手法は視覚データのみを用いて,GFootball環境における5人のプレイヤーの戦略を学習した最初の方法である。
  論文  参考訳（メタデータ） (2021-08-06T22:19:09Z)
• Visual Transformer for Task-aware Active Learning [49.903358393660724]
  プールベースのアクティブラーニングのための新しいパイプラインを提案する。 提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。 ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
  論文  参考訳（メタデータ） (2021-06-07T17:13:59Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Improving Target-driven Visual Navigation with Attention on 3D Spatial Relationships [52.72020203771489]
  3次元屋内シーンにおける深部強化学習(DRL)を用いた目標駆動型視覚ナビゲーションについて検討した。 提案手法は視覚特徴と3次元空間表現を組み合わせてナビゲーションポリシーを学習する。 AI2-THORで実施した我々の実験は、SRとSPLの指標において、モデルがベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2020-04-29T08:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。