論文の概要: AdaGlimpse: Active Visual Exploration with Arbitrary Glimpse Position and Scale

• arxiv url: http://arxiv.org/abs/2404.03482v2
• Date: Thu, 11 Jul 2024 16:00:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 22:57:45.277803
• Title: AdaGlimpse: Active Visual Exploration with Arbitrary Glimpse Position and Scale
• Title（参考訳）: AdaGlimpse: 任意傾斜位とスケールによるアクティブビジュアル探索
• Authors: Adam Pardyl, Michał Wronka, Maciej Wołczyk, Kamil Adamczewski, Tomasz Trzciński, Bartosz Zieliński,
• Abstract要約: Active Visual Exploration (AVE)は、観察(グランプ)を動的に選択するタスクである。 光ズーム機能を備えた既存のモバイルプラットフォームは、任意の位置とスケールを垣間見ることができる。 AdaGlimpseは、探索作業に適した強化学習アルゴリズムであるSoft Actor-Criticを使って、任意の位置と規模を垣間見る。
• 参考スコア（独自算出の注目度）: 2.462953128215088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active Visual Exploration (AVE) is a task that involves dynamically selecting observations (glimpses), which is critical to facilitate comprehension and navigation within an environment. While modern AVE methods have demonstrated impressive performance, they are constrained to fixed-scale glimpses from rigid grids. In contrast, existing mobile platforms equipped with optical zoom capabilities can capture glimpses of arbitrary positions and scales. To address this gap between software and hardware capabilities, we introduce AdaGlimpse. It uses Soft Actor-Critic, a reinforcement learning algorithm tailored for exploration tasks, to select glimpses of arbitrary position and scale. This approach enables our model to rapidly establish a general awareness of the environment before zooming in for detailed analysis. Experimental results demonstrate that AdaGlimpse surpasses previous methods across various visual tasks while maintaining greater applicability in realistic AVE scenarios.
• Abstract（参考訳）: アクティブ・ビジュアル・エクスプロレーション(AVE)は、環境内の理解とナビゲーションを容易にするために重要である観察(グランプ)を動的に選択するタスクである。 現代のAVE法は目覚ましい性能を示しているが、剛性グリッドからの固定スケールの視線に制約されている。 対照的に、光学ズーム機能を備えた既存のモバイルプラットフォームは、任意の位置とスケールを垣間見ることができる。 ソフトウェアとハードウェアのこのギャップに対処するために、AdaGlimpseを紹介します。 探索作業に適した強化学習アルゴリズムであるSoft Actor-Criticを使って、任意の位置とスケールを垣間見る。 このアプローチにより,詳細な分析のためにズームインする前に,我々のモデルは環境に対する一般的な認識を迅速に確立することができる。 実験結果から,AdaGlimpseは現実的なAVEシナリオにおいて適用性を高めつつ,様々な視覚的タスクにまたがる従来の手法を超越していることが示された。

関連論文リスト

• UnitedVLN: Generalizable Gaussian Splatting for Continuous Vision-Language Navigation [71.97405667493477]
  我々は,UnitedVLNと呼ばれる,新しい汎用3DGSベースの事前学習パラダイムを導入する。 エージェントは、高忠実度360度ビジュアルイメージとセマンティック特徴を統一してレンダリングすることで、将来の環境をよりよく探索することができる。 UnitedVLNは既存のVLN-CEベンチマークで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-11-25T02:44:59Z)
• Semantic-Based Active Perception for Humanoid Visual Tasks with Foveal Sensors [49.99728312519117]
  この研究の目的は、最近の意味に基づくアクティブな知覚モデルが、人間が定期的に行う視覚的なタスクをいかに正確に達成できるかを確立することである。 このモデルは、現在のオブジェクト検出器が多数のオブジェクトクラスをローカライズし、分類し、複数の固定にまたがるシーンのセマンティック記述を更新する能力を利用する。 シーン探索の課題では、セマンティック・ベースの手法は従来のサリエンシ・ベース・モデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-16T18:15:57Z)
• Aligning Knowledge Graph with Visual Perception for Object-goal Navigation [16.32780793344835]
  オブジェクトゴールナビゲーションのための視覚知覚付きアライニング知識グラフ(AKGVP)を提案する。 提案手法では,階層型シーンアーキテクチャの連続的モデリングを導入し,自然言語記述と視覚知覚との整合性を確保するために,視覚-言語事前学習を活用する。 継続的知識グラフアーキテクチャとマルチモーダル機能アライメントの統合により、ナビゲータは目覚ましいゼロショットナビゲーション能力を持つ。
  論文  参考訳（メタデータ） (2024-02-29T06:31:18Z)
• Active Sensing with Predictive Coding and Uncertainty Minimization [0.0]
  2つの生物学的計算から着想を得たエンボディード探索のためのエンドツーエンドの手法を提案する。 まず,迷路ナビゲーションタスクによるアプローチを実演し,環境の遷移分布と空間的特徴を明らかにする。 本モデルでは,視覚シーンを効率的に分類するための探索によって,教師なし表現を構築する。
  論文  参考訳（メタデータ） (2023-07-02T21:14:49Z)
• Space Non-cooperative Object Active Tracking with Deep Reinforcement Learning [1.212848031108815]
  DRLAVTと命名されたDQNアルゴリズムに基づくエンドツーエンドのアクティブなトラッキング手法を提案する。 追尾宇宙船のアプローチを、色やRGBD画像にのみ依存した任意の空間の非協力目標に導くことができる。 位置ベースのビジュアルサーボベースラインアルゴリズムでは、最先端の2DモノクロトラッカーであるSiamRPNをはるかに上回っている。
  論文  参考訳（メタデータ） (2021-12-18T06:12:24Z)
• Polyline Based Generative Navigable Space Segmentation for Autonomous Visual Navigation [57.3062528453841]
  ロボットが教師なしの方法で移動可能な空間分割を学習できるようにするための表現学習ベースのフレームワークを提案する。 提案するPSV-Netは,単一のラベルを使わずとも,高精度で視覚ナビゲーション可能な空間を学習可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-29T19:50:48Z)
• Learning Perceptual Locomotion on Uneven Terrains using Sparse Visual Observations [75.60524561611008]
  この研究は、人中心の環境において、よく見られるバンプ、ランプ、階段の広い範囲にわたる知覚的移動を達成するために、スパースな視覚的観察の使用を活用することを目的としている。 まず、関心の均一な面を表すことのできる最小限の視覚入力を定式化し、このような外受容的・固有受容的データを統合した学習フレームワークを提案する。 本研究では, 平地を全方向歩行し, 障害物のある地形を前方移動させるタスクにおいて, 学習方針を検証し, 高い成功率を示す。
  論文  参考訳（メタデータ） (2021-09-28T20:25:10Z)
• Glimpse-Attend-and-Explore: Self-Attention for Active Visual Exploration [47.01485765231528]
  アクティブな視覚探索は、限られた視野を持つエージェントが部分的な観察に基づいて環境を理解するのを支援することを目的としている。 タスク固有の不確実性マップではなく、自己注意を用いて視覚探索をガイドするGlimpse-Attend-and-Exploreモデルを提案する。 私たちのモデルは、探索を駆動する際のデータセットバイアスに頼らずに、奨励的な結果を提供します。
  論文  参考訳（メタデータ） (2021-08-26T11:41:03Z)
• Semantic Tracklets: An Object-Centric Representation for Visual Multi-Agent Reinforcement Learning [126.57680291438128]
  本研究では,不整合表現によるスケーラビリティの実現について検討する。 視覚多エージェント粒子環境(VMPE)と視覚多エージェントGFootball環境における意味トラックレット'の評価を行った。 特に,この手法は視覚データのみを用いて,GFootball環境における5人のプレイヤーの戦略を学習した最初の方法である。
  論文  参考訳（メタデータ） (2021-08-06T22:19:09Z)
• ViNG: Learning Open-World Navigation with Visual Goals [82.84193221280216]
  視覚的目標達成のための学習に基づくナビゲーションシステムを提案する。 提案手法は,我々がvingと呼ぶシステムが,目標条件強化学習のための提案手法を上回っていることを示す。 我々は、ラストマイル配送や倉庫検査など、現実の多くのアプリケーションでViNGを実演する。
  論文  参考訳（メタデータ） (2020-12-17T18:22:32Z)
• Embodied Visual Active Learning for Semantic Segmentation [33.02424587900808]
  本研究では,エージェントが3次元環境を探索し,視覚シーン理解の獲得を目指す,具体化されたビジュアルアクティブラーニングの課題について検討する。 我々は、学習と事前指定の両方のエージェントのバッテリーを開発し、環境に関する異なるレベルの知識で開発する。 本研究では,matterport3dシミュレータを用いて提案手法を広範囲に評価し,本手法が比較対象よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-17T11:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。