論文の概要: Leveraging Unknown Objects to Construct Labeled-Unlabeled Meta-Relationships for Zero-Shot Object Navigation
- arxiv url: http://arxiv.org/abs/2405.15222v1
- Date: Fri, 24 May 2024 05:26:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 17:59:14.990510
- Title: Leveraging Unknown Objects to Construct Labeled-Unlabeled Meta-Relationships for Zero-Shot Object Navigation
- Title（参考訳）: 未知物体を利用したゼロショットオブジェクトナビゲーションのためのラベル付きメタ関係の構築
- Authors: Yanwei Zheng, Changrui Li, Chuanlin Lan, Yaling Li, Xiao Zhang, Yifei Zou, Dongxiao Yu, Zhipeng Cai,
- Abstract要約: ゼロショットオブジェクトナビゲーション(ZSON)は、エージェントがトレーニングセットに存在しない未確認オブジェクトにナビゲートする状況に対処する。
ラベルのない物体を訓練手順に導入し、エージェントの知識基盤を識別可能だが、これまで見過ごされていた情報で強化する。
- 参考スコア（独自算出の注目度）: 14.336117107170153
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Zero-shot object navigation (ZSON) addresses situation where an agent navigates to an unseen object that does not present in the training set. Previous works mainly train agent using seen objects with known labels, and ignore the seen objects without labels. In this paper, we introduce seen objects without labels, herein termed as ``unknown objects'', into training procedure to enrich the agent's knowledge base with distinguishable but previously overlooked information. Furthermore, we propose the label-wise meta-correlation module (LWMCM) to harness relationships among objects with and without labels, and obtain enhanced objects information. Specially, we propose target feature generator (TFG) to generate the features representation of the unlabeled target objects. Subsequently, the unlabeled object identifier (UOI) module assesses whether the unlabeled target object appears in the current observation frame captured by the camera and produces an adapted target features representation specific to the observed context. In meta contrastive feature modifier (MCFM), the target features is modified via approaching the features of objects within the observation frame while distancing itself from features of unobserved objects. Finally, the meta object-graph learner (MOGL) module is utilized to calculate the relationships among objects based on the features. Experiments conducted on AI2THOR and RoboTHOR platforms demonstrate the effectiveness of our proposed method.
- Abstract（参考訳）: ゼロショットオブジェクトナビゲーション(ZSON)は、エージェントがトレーニングセットに存在しない未確認オブジェクトにナビゲートする状況に対処する。
これまでの作業は主に、既知のラベルで見たオブジェクトを使用してエージェントをトレーニングし、ラベルなしで見たオブジェクトを無視する。
本稿では,これまで見過ごされていた情報を用いてエージェントの知識基盤を充実させる訓練手順において,ラベルのない物体を「未知の物体」と呼ぶ。
さらに,ラベルのないオブジェクト間の関係を利用して,拡張オブジェクト情報を得るLWMCMを提案する。
具体的には、未ラベルのターゲットオブジェクトの特徴表現を生成するためのターゲット特徴生成器(TFG)を提案する。
その後、未ラベル対象識別子(UOI)モジュールは、カメラがキャプチャした現在の観測フレームに未ラベル対象オブジェクトが現れるかどうかを評価し、観察コンテキストに特有の適応されたターゲット特徴表現を生成する。
メタコントラスト特徴変調器(MCFM)では、対象の特徴は観測フレーム内の物体の特徴に近づきながら、観測対象の物体の特徴から遠ざかる。
最後に、メタオブジェクトグラフ学習器(MOGL)モジュールを用いて、特徴量に基づいてオブジェクト間の関係を計算する。
提案手法の有効性をAI2THORとRobothorプラットフォームで実証した。
関連論文リスト
- Object-Centric Multiple Object Tracking [124.30650395969126]
本稿では,多目的追跡パイプラインのためのビデオオブジェクト中心モデルを提案する。
オブジェクト中心のスロットを検出出力に適応するインデックスマージモジュールと、オブジェクトメモリモジュールで構成される。
オブジェクト中心学習に特化して、オブジェクトのローカライゼーションと機能バインディングのためのスパース検出ラベルしか必要としない。
論文 参考訳（メタデータ） (2023-09-01T03:34:12Z) - Referring Camouflaged Object Detection [97.90911862979355]
Ref-COD は、特定のカモフラージュされたオブジェクトを、サルエントターゲットオブジェクトによる参照画像の小さなセットに基づいて分割することを目的としている。
R2C7Kと呼ばれる大規模なデータセットは、実世界のシナリオで64のオブジェクトカテゴリをカバーする7Kイメージで構成されています。
論文 参考訳（メタデータ） (2023-06-13T04:15:37Z) - Position-Aware Contrastive Alignment for Referring Image Segmentation [65.16214741785633]
マルチモーダル特徴のアライメントを強化するために,位置認識型コントラストアライメントネットワーク(PCAN)を提案する。
1)自然言語記述に関連するすべてのオブジェクトの位置情報を提供する位置認識モジュール(PAM)と,2)マルチモーダルアライメントを強化するコントラスト言語理解モジュール(CLUM)の2つのモジュールで構成されている。
論文 参考訳（メタデータ） (2022-12-27T09:13:19Z) - MOVE: Unsupervised Movable Object Segmentation and Detection [32.73565093619594]
MOVEは、いかなる形態の監視もせずにオブジェクトを分割する手法である。
これは、前景のオブジェクトが初期位置に対して局所的に移動できるという事実を利用する。
SotAよりも平均で7.2%改善している。
論文 参考訳（メタデータ） (2022-10-14T16:05:46Z) - Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly
Supervised Semantic Segmentation [66.87777732230884]
本稿では,活性化対象領域の拡大を支援するために,Salliency Guided Inter-およびIntra-Class Relation Constrained (I$2$CRC) フレームワークを提案する。
また,オブジェクトガイド付きラベルリファインメントモジュールを導入し,セグメンテーション予測と初期ラベルをフル活用し,優れた擬似ラベルを得る。
論文 参考訳（メタデータ） (2022-06-20T03:40:56Z) - Synthesizing the Unseen for Zero-shot Object Detection [72.38031440014463]
そこで本研究では,視覚領域における視覚的特徴と視覚的対象の両方を学習するために,視覚的特徴を合成することを提案する。
クラスセマンティックスを用いた新しい生成モデルを用いて特徴を生成するだけでなく,特徴を識別的に分離する。
論文 参考訳（メタデータ） (2020-10-19T12:36:11Z) - ObjectNav Revisited: On Evaluation of Embodied Agents Navigating to
Objects [119.46959413000594]
この文書は、ObjectNavのワーキンググループのコンセンサスレコメンデーションを要約します。
評価基準の微妙だが重要な詳細について推奨する。
CVPR 2020のEmbodied AIワークショップで実施された課題において、これらの推奨事項のインスタンス化について、詳細な説明を行う。
論文 参考訳（メタデータ） (2020-06-23T17:18:54Z) - A Deep Learning Approach to Object Affordance Segmentation [31.221897360610114]
我々は,ビデオと静的画像の両方において,画素単位の価格ラベルを推定するオートエンコーダを設計する。
本モデルは,ソフトアテンション機構を用いて,オブジェクトラベルやバウンディングボックスの必要性を克服する。
本モデルは,SOR3D-AFF上での強い教師付き手法と比較して,競争力のある結果が得られることを示す。
論文 参考訳（メタデータ） (2020-04-18T15:34:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。