論文の概要: Real-world Instance-specific Image Goal Navigation: Bridging Domain Gaps via Contrastive Learning

• arxiv url: http://arxiv.org/abs/2404.09645v2
• Date: Sun, 03 Nov 2024 13:21:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:42:08.236970
• Title: Real-world Instance-specific Image Goal Navigation: Bridging Domain Gaps via Contrastive Learning
• Title（参考訳）: 実世界のインスタンス固有のイメージゴールナビゲーション:コントラスト学習による領域ギャップのブリッジ
• Authors: Taichi Sakaguchi, Akira Taniguchi, Yoshinobu Hagiwara, Lotfi El Hafi, Shoichi Hasegawa, Tadahiro Taniguchi,
• Abstract要約: この課題は、移動ロボットが観察する低品質画像と、ユーザが提供した高品質なクエリ画像との間の領域ギャップにある。 クロスクオリティのインスタンスブルウェア適応(CrossIA)は、高画質画像と高画質画像の間に特徴を整合させるために、インスタンスとの対比学習を採用している。 本手法は,タスク成功率をベースラインに比べて最大3倍向上させる。
• 参考スコア（独自算出の注目度）: 5.904490311837063
• License:
• Abstract: Improving instance-specific image goal navigation (InstanceImageNav), which locates the identical object in a real-world environment from a query image, is essential for robotic systems to assist users in finding desired objects. The challenge lies in the domain gap between low-quality images observed by the moving robot, characterized by motion blur and low-resolution, and high-quality query images provided by the user. Such domain gaps could significantly reduce the task success rate but have not been the focus of previous work. To address this, we propose a novel method called Few-shot Cross-quality Instance-aware Adaptation (CrossIA), which employs contrastive learning with an instance classifier to align features between massive low- and few high-quality images. This approach effectively reduces the domain gap by bringing the latent representations of cross-quality images closer on an instance basis. Additionally, the system integrates an object image collection with a pre-trained deblurring model to enhance the observed image quality. Our method fine-tunes the SimSiam model, pre-trained on ImageNet, using CrossIA. We evaluated our method's effectiveness through an InstanceImageNav task with 20 different types of instances, where the robot identifies the same instance in a real-world environment as a high-quality query image. Our experiments showed that our method improves the task success rate by up to three times compared to the baseline, a conventional approach based on SuperGlue. These findings highlight the potential of leveraging contrastive learning and image enhancement techniques to bridge the domain gap and improve object localization in robotic applications. The project website is https://emergentsystemlabstudent.github.io/DomainBridgingNav/.
• Abstract（参考訳）: クエリ画像から同一のオブジェクトを実環境に配置するインスタンス固有の画像目標ナビゲーション(InstanceImageNav)の改善は,ロボットシステムにおいて,ユーザが希望するオブジェクトを見つけるのを支援する上で不可欠である。 この課題は、移動ロボットが観察する低品質画像と、動作のぼやけと低解像度の画像と、ユーザが提供した高品質なクエリ画像との間の領域ギャップにある。 このようなドメインギャップはタスクの成功率を大幅に低下させる可能性があるが、以前の作業の焦点にはならなかった。 そこで本研究では,Few-shot Cross-quality Instance-Aware Adaptation (CrossIA) という手法を提案する。 このアプローチは、クロス品質な画像の潜在表現をインスタンスベースで近づけることで、ドメインギャップを効果的に削減する。 さらに,対象画像収集と事前学習したデブロアリングモデルを統合し,観察された画質を向上させる。 This method fine-tunes the SimSiam model, pre-trained on ImageNet, using CrossIA。 提案手法の有効性を,20種類のインスタンスを用いたインスタンスイメージNavタスクを用いて評価した。 提案手法は,SuperGlueに基づく従来の手法であるベースラインに比べて,タスク成功率を最大3倍改善することを示した。 これらの知見は、ドメインギャップを埋め、ロボットアプリケーションにおけるオブジェクトのローカライゼーションを改善するために、対照的な学習と画像強調技術を活用する可能性を強調している。 プロジェクトのWebサイトはhttps://emergentsystemlabstudent.github.io/DomainBridgingNav/である。

関連論文リスト

• DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
  DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。 まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。 初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
  論文  参考訳（メタデータ） (2024-06-03T17:59:53Z)
• Transformer based Multitask Learning for Image Captioning and Object Detection [13.340784876489927]
  本研究は,画像キャプションとオブジェクト検出を結合モデルに組み合わせた,新しいマルチタスク学習フレームワークを提案する。 我々は,2つのタスクを共同で訓練するためのTICOD, Transformer-based Image Captioning, Object Detectionモデルを提案する。 我々のモデルはBERTScoreの3.65%の改善によって、画像キャプション文学のベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-03-10T19:31:13Z)
• Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。 本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。 ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-08-04T10:28:48Z)
• Learning-based Relational Object Matching Across Views [63.63338392484501]
  本稿では,RGB画像間のオブジェクト検出をマッチングするための,局所キーポイントと新たなオブジェクトレベルの特徴を組み合わせた学習ベースアプローチを提案する。 我々は、連想グラフニューラルネットワークにおいて、オブジェクト間の外観とフレーム間およびフレーム間空間関係に基づいて、オブジェクトレベルのマッチング機能を訓練する。
  論文  参考訳（メタデータ） (2023-05-03T19:36:51Z)
• Contrastive Object-level Pre-training with Spatial Noise Curriculum Learning [12.697842097171119]
  本稿では,生成した領域を適応的に拡張するカリキュラム学習機構を提案する。 実験の結果,マルチオブジェクトシーンイメージデータセットの事前学習において,MoCo v2のベースラインに対するアプローチは,複数のオブジェクトレベルタスクに対して大きなマージンで改善されていることがわかった。
  論文  参考訳（メタデータ） (2021-11-26T18:29:57Z)
• Instance Localization for Self-supervised Detection Pretraining [68.24102560821623]
  インスタンスローカリゼーションと呼ばれる,新たな自己監視型プリテキストタスクを提案する。 境界ボックスを事前学習に組み込むことで、より優れたタスクアライメントとアーキテクチャアライメントが促進されることを示す。 実験結果から, オブジェクト検出のための最先端の転送学習結果が得られた。
  論文  参考訳（メタデータ） (2021-02-16T17:58:57Z)
• Collaboration among Image and Object Level Features for Image Colourisation [25.60139324272782]
  画像のカラー化は不適切な問題であり、入力データムに存在するコンテキストとオブジェクトインスタンスに依存する複数の正しいソリューションがある。 従来のアプローチは、強力なユーザーインタラクションを必要とするか、画像レベル(コンテキスト)機能を学ぶために畳み込みニューラルネットワーク(CNN)の能力を利用して、この問題を攻撃しました。 コンボリューションによって得られる画像レベルの特徴とカプセルによってキャプチャされるオブジェクトレベルの特徴を分離する,UCapsNetという単一のネットワークを提案する。 そして,異なる層間の接続をスキップすることで,これらの分離要因間の協調を強制し,高品質で再現可能な画像彩色を実現する。
  論文  参考訳（メタデータ） (2021-01-19T11:48:12Z)
• Combining Semantic Guidance and Deep Reinforcement Learning For Generating Human Level Paintings [22.889059874754242]
  脳卒中に基づく非フォトリアリスティック画像の生成は、コンピュータビジョンコミュニティにおいて重要な問題である。 従来の手法は、前景オブジェクトの位置、規模、正当性にほとんど変化のないデータセットに限られていた。 本研究では,1)前景と背景の筆画の区別を学習するための2段階の塗装手順を備えたセマンティック・ガイダンス・パイプラインを提案する。
  論文  参考訳（メタデータ） (2020-11-25T09:00:04Z)
• CrossTransformers: spatially-aware few-shot transfer [92.33252608837947]
  非常に少ないデータを持つ新しいタスクを考えると、現代の視覚システムは驚くほど急速に低下する。 現代の視覚システムを支えるニューラルネットワーク表現が、どのようにして監督の崩壊にさらされているかを示す。 そこで我々は,伝達を良くする汎用的な機能を促進するために,自己指導型学習を提案する。
  論文  参考訳（メタデータ） (2020-07-22T15:37:08Z)
• Improving Few-shot Learning by Spatially-aware Matching and CrossTransformer [116.46533207849619]
  数ショット学習シナリオにおけるスケールと位置ミスマッチの影響について検討する。 本稿では,複数のスケールや場所のマッチングを効果的に行うための,空間認識型マッチング手法を提案する。
  論文  参考訳（メタデータ） (2020-01-06T14:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。