論文の概要: An Investigation on The Position Encoding in Vision-Based Dynamics Prediction

• arxiv url: http://arxiv.org/abs/2408.15201v1
• Date: Tue, 27 Aug 2024 17:02:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 13:03:51.370600
• Title: An Investigation on The Position Encoding in Vision-Based Dynamics Prediction
• Title（参考訳）: 視覚に基づくダイナミクス予測における位置符号化の検討
• Authors: Jiageng Zhu, Hanchen Xie, Jiazhi Li, Mahyar Khayatkhoei, Wael AbdAlmageed,
• Abstract要約: RGB画像と単純なオブジェクト記述を利用してオブジェクト状態を予測するビジョンベースの動的予測モデルは、環境のミスアライメントによって挑戦された。 本稿では,出力特徴を抽象化するオブジェクトとしてバウンディングボックスを用いて位置情報を符号化するプロセスと必要な条件について検討する。
• 参考スコア（独自算出の注目度）: 19.700374722227107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the success of vision-based dynamics prediction models, which predict object states by utilizing RGB images and simple object descriptions, they were challenged by environment misalignments. Although the literature has demonstrated that unifying visual domains with both environment context and object abstract, such as semantic segmentation and bounding boxes, can effectively mitigate the visual domain misalignment challenge, discussions were focused on the abstract of environment context, and the insight of using bounding box as the object abstract is under-explored. Furthermore, we notice that, as empirical results shown in the literature, even when the visual appearance of objects is removed, object bounding boxes alone, instead of being directly fed into the network, can indirectly provide sufficient position information via the Region of Interest Pooling operation for dynamics prediction. However, previous literature overlooked discussions regarding how such position information is implicitly encoded in the dynamics prediction model. Thus, in this paper, we provide detailed studies to investigate the process and necessary conditions for encoding position information via using the bounding box as the object abstract into output features. Furthermore, we study the limitation of solely using object abstracts, such that the dynamics prediction performance will be jeopardized when the environment context varies.
• Abstract（参考訳）: RGB画像と単純なオブジェクト記述を利用してオブジェクト状態を予測するビジョンベースの動的予測モデルの成功にもかかわらず、それらは環境のミスアライメントによって挑戦された。 セグメンテーション(セグメンテーション)やバウンディングボックス(バウンディングボックス)といった,環境コンテキストとオブジェクト抽象を一体化することで,視覚領域のミスアライメントの課題を効果的に軽減できることを示したが,議論は環境コンテキストの抽象化に焦点が当てられ,オブジェクト抽象としてバウンディングボックスを使用することについての洞察が不足している。 さらに,本論文では,オブジェクトの視覚的外観が除去された場合でも,直接ネットワークに入力される代わりに,オブジェクト境界ボックスだけで,動的予測のための関心プーリング操作を通じて,十分な位置情報を間接的に提供できることに気付いた。 しかし,従来の文献では,このような位置情報を動的予測モデルに暗黙的にエンコードする方法に関する議論は見過ごされていた。 そこで本稿では,出力特徴に抽象化されたオブジェクトとしてバウンディングボックスを用いて位置情報を符号化するプロセスと必要な条件について,詳細な研究を行う。 さらに, 環境条件が変化すると, 動的予測性能が損なわれるように, 対象抽象物のみを用いた制限について検討する。

関連論文リスト

• Generated Contents Enrichment [11.196681396888536]
  我々は、GCE(Generated Contents Enrichment)と呼ばれる新しい人工知能タスクを提案する。 提案したGCEは、視覚領域とテキスト領域の両方において、コンテンツ豊か化を明示的に行おうとしている。 GCEに対処するために,意味論と意味間関係を明確に探求するディープエンド・ツー・エンドの敵対手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T17:14:09Z)
• Context-Aware Indoor Point Cloud Object Generation through User Instructions [6.398660996031915]
  本稿では,その周辺環境とシームレスに統合された点雲オブジェクトを生成することができる,新しいエンドツーエンドのマルチモーダルディープニューラルネットワークを提案する。 我々のモデルは、これまで見えなかったオブジェクトレイアウトで新しい環境を作成できるようにすることで、シーン修正に革命をもたらす。
  論文  参考訳（メタデータ） (2023-11-26T06:40:16Z)
• Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
  ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。 画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。 オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
  論文  参考訳（メタデータ） (2023-07-07T04:03:48Z)
• Spotlight Attention: Robust Object-Centric Learning With a Spatial Locality Prior [88.9319150230121]
  オブジェクト中心のビジョンは、シーン内のオブジェクトの明示的な表現を構築することを目的としています。 我々は、空間的局所性を最先端のオブジェクト中心視覚モデルに組み込む。 合成および実世界の両方のデータセットにおけるセグメンテーションオブジェクトの大幅な改善が得られた。
  論文  参考訳（メタデータ） (2023-05-31T04:35:50Z)
• A Critical View of Vision-Based Long-Term Dynamics Prediction Under Environment Misalignment [11.098106893018302]
  地域提案畳み込み相互作用ネットワーク (RPCIN) は視覚モデルとして提案され, 長期予測において最先端の性能を達成した。 環境不整合の条件として,クロスドメインとクロスコンテキストの2つを検討した。 我々は,クロスドメイン問題を軽減するための有望な方向を提案し,そのような方向を支持する具体的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-12T17:58:24Z)
• D2SLAM: Semantic visual SLAM based on the influence of Depth for Dynamic environments [0.483420384410068]
  一般化とシーン認識に欠ける動的要素を決定するための新しい手法を提案する。 我々は,幾何学的および意味的モジュールからの推定精度を向上するシーン深度情報を用いる。 その結果, 動的環境における正確な位置推定とマッピングを行う上で, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-10-16T22:13:59Z)
• Discovering Objects that Can Move [55.743225595012966]
  手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。 既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。 私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
  論文  参考訳（メタデータ） (2022-03-18T21:13:56Z)
• Out of Context: A New Clue for Context Modeling of Aspect-based Sentiment Analysis [54.735400754548635]
  ABSAは、与えられた側面に関してレビューで表現された感情を予測することを目的としている。 与えられたアスペクトは、コンテキストモデリングプロセスにおけるコンテキストからの新たなヒントと見なされるべきである。 異なるバックボーンに基づいて複数のアスペクト認識コンテキストエンコーダを設計する。
  論文  参考訳（メタデータ） (2021-06-21T02:26:03Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• Spatio-Temporal Graph for Video Captioning with Knowledge Distillation [50.034189314258356]
  空間と時間におけるオブジェクトの相互作用を利用したビデオキャプションのためのグラフモデルを提案する。 我々のモデルは解釈可能なリンクを構築し、明示的な視覚的グラウンドを提供することができる。 オブジェクト数の変動による相関を回避するため,オブジェクト認識型知識蒸留機構を提案する。
  論文  参考訳（メタデータ） (2020-03-31T03:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。