Fugu-MT 論文翻訳(概要): Continuous Scene Representations for Embodied AI

論文の概要: Continuous Scene Representations for Embodied AI

arxiv url: http://arxiv.org/abs/2203.17251v1
Date: Thu, 31 Mar 2022 17:55:33 GMT
ステータス: 処理完了
システム内更新日: 2022-04-01 13:22:06.734111
Title: Continuous Scene Representations for Embodied AI
Title（参考訳）: エンボディードAIのための連続場面表現
Authors: Samir Yitzhak Gadre, Kiana Ehsani, Shuran Song, Roozbeh Mottaghi
Abstract要約: 連続シーン表現 (Continuous Scene Representations, CSR) は、空間内を移動するエンボディエージェントによって構築されたシーン表現である。私たちの重要な洞察は、オブジェクト間のペアワイズ関係を潜在空間に埋め込むことです。 CSRは、エージェントがシーン内を移動するときにオブジェクトを追跡し、それに従って表現を更新し、部屋の構成の変更を検出する。
参考スコア（独自算出の注目度）: 33.00565252990522
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose Continuous Scene Representations (CSR), a scene representation constructed by an embodied agent navigating within a space, where objects and their relationships are modeled by continuous valued embeddings. Our method captures feature relationships between objects, composes them into a graph structure on-the-fly, and situates an embodied agent within the representation. Our key insight is to embed pair-wise relationships between objects in a latent space. This allows for a richer representation compared to discrete relations (e.g., [support], [next-to]) commonly used for building scene representations. CSR can track objects as the agent moves in a scene, update the representation accordingly, and detect changes in room configurations. Using CSR, we outperform state-of-the-art approaches for the challenging downstream task of visual room rearrangement, without any task specific training. Moreover, we show the learned embeddings capture salient spatial details of the scene and show applicability to real world data. A summery video and code is available at https://prior.allenai.org/projects/csr.
Abstract（参考訳）: 連続シーン表現(Continuous Scene Representations, CSR)は,オブジェクトとその関係を連続的な値の埋め込みによってモデル化した,空間内を移動するエンボディエージェントによって構築されたシーン表現である。本手法はオブジェクト間の特徴関係をキャプチャし,それらをオンザフライでグラフ構造に構成し,その表現の中に具体化エージェントを配置する。私たちの重要な洞察は、オブジェクト間のペアワイズ関係を潜在空間に埋め込むことです。これにより、シーン表現を構築するのに一般的に使用される離散関係(例えば[ support], [next-to])よりもリッチな表現が可能になる。 CSRは、エージェントがシーンを移動するときにオブジェクトを追跡し、それに従って表現を更新し、部屋の構成の変更を検出する。我々は,CSRを用いて,タスク固有のトレーニングを伴わずに,視覚室再構成の困難な下流タスクに対して,最先端のアプローチより優れていた。さらに,学習した組込みがシーンの空間的詳細を捉え,実世界データへの適用性を示す。夏のビデオとコードはhttps://prior.allenai.org/projects/csr.comで公開されている。

関連論文リスト

Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
論文参考訳（メタデータ） (2024-11-25T10:14:10Z)
Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
VLM(Vision-Language Models)は、様々な視覚タスクにまたがる顕著な能力を示す。現在のVLMには基本的な認知能力がなく、コンテキストを考慮し、シーン内のオブジェクトをローカライズすることを学ぶ。この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
論文参考訳（メタデータ） (2024-11-20T13:34:22Z)
Situational Scene Graph for Structured Human-centric Situation Understanding [15.91717913059569]
本研究では,人的対象関係とそれに対応する意味特性の両方をエンコードするために,SSGというグラフベースの表現を提案する。セマンティックディテールは、当初単一のアクションを表現するように設計された状況フレームにインスパイアされた、事前に定義された役割と値として表現される。間もなくコードとデータセットをリリースします。
論文参考訳（メタデータ） (2024-10-30T09:11:25Z)
VrdONE: One-stage Video Visual Relation Detection [30.983521962897477]
Video Visual Relation Detection (VidVRD)は、ビデオの時間と空間におけるエンティティの理解に焦点を当てている。 VidVRDの従来の手法は、その複雑さに悩まされ、通常、タスクを2つの部分に分割する。 VidVRDのワンステージモデルであるVrdONEを提案する。
論文参考訳（メタデータ） (2024-08-18T08:38:20Z)
CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
論文参考訳（メタデータ） (2023-05-25T17:39:13Z)
Hyperbolic Contrastive Learning for Visual Representations beyond Objects [30.618032825306187]
我々は,それらの間の構造を保ったオブジェクトやシーンの表現を学習することに集中する。視覚的に類似した物体が表現空間に近接しているという観察に触発された私たちは、シーンとオブジェクトは代わりに階層構造に従うべきだと論じる。
論文参考訳（メタデータ） (2022-12-01T16:58:57Z)
SIMONe: View-Invariant, Temporally-Abstracted Object Representations via Unsupervised Video Decomposition [69.90530987240899]
この問題に対して教師なしの変分法を提案する。我々のモデルは、RGBビデオ入力のみから2組の潜在表現を推論することを学ぶ。これは、視点に依存しないアロセントリックな方法でオブジェクト属性を表現する。
論文参考訳（メタデータ） (2021-06-07T17:59:23Z)
Transformed ROIs for Capturing Visual Transformations in Videos [31.88528313257094]
我々は、CNNのプラグイン・アンド・プレイモジュールであるTROIを紹介し、それ以外は空間と時間で区切られている中レベルの特徴表現を推論する。我々は,大規模データセットである something-Something-V2 と Epic-Kitchens-100 の動作認識結果を得た。
論文参考訳（メタデータ） (2021-06-06T15:59:53Z)
SceneGen: Generative Contextual Scene Augmentation using Scene Graph Priors [3.1969855247377827]
SceneGenは、既存のシーン内の仮想オブジェクトの位置と方向を予測する、生成的コンテキスト拡張フレームワークである。 SceneGenはセグメンテーションされたシーンを入力として、仮想コンテンツを置くための位置と向きの確率マップを出力する。オブジェクト, オブジェクト群, 部屋間の明確な位相特性をカプセル化した空間的シーングラフ表現を定式化する。そこで本研究では,オブジェクトをリアルタイムに拡張可能な拡張現実アプリケーションを開発した。
論文参考訳（メタデータ） (2020-09-25T18:36:27Z)
ConsNet: Learning Consistency Graph for Zero-Shot Human-Object Interaction Detection [101.56529337489417]
画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
論文参考訳（メタデータ） (2020-08-14T09:11:18Z)
RELATE: Physically Plausible Multi-Object Scene Synthesis Using Structured Latent Spaces [77.07767833443256]
RELATEは、複数の対話オブジェクトの物理的に可視なシーンとビデオを生成することを学習するモデルである。オブジェクト中心生成モデリングにおける最先端の手法とは対照的に、RELATEは自然に動的なシーンに拡張し、高い視覚的忠実度のビデオを生成する。
論文参考訳（メタデータ） (2020-07-02T17:27:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。