論文の概要: OMAR: Open-World Multi-Attribute Reasoning for Scene-Conditioned Shelf Organization
- arxiv url: http://arxiv.org/abs/2610.29761v1
- Date: Wed, 21 Oct 2026 13:59:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.378869
- Title: OMAR: Open-World Multi-Attribute Reasoning for Scene-Conditioned Shelf Organization
- Title(参考訳): OMAR:Scene-Conditioned Shelf Organizationのためのオープンワールドマルチ属性推論
- Abstract要約: 本研究では,未知のオブジェクトをビュー全体に配置し,配置推論のためのインスタンスレベルの3Dシーングラフを構築する,オープンワールド推論パイプラインを提案する。
提案手法は,単一ビューの言語グラウンドと幾何学のみのベースラインに対して,インスタンスマッピングと配置コヒーレンスを改善した。
- 参考スコア(独自算出の注目度): 5.34372866210952
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the advent of foundation models, robots are increasingly capable of understanding and executing explicitly specified human tasks. Extending these capabilities to open-ended tasks, however, requires robots to infer appropriate actions from the observed scene. Household organization exemplifies this challenge, as robots must often act without detailed instructions, predefined object vocabularies, or known object-receptacle associations. While robots may follow instructions or learn organization preferences from demonstrations, inferring the latent organization of an occasionally changing scene and placing a novel object consistently with it remains challenging. We propose an open-world multi-attribute reasoning pipeline that grounds unknown objects across views and constructs an instance-level 3D scene graph for placement reasoning. First, a vision-language model proposes labels together with attributes such as content and packaging type, which are grounded through segmentation, depth, and multi-view association. Then, an LLM reasons over this representation to infer the latent shelf organization and rank scene-consistent object placements without explicitly user-provided preferences. The resulting placement rankings guide subsequent geometric and kinematic feasibility checks for execution. Our experimental evaluation shows that our approach leads to improved instance mapping and placement coherence over single-view language-grounding and geometry-only baselines, enabling autonomous placement of previously unseen objects without predefined object-receptacle mappings or class-specific retraining.
- Abstract(参考訳): ファンデーションモデルが出現すると、ロボットは明確に指定された人間のタスクを理解し、実行できるようになる。
しかし、これらの機能をオープンエンドタスクに拡張するには、観察されたシーンから適切なアクションを推測する必要がある。
家庭の組織は、ロボットが詳細な指示や定義済みのオブジェクト語彙、既知のオブジェクト-受容体の関連なしに行動する必要があるため、この課題を実証している。
ロボットは指示に従うか、デモから組織の好みを学ぶことができるが、時折変化するシーンの潜在組織を推測し、新しい物体を一貫して配置することは依然として困難である。
本研究では,未知のオブジェクトをビュー全体にわたってグラウンド化し,配置推論のためのインスタンスレベルの3Dシーングラフを構築する,オープンワールド多属性推論パイプラインを提案する。
第一に、視覚言語モデルでは、セグメンテーション、深さ、マルチビューアソシエーションを基礎として、コンテンツやパッケージングタイプなどの属性と共にラベルを提案する。
そして、LCMは、この表現を理由として、潜在棚の組織を推測し、明示的にユーザ提供された嗜好を伴わずに、シーン一貫性のあるオブジェクト配置をランク付けする。
結果として得られる配置ランキングは、その後の幾何学的および運動学的実行可能性チェックをガイドする。
実験により,本手法は単一視点の言語接地や幾何学のみのベースラインよりも,インスタンスマッピングや配置コヒーレンスの向上につながることが明らかとなった。
関連論文リスト
- presto: Efficient, Training-free, and Open-world Object Placement via Imaginary Search [7.245565016902194]
我々は、MLLM(Multimodal Large Language Model)から導かれる検索タスクとして、オープンワールドのオブジェクト配置を再構成する。
我々は、オブジェクトの位置とスケールを反復的に洗練するために、仮想アクション空間内で機能するゼロショットのトレーニングフリーフレームワークであるtextsfprestoを紹介した。
実験によると、textsfprestoachieves state-of-the-art performance、特にこれまでは目に見えなかったオープンワールドセッティングにおいて。
論文 参考訳(メタデータ) (2026-08-21T18:32:28Z) - AlloEgo-VLM: Disambiguating Allocentric and Egocentric Reference Frames in Vision-Language Models [15.021275200375504]
本研究では,空間意味論の理解において視覚言語モデル(VLM)が直面するあいまいさの課題について検討する。
空間的関係に関する自然言語の記述は、しばしば明示的な参照フレームを省略し、意味的曖昧さと、具体化されたAIロボットの潜在的な重大なエラーをもたらす。
我々は、AlloEgo-Viewという新しいデータセットを構築し、(イメージ、クエリ、ビュー固有の回答)三つ子で構成され、アロセントリックとエゴセントリックの両方の観点から重要なオブジェクト関係をキャプチャします。
我々は、曖昧なクエリの下でも、アロセントリックでエゴセントリックな参照フレームを曖昧にし、容易に統合できるフレームワークであるAlloEgo-VLMを開発した。
論文 参考訳(メタデータ) (2026-08-16T08:06:20Z) - Trinity: Unifying Class-Agnostic Terrain and Semantic Segmentation for Unstructured Outdoor Environments by Leveraging Synthetic Data [20.795406392781647]
既存の視覚に基づくトラバーサビリティ推定手法は、ロボット固有のアノテーションやセマンティッククラスマッピングに依存している。
本稿では,クラス固有のセマンティックセマンティックセマンティックセマンティックとクラスに依存しない地形セマンティックセマンティックセマンティックセマンティックを共同で行うトランスフォーマーアーキテクチャを提案する。
クラス固有の地形ラベルとクラスに依存しない地形ラベルをアノテートした実世界の画像を提供するEXTerraデータセットを提案する。
論文 参考訳(メタデータ) (2026-05-26T20:04:19Z) - Oh-A-DINO: Understanding and Enhancing Attribute-Level Information in Self-Supervised Object-Centric Representations [9.949149600332836]
自己教師付き視覚モデルとスロットベース表現はエッジ由来の幾何学の同定に優れるが、幾何学的でない表面レベルの手がかりを保存できない。
VAE正則化はコンパクトで不整合なオブジェクト中心の表現を強制し、これらの欠落した属性を復元する。
論文 参考訳(メタデータ) (2025-03-12T21:57:41Z) - Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。
この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
論文 参考訳(メタデータ) (2024-11-20T13:34:22Z) - Keypoint Abstraction using Large Models for Object-Relative Imitation Learning [78.92043196054071]
多様なタスクや環境にまたがる新しいオブジェクト構成やインスタンスへの一般化は、ロボット工学において重要な課題である。
キーポイントに基づく表現は、本質的なオブジェクトキャプチャ機能のための簡潔な表現として有効であることが証明されている。
本稿では,タスク関連およびクロスインスタンス整合性キーポイントの自動生成に,大規模な事前学習型視覚言語モデルを活用するフレームワークであるKALMを提案する。
論文 参考訳(メタデータ) (2024-10-30T17:37:31Z) - Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation [69.01029651113386]
Embodied-RAGは、非パラメトリックメモリシステムによるエンボディエージェントのモデルを強化するフレームワークである。
コアとなるEmbodied-RAGのメモリはセマンティックフォレストとして構成され、言語記述を様々なレベルで詳細に保存する。
Embodied-RAGがRAGをロボット領域に効果的にブリッジし、250以上の説明とナビゲーションクエリをうまく処理できることを実証する。
論文 参考訳(メタデータ) (2024-09-26T21:44:11Z) - Semantically Grounded Object Matching for Robust Robotic Scene
Rearrangement [21.736603698556042]
そこで本研究では,大規模な事前学習型視覚言語モデルを用いて,オブジェクトをクロスインスタンス設定でマッチングするオブジェクトマッチング手法を提案する。
これにより、クロスインスタンス環境でのマッチング性能が大幅に向上することを示す。
論文 参考訳(メタデータ) (2021-11-15T18:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。