論文の概要: FRAME: Factored Retrieval via Attribute Readouts for Object-Centric Scene Memory
- arxiv url: http://arxiv.org/abs/2609.08886v1
- Date: Tue, 08 Sep 2026 15:26:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 15:25:21.94629
- Title: FRAME: Factored Retrieval via Attribute Readouts for Object-Centric Scene Memory
- Title（参考訳）: FRAME:オブジェクト中心のシーン記憶のための属性読み出しによる因子検索
- Abstract要約: 言語誘導ロボットは、指示に従い、オブジェクトを再検討し、時間とともに遭遇するオブジェクトへの参照を解決するために、永続的なシーン記憶を必要とする。
多くの日常的なオブジェクト参照は、カテゴリ、材料、サイズ、表面的な外観など、複数の永続的な属性によってオブジェクトを指定します。
我々は,この問題を属性合成検索として定式化し,固定されたオブジェクト中心のシーンメモリを自然言語でクエリして,要求された属性を満たすオブジェクトを検索する。
- 参考スコア（独自算出の注目度）: 6.271507966125957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language-guided robots need persistent scene memories to follow instructions, revisit objects, and resolve references to objects encountered over time. While much of language-guided scene-memory retrieval has emphasized spatial or relational references, many everyday object references specify objects by multiple persistent attributes, such as category, material, size, or surface appearance. We formalize this problem as attribute-compositional retrieval, where a fixed object-centric scene memory is queried with natural language to retrieve the object satisfying the requested attributes. To investigate this capability directly, we introduce a controlled evaluation protocol with fixed scene memories and attribute-defined targets, separating retrieval from perception and annotation ambiguities. We then propose FRAME, which turns language into query-relevant attribute weights, uses learned readouts to estimate per-attribute evidence from object embeddings, and ranks objects by aggregating this evidence according to the query. Across held-out scenes and object assets, FRAME outperforms representative scene-memory retrieval baselines while reducing post-decomposition object scoring to lightweight matrix-vector computation. These results position attribute-compositional retrieval as a complementary scene-memory capability for language-guided robots, showing that persistent object attributes can be exposed as composable evidence for accurate and efficient multi-attribute retrieval.
- Abstract（参考訳）: 言語誘導ロボットは、指示に従い、オブジェクトを再検討し、時間とともに遭遇するオブジェクトへの参照を解決するために、永続的なシーン記憶を必要とする。
言語指導によるシーンメモリ検索の多くは空間参照やリレーショナル参照を強調しているが、日常的なオブジェクト参照の多くは、カテゴリ、材料、サイズ、表面の外観といった複数の永続的な属性によってオブジェクトを指定している。
我々は,この問題を属性合成検索として定式化し,固定されたオブジェクト中心のシーンメモリを自然言語でクエリして,要求された属性を満たすオブジェクトを検索する。
この能力を直接的に検討するために、固定されたシーン記憶と属性定義された目標を持つ制御された評価プロトコルを導入し、認識からの検索とアノテーションの曖昧さを分離する。
次に,言語をクエリ関連属性の重みに変換するFRAMEを提案し,学習読解を用いてオブジェクトの埋め込みから属性ごとの証拠を推定し,クエリに従ってこの証拠を集約してオブジェクトをランク付けする。
保持されたシーンとオブジェクト資産全体で、FRAMEは代表的なシーンメモリ検索ベースラインを上回り、分解後のオブジェクトスコアリングを軽量な行列ベクトル計算に還元する。
これらの結果から, 言語誘導型ロボットの補完的なシーン記憶能力として属性合成検索を位置づけ, 永続的なオブジェクト属性を, 正確かつ効率的なマルチ属性検索のための構成可能な証拠として公開できることが示唆された。
関連論文リスト
- VocaDet: Sample-Driven Open-Vocabulary Object Detection and Segmentation via Visual Tokenization and Vector Database Retrieval [4.484170173286332]
サンプル駆動型オープン語彙オブジェクト検出・セグメンテーションフレームワークであるVocaDetを提案する。
連続した視覚表現を離散的な視覚語彙に変換し、スケーラブルなベクトルデータベースを通して効率的な検索ベース認識を行う。
UA-DETRACデータセットの実験は、VocaDetが従来の検出器トレーニングを使わずに効果的な開語彙検出性能を達成することを示した。
論文 参考訳（メタデータ） (2026-07-09T14:35:37Z) - Analytic Concept-Centric Memory for Agentic Embodied Manipulation [67.98329043920803]
ロングホライゾンの具体化操作では、エージェントは永続的なオブジェクトを記憶し、シーンの状態の変化を追跡し、相互作用の知識を再利用する必要がある。
既存のエージェント記憶は、しばしば構造化されていない履歴や埋め込みベースの記録として保存される。
エージェントエンボディド操作のための解析的概念中心メモリフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-29T04:33:04Z) - Revisiting Human-in-the-Loop Object Retrieval with Pre-Trained Vision Transformers [1.8631279231581521]
Human-in-the-Loop Object Retrievalは、関心のクラスのオブジェクトを含むイメージを反復的に検索するタスクである。
トレーニング済みのViT表現を活用し、重要な設計問題に対処することで、タスクを再考する。
論文 参考訳（メタデータ） (2026-04-01T12:18:17Z) - Memory-Augmented Vision-Language Agents for Persistent and Semantically Consistent Object Captioning [27.48318501076437]
VLM(Vision-Language Models)はしばしば、視点を越えて同じオブジェクトの一貫性のない記述をもたらす。
本稿では,データアソシエーション,オブジェクトキャプション,探索ポリシを同時に処理するメモリ拡張型ビジョンランゲージエージェントを提案する。
標準キャプションスコアでは+11.86%、ベースラインモデルでは+7.39%の改善が見られた。
論文 参考訳（メタデータ） (2026-03-25T12:52:32Z) - Object-Centric Framework for Video Moment Retrieval [15.916994168542345]
既存のモーメント検索手法の多くは、主にグローバルな視覚情報と意味情報をエンコードするフレームレベルの特徴の時間的シーケンスに依存している。
特に、オブジェクトレベルの時間的ダイナミクスは、主に見過ごされ、オブジェクトレベルの推論を必要とするシナリオにおける既存のアプローチを制限する。
提案手法は,まずシーングラフを用いてクエリ関連オブジェクトを抽出し,次にビデオフレームからグラフを抽出して,それらのオブジェクトとその関係を表現する。
シーングラフに基づいて、リッチな視覚情報や意味情報をエンコードするオブジェクトレベルの特徴系列を構築し、時間とともにオブジェクト間の関係時間的ローカライゼーションをモデル化するビデオトラックレット変換器で処理する。
論文 参考訳（メタデータ） (2025-12-20T17:44:53Z) - WeDetect: Fast Open-Vocabulary Object Detection as Retrieval [74.39703419628829]
Open-vocabularyオブジェクト検出は、テキストプロンプトを通じて任意のクラスを検出することを目的としている。
クロスモーダル融合層(ノンフュージョン)を持たない手法は、認識を検索問題として扱うことにより、より高速な推論を提供する。
WeDetectという名前のモデルファミリを開発し、推論効率の高い15ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-12-13T12:40:28Z) - Composed Object Retrieval: Object-level Retrieval via Composed Expressions [71.47650333199628]
Composed Object Retrieval (COR)は、画像レベルの検索を超えてオブジェクトレベルの精度を達成するための新しいタスクである。
COR127KはCORの最初の大規模ベンチマークであり、408カテゴリの様々な意味変換を持つ127,166個の検索三重項を含む。
また、参照領域エンコーディング、適応型視覚・テキストインタラクション、および領域レベルのコントラスト学習を統合した統合エンドツーエンドモデルであるCOREを提案する。
論文 参考訳（メタデータ） (2025-08-06T13:11:40Z) - Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。
この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
論文 参考訳（メタデータ） (2024-11-20T13:34:22Z) - Context-LGM: Leveraging Object-Context Relation for Context-Aware Object
Recognition [48.5398871460388]
本稿では,オブジェクト・コンテキスト関係を階層的にモデル化する新しいコンテキスト潜在生成モデル(Contextual Latent Generative Model,Context-LGM)を提案する。
文脈的特徴を推定するために、変数自動エンコーダ(VAE)の目的関数を再構成し、対象物に対する後続条件付き分布として文脈的特徴を学習する。
本手法の有効性は,2つのコンテキスト認識オブジェクト認識タスクにおける最先端性能によって検証される。
論文 参考訳（メタデータ） (2021-10-08T11:31:58Z) - Learning Object Detection from Captions via Textual Scene Attributes [70.90708863394902]
キャプションには、オブジェクトの属性やそれらの関係など、画像に関するよりリッチな情報が含まれている、と我々は主張する。
本稿では,この「テキストシーングラフ」の属性を用いて物体検知器を訓練する手法を提案する。
得られたモデルが、いくつかの挑戦的なオブジェクト検出データセットに対して、最先端の結果を達成することを実証的に実証した。
論文 参考訳（メタデータ） (2020-09-30T10:59:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。