論文の概要: Grounding by Remembering: Cross-Scene and In-Scene Memory for 3D Functional Affordances

• arxiv url: http://arxiv.org/abs/2605.11616v1
• Date: Tue, 12 May 2026 06:44:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.639547
• Title: Grounding by Remembering: Cross-Scene and In-Scene Memory for 3D Functional Affordances
• Title（参考訳）: 記憶によるグラウンドニング:3次元機能改善のためのクロスシーンとインシーンメモリ
• Abstract要約: AFFORDMEMは、幾何学を2つのレベルで記憶することで、3D機能的余裕を基盤とするフレームワークである。 エージェントがシーンを処理すると、候補インスタンスとその3次元空間関係を構造化されたシーングラフに整理する。 スプリット0では3.23、スプリット1では3.7のトレーニング自由状態をAP50で改善する。
• 参考スコア（独自算出の注目度）: 23.103482730965595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Functional affordance grounding requires more than recognizing an object: an agent must localize the specific region that supports an interaction, such as the handle to pull or the button to press. This is difficult for training-free vision-language pipelines because actionable regions are often small, visually ambiguous, and repeated across multiple same-category instances in a scene. We propose AFFORDMEM, a framework that grounds 3D functional affordances by remembering geometry at two levels. The first is cross-scene affordance memory: the agent maintains a category-level memory bank of RGB images with affordance regions rendered as overlays, and recalls the most informative examples at query time to guide a frozen VLM toward small operable subregions that text-only prompting consistently misses. The second is in-scene spatial memory: as the agent processes the scene, it organizes candidate instances and their 3D spatial relations into a structured scene graph, enabling the language model to resolve references over distant or currently unobserved candidates such as "the second handle from the top." AFFORDMEM requires no model fine-tuning and no target-scene annotation, using a reusable memory bank built from source scenes. On SceneFun3D, our method improves AP50 over the prior training-free state of the art by 3.23 on Split 0 and 3.7 on Split 1. Ablation studies support complementary benefits: cross-scene affordance memory improves fine-grained localization, while in-scene spatial memory provides the larger gain on spatially qualified queries. The project homepage is available at the project page.
• Abstract（参考訳）: エージェントは、プルするハンドルや押すボタンなど、インタラクションをサポートする特定の領域をローカライズする必要がある。 なぜなら、アクション可能な領域は小さく、視覚的に曖昧で、シーン内の複数の同一カテゴリインスタンスにまたがって繰り返されるためである。 AFFORDMEMは2つのレベルで幾何学を記憶することで3次元機能的余裕を基盤とするフレームワークである。 エージェントは、オーバーレイとしてレンダリングされた空き領域を持つRGBイメージのカテゴリレベルのメモリバンクを保持し、クエリ時に最も有益な例をリコールして、テキストのみを常に見逃す小さな操作可能なサブリージョンへと誘導する。 エージェントがシーンを処理すると、候補インスタンスとその3次元空間関係を構造化されたシーングラフに整理し、言語モデルが「トップから2番目のハンドル」のような現在観測されていない候補の参照を解決できるようにする。 AFFORDMEMは、ソースシーンから構築された再利用可能なメモリバンクを使用して、モデル微調整やターゲットシーンアノテーションを必要としない。 SceneFun3Dでは、Split 0では3.23、Split 1では3.7のトレーニングフリーな状態よりもAP50を改善する。 クロス・シーン・アベイランス・メモリは微粒な局所化を改善する一方、イン・シーン・スペース・メモリは空間的に修飾されたクエリにおいて大きな利益をもたらす。 プロジェクトのホームページはプロジェクトページで公開されている。

関連論文リスト

• CreaMem: A Scene-Aware Memory Architecture for Personalized Agents [10.59532182467324]
  本稿では,メモリを複数のライフシーンメモリに分割することで,シーン認識型メモリ構成を可能にするCreaMemアーキテクチャを提案する。 CreaMemは、すべての評価指標のQA精度を改善し、特にマルチホップ推論のパフォーマンスを大きく向上させる。 強化するために、私たちはコードをパブリックなGitHubリポジトリにリリースしました。
  論文  参考訳（メタデータ） (2026-09-08T10:33:05Z)
• Reasmory: 3D Reconstruction as Explicit Memory for VLMs Spatial Reasoning [43.950190960277865]
  VLM(Vision-Language Models)は、空間的推論能力の出現を示すが、正確な空間的理解を必要とするタスクには信頼できない。 再構成空間メモリ上での構造化プログラム実行として空間推論を定式化するフレームワークであるtextbfReasmoryを提案する。 Reasmoryは明示的な3Dメモリを構築し、セマンティックな3Dオブジェクトインスタンスで拡張し、軽量なDomain-Specific Languageを導入している。
  論文  参考訳（メタデータ） (2026-05-31T02:36:57Z)
• Memory Over Maps: 3D Object Localization Without Reconstruction [44.29345996003297]
  ターゲットローカライゼーションは、ナビゲーションや操作といった具体的タスクの前提条件である。 視覚言語モデルの最近の進歩は、リッチなセマンティック推論を2次元観察で直接実行できることを示唆している。 シーンのグローバルな3次元表現を構築することなく,RGB-Dのみを軽量なヴィジュアルメモリとして格納するマップフリーパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-20T21:57:51Z)
• SpatialMem: Unified 3D Memory with Metric Anchoring and Fast Retrieval [19.68937683078205]
  SpaceMemはメモリ中心のシステムであり、三次元幾何学、意味論、言語を単一の表現に統一する。 メートル法で拡張された屋内環境を再構築し、構造的な3Dアンカーを検出し、オープン語彙オブジェクトノードで階層メモリをポップアップさせる。 特殊なセンサーを使わずに、言語誘導ナビゲーションやオブジェクト検索などの下流タスクをサポートする。
  論文  参考訳（メタデータ） (2026-01-21T11:32:24Z)
• ChangingGrounding: 3D Visual Grounding in Changing Scenes [92.00984845186679]
  現実世界のロボットは自然言語からオブジェクトをローカライズするが、周囲のシーンは変化し続けている。 既存の3Dビジュアルグラウンドティング(3DVG)手法のほとんどは、再構築された最新の点雲を前提としている。 エージェントが過去の観測をいかにうまく活用できるかを明示的に測定する最初のベンチマークであるChangeingGroundingを紹介します。
  論文  参考訳（メタデータ） (2025-10-16T17:59:16Z)
• A Neural Representation Framework with LLM-Driven Spatial Reasoning for Open-Vocabulary 3D Visual Grounding [78.99798110890157]
  Open-vocabulary 3D visual groundingは、自由形式の言語クエリに基づいてターゲットオブジェクトをローカライズすることを目的としている。 既存の言語フィールド手法は、言語クエリにおける空間的関係を利用してインスタンスを正確にローカライズするのに苦労する。 本研究では,大規模言語モデル(LLM)に基づく空間推論を用いたニューラル表現に基づく新しいフレームワークであるSpatialReasonerを提案する。
  論文  参考訳（メタデータ） (2025-07-09T10:20:38Z)
• Point3R: Streaming 3D Reconstruction with Explicit Spatial Pointer Memory [72.75478398447396]
  我々は,高密度ストリーミング3D再構成を目的としたオンラインフレームワークであるPoint3Rを提案する。 具体的には、現在のシーンの3次元構造に直接関連した空間ポインタメモリを明示的に保持する。 本手法は,訓練コストの低い各種タスクにおいて,競争力や最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-07-03T17:59:56Z)
• TSDASeg: A Two-Stage Model with Direct Alignment for Interactive Point Cloud Segmentation [3.615396917221689]
  本稿では,双方向アライメントモジュールとメモリモジュールを組み合わせた2段階モデルであるTSDASegを提案する。 直交アライメントモジュールを導入し、3次元点雲とテキスト/2次元画像データとの明確なアライメントを確立する。 メモリモジュール内では、複数の専用メモリバンクを使用して、テキストの特徴、視覚的特徴、およびそれらの相互モーダル対応マッピングを別々に格納する。
  論文  参考訳（メタデータ） (2025-06-26T04:10:33Z)
• A-SCoRe: Attention-based Scene Coordinate Regression for wide-ranging scenarios [1.2093553114715083]
  A-ScoReは、意味のある高セマンティックな2Dディスクリプタを生成するために、ディスクリプタマップレベルの注意を利用するアテンションベースのモデルである。 その結果,本手法はより軽量でフレキシブルでありながら,複数のベンチマークでState-of-the-artメソッドに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-03-18T07:39:50Z)
• 3D-Mem: 3D Scene Memory for Embodied Exploration and Reasoning [65.40458559619303]
  エンボディエージェントのための新しい3Dシーンメモリフレームワークである3D-Memを提案する。 3D-Memは、シーンを表現するために、Memory Snapshotsと呼ばれる情報的なマルチビューイメージを使用している。 さらに、Frontier Snapshots-glimpsの未探索領域対応エージェントを導入して、情報的な意思決定を行うことによって、フロンティアベースの探索をさらに統合する。
  論文  参考訳（メタデータ） (2024-11-23T09:57:43Z)
• Self-supervised Learning of Neural Implicit Feature Fields for Camera Pose Refinement [32.335953514942474]
  本稿では,3次元の高密度特徴場と2次元の特徴抽出器を併用してシーン表現を共同学習することを提案する。 暗黙の場に符号化された中間的幾何情報を活用するために、ボリュームレンダリングを通してシーンの基盤となる幾何学を学習し、特徴体を設計する。 次に、画像ベースの機能とレンダリングされたボリューム機能を調整することで、視覚的なローカライゼーションを実現する。
  論文  参考訳（メタデータ） (2024-06-12T17:51:53Z)
• Visual Localization via Few-Shot Scene Region Classification [84.34083435501094]
  ビジュアル(再)ローカライゼーションは、既知のシーンでキャプチャされたクエリイメージの6-DoFカメラのポーズを推定する問題に対処する。 画像画素からシーン座標へのマッピングを記憶することで,この問題を解決する。 シーン領域の分類手法を提案する。
  論文  参考訳（メタデータ） (2022-08-14T22:39:02Z)
• VS-Net: Voting with Segmentation for Visual Localization [72.8165619061249]
  本稿では,クエリ画像と3Dマップ間の2次元から3次元の対応を学習可能なシーン固有のランドマークで構築する,新しい視覚的ローカライゼーションフレームワークを提案する。 提案したVS-Netは、複数の公開ベンチマークで広範囲にテストされており、最先端のビジュアルローカライゼーション手法より優れている。
  論文  参考訳（メタデータ） (2021-05-23T08:44:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。