論文の概要: Towards Fine-Grained Object Manipulation: SAM3-Guided Visuomotor Policy with Persistent Memory Learning and Focused Visual Conditioning
- arxiv url: http://arxiv.org/abs/2609.21621v1
- Date: Fri, 18 Sep 2026 11:01:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.028484
- Title: Towards Fine-Grained Object Manipulation: SAM3-Guided Visuomotor Policy with Persistent Memory Learning and Focused Visual Conditioning
- Title（参考訳）: 微視的物体操作に向けて: SAM3-Guided Visuomotor Policy with Persistent Memory Learning and Focused Visual Conditioning
- Abstract要約: 細粒度オブジェクト(FO)操作では、特定のFOと視覚的に類似したオブジェクトを区別し、シーンの邪魔にもかかわらず確実にアクションを実行する必要がある。
本稿では、永続的なオブジェクトメモリと集中型ビジュアルコンディショニングにより、これらの課題に対処するSAM3誘導型ビジュモータフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 10.097549601415162
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-grained object (FO) manipulation requires robots to distinguish a specified FO from visually similar objects and execute actions reliably despite scene distractors. However, scene-level visual conditioning lacks explicit object selection, while category-level guidance cannot reliably distinguish FOs within the same category. We present a SAM3-guided visuomotor framework that addresses these challenges through persistent object memory and focused visual conditioning. First, we introduce FO Memory-driven SAM3 (FOM-SAM3), which learns reusable FO memory tokens from limited multi-view registration images while keeping SAM3 fully frozen. Through one-vs-rest learning, these tokens encode persistent memories for localizing target FOs and rejecting similar alternatives, which can be stored in a memory bank. Second, we propose Focused Spatial-Appearance Encoding (FSAE), which combines in-FO local appearance features with explicit bounding-box coordinates to condition action policies including Diffusion Policy (DP) and Action Chunking with Transformers (ACT). The effectiveness of the proposed FOM-SAM3 was validated on the FO-30 dataset comprising 30 physical objects across four coarse categories. Across three real-robot FO manipulation tasks, our FOM-SAM3-guided policies demonstrated robustness against distractors, discrimination ability among similar FOs, and extendibility to new FOs.
- Abstract（参考訳）: 細粒度オブジェクト(FO)操作では、特定のFOと視覚的に類似したオブジェクトを区別し、シーンの邪魔にもかかわらず確実にアクションを実行する必要がある。
しかし、シーンレベルの視覚条件付けには明示的なオブジェクト選択が欠けているが、カテゴリレベルのガイダンスは同じカテゴリ内のFOを確実に区別することはできない。
本稿では、永続的なオブジェクトメモリと集中型ビジュアルコンディショニングにより、これらの課題に対処するSAM3誘導型ビジュモータフレームワークを提案する。
まず、FOメモリ駆動SAM3(FOM-SAM3)を導入し、SAM3を完全に凍結しながら、限られたマルチビュー登録画像から再利用可能なFOメモリトークンを学習する。
1-vs-rest学習を通じて、これらのトークンは、ターゲットFOをローカライズするための永続メモリをエンコードし、メモリバンクに格納できる同様の選択肢を拒否する。
第2に,Focused Space-Appearance Encoding (FSAE) を提案し,Focused Space-Appearance Encoding (FSAE) と明示的なバウンディングボックス座標を組み合わせ,Diffusion Policy (DP) や Action Chunking with Transformers (ACT) を含む条件アクションポリシーを提案する。
FOM-SAM3の有効性を,4つの粗いカテゴリにわたる30個の物理オブジェクトからなるFO-30データセットで検証した。
3つの実ロボットFO操作タスクにおいて,FOM-SAM3誘導型ポリシは,障害に対する堅牢性,類似FO間の識別能力,新しいFOへの拡張性を示した。
関連論文リスト
- Competitive Memory Readout for Robust Video Object Segmentation: 2nd Place Technical Report for the MOSEv2 Track of the 8th LSVOS Challenge [51.15679610275694]
我々は,第8回大規模ビデオオブジェクト(LSVOS)チャレンジをECCV 2026で開催する。
この課題は、複雑な時間的ダイナミクスの下で、ロバストなビデオオブジェクトセグメンテーションを評価する。
本手法はSAM3上に構築され,メモリの読み出しに重点を置いている。
論文 参考訳（メタデータ） (2026-08-22T18:09:51Z) - GFR-SAM: Training-Free Referring Camouflaged Object Segmentation via Cross-Image Prompting [40.66340261994875]
Camouflaged Object Detection (Ref-COD)を参照するには、参照キューによってガイドされた隠されたターゲットをセグメント化する必要がある。
GFR-SAMは、堅牢な3段階トレーニングフリーフレームワークである。
まず,In-Context Exemplar-guided exemplarsを導入し,SAM3にクロスイメージ推論を施し,候補マスクを生成する。
次に、Regional-Global Contrastive Filteringモジュールは、DINOv3ベースのプロトタイプアライメントを通じて候補をランク付けする。
第3に、Geometric-Semantic Refinementモジュールはバウンディングボックスとテキストを同期させ、きめ細かい境界を回復し、インスタンスリコールを強化する。
論文 参考訳（メタデータ） (2026-07-13T15:55:45Z) - Zero-Shot Object Re-Identification in Egocentric Kitchen Videos via Multi-Stage SAM3 Feature Fusion [59.32099847726022]
EPIC-Kitchensベンチマークを用いてゼロショットオブジェクトReIDについて検討した。
目標は、トレーニング済みのビジュアル機能のみを使用して、アクティブな食品とキッチンツールインスタンスをフレーム間でマッチングすることだ。
論文 参考訳（メタデータ） (2026-05-25T23:01:41Z) - Rethinking Memory Design in SAM-Based Visual Object Tracking [41.85403035673912]
本稿では,SAMに基づく視覚的物体追跡のメモリ中心的な研究について述べる。
本稿では,メモリを短期的外見記憶と長期的外見記憶に明示的に分解するハイブリッドメモリフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-27T15:33:50Z) - SAMITE: Position Prompted SAM2 with Calibrated Memory for Visual Object Tracking [58.35852822355312]
Visual Object Tracking (VOT)は、ビデオ内のターゲットを継続的に追跡する自律運転のようなアプリケーションで広く使われている。
これらの問題に対処するために、ビデオ基盤モデルSAM2をVOTに適用し、各フレームの追跡結果をメモリとして符号化し、残りのフレームを自己回帰的に条件付けする手法を提案する。
これらの課題に対処するために,SAM2 上にモジュールを追加して構築した SAMITE モデルを提案する。
論文 参考訳（メタデータ） (2025-07-29T12:11:56Z) - FaceShield: Explainable Face Anti-Spoofing with Multimodal Large Language Models [51.858371492494456]
対面防止(FAS)は、提示攻撃から顔認識システムを保護するために不可欠である。
現在、FASタスク用に特別に設計された、普遍的で包括的なMLLMとデータセットは存在しない。
FASのためのMLLMであるFaceShieldと、それに対応する事前学習および教師付き微調整データセットを提案する。
命令データセット、プロトコル、コードはまもなくリリースされます。
論文 参考訳（メタデータ） (2025-05-14T14:10:43Z) - ZISVFM: Zero-Shot Object Instance Segmentation in Indoor Robotic Environments with Vision Foundation Models [10.858627659431928]
サービスロボットは、機能を強化するために、未知のオブジェクトを効果的に認識し、セグメント化する必要がある。
従来の教師付き学習ベースのセグメンテーション技術は、広範な注釈付きデータセットを必要とする。
本稿では,セグメンテーションアプライスモデル (SAM) の強力なゼロショット能力と,自己監督型視覚変換器 (ViT) からの明示的な視覚表現を活用することで,UOISを解く新しいアプローチ (ZISVFM) を提案する。
論文 参考訳（メタデータ） (2025-02-05T15:22:20Z) - Boosting Segment Anything Model Towards Open-Vocabulary Learning [69.24734826209367]
Segment Anything Model (SAM)は、新しいパラダイムビジョン基盤モデルとして登場した。
SAMは様々な領域で応用や適応を発見できるが、その主な制限はオブジェクトの意味を把握できないことである。
我々は,SAMとオープン語彙オブジェクト検出器をエンドツーエンドフレームワークでシームレスに統合するSamborを提案する。
論文 参考訳（メタデータ） (2023-12-06T17:19:00Z) - Personalize Segment Anything Model with One Shot [52.54453744941516]
我々は,Segment Anything Model (SAM) のためのトレーニング不要なパーソナライズ手法を提案する。
PerSAMは、参照マスクを持つ1つのイメージしか持たないため、最初にターゲットのコンセプトを以前のロケーションでローカライズする。
PerSAMは、ターゲット誘導された注意、ターゲットセマンティックなプロンプト、そしてカスケードされたポストリファインメントという3つのテクニックを通じて、他の画像やビデオにセグメントする。
論文 参考訳（メタデータ） (2023-05-04T17:59:36Z) - FOD-A: A Dataset for Foreign Object Debris in Airports [2.709804256642196]
外部オブジェクトデブリ(FOD)検出は、機械学習とコンピュータビジョンの領域で注目を集めている。
本稿では,空港におけるFOD(FOD-A)と命名されたFODの画像データセットを紹介する。
FOD-Aオブジェクトカテゴリは、連邦航空局(FAA)による以前の文書および関連する研究のガイダンスに基づいて選択されている。
論文 参考訳（メタデータ） (2021-10-06T21:11:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。