論文の概要: Decoupled Object-Centric Video Understanding for Generating Robotic Manipulation Commands

• arxiv url: http://arxiv.org/abs/2606.16470v1
• Date: Mon, 15 Jun 2026 09:36:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.342348
• Title: Decoupled Object-Centric Video Understanding for Generating Robotic Manipulation Commands
• Title（参考訳）: ロボットマニピュレーションコマンド生成のためのデカップリング型物体中心映像理解
• Authors: Thanh Nguyen Canh, Thanh-Tuan Tran, Haolan Zhang, Ziyan Gao, Xiem HoangVan, Nak Young Chong,
• Abstract要約: 本稿では、オブジェクト識別からアクション認識を分離し、正確な文法のない操作コマンドを生成するオブジェクト中心のビデオ理解フレームワークを提案する。 提案手法は,効率的なアクションビデオ分類のためのShift Modules (TSM) と,新しいtextbftemporalObject Selectionアルゴリズムを統合する。
• 参考スコア（独自算出の注目度）: 5.967530183571141
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Translating video demonstrations into executable robot commands remains challenging because existing methods often fail to identify which objects are functionally involved in the demonstrated action. As a result, they may generate commands that are linguistically plausible but operationally ambiguous. We propose an object-centric video understanding framework that decouples action recognition from object identification to generate precise, grammar-free manipulation commands. Our approach integrates Temporal Shift Modules (TSM) for efficient spatio-temporal action classification with a novel \textbf{Object Selection} algorithm that identifies task-relevant objects through trajectory-based role classification, blur detection, and overlap minimization. The selected objects are then processed by Vision-Language Models (VLMs) for robust category recognition and zero-shot generalization. Evaluated on a modified Something-Something V2 dataset, our method achieves 86.79\% action classification accuracy and BLEU-4 scores of 0.337 on standard objects and 0.261 on novel objects. These results improve over the strongest task-specific baseline by 80.2\% and 143.9\%, respectively. Larger gains are observed in METEOR and CIDEr, reaching 157.9\% and 171.7\% on novel objects. Across all semantic metrics, our approach consistently outperforms task-specific methods and remains competitive with, or surpasses, large general-purpose VLMs while retaining a modular, object-centric design.
• Abstract（参考訳）: ビデオのデモを実行可能なロボットコマンドに変換することは、既存の方法では、デモされたアクションにどのオブジェクトが機能的に関わっているかを特定することができないため、依然として難しい。 結果として、言語的には妥当だが、運用上あいまいなコマンドを生成することができる。 本稿では、オブジェクト識別からアクション認識を分離し、正確な文法のない操作コマンドを生成するオブジェクト中心のビデオ理解フレームワークを提案する。 提案手法は,TSM(Temporal Shift Modules)を用いて,時間的時間的行動の効率的な分類と,軌道に基づく役割分類,ぼやけた検出,重複最小化によるタスク関連オブジェクトの識別を行う新しい \textbf{Object Selection} アルゴリズムを統合する。 選択されたオブジェクトは、ロバストなカテゴリ認識とゼロショット一般化のためにビジョンランゲージモデル(VLM)によって処理される。 修正されたSomething V2データセットを用いて, 動作分類精度86.79\%, 標準対象のBLEU-4スコア0.337, 新規対象の0.261。 これらの結果は、最強のタスク固有のベースラインをそれぞれ80.2\%と143.9\%に改善した。 METEOR と CIDEr ではより大きな利得が観察され、新規な対象に対して 157.9\% と 171.7\% に達する。 すべてのセマンティックメトリクスにおいて、我々のアプローチはタスク固有のメソッドを一貫して上回り、モジュール化されたオブジェクト中心の設計を維持しながら、大規模な汎用VLMと競合し、あるいは上回っている。

関連論文リスト

• Generalizable task-oriented object grasping through LLM-guided ontology and similarity-based planning [16.214119457569534]
  タスク指向グルーピング(TOG)は、オブジェクト部分の正確な識別と、効果的でロバストな操作を保証するために、グルーピング領域の慎重な選択を必要とするため、単純なオブジェクトグルーピングよりも難しい。 視覚認識のセマンティックな特徴に依存しない、より一般化可能なTOGのための、新しい幾何学中心の戦略を導入する。 実世界の実験を通して, 機能的部分選択, 識別, 把握生成におけるアプローチの高精度性を検証した。
  論文  参考訳（メタデータ） (2026-03-27T13:39:57Z)
• Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition [71.5328300638085]
  Zero-shot Human-Object Interaction (HOI) は、画像中の人間と物体を特定し、その相互作用を認識することを目的としている。 2段階法を含む既存の手法は、特定の検出器との相互作用認識を密に結合する。 本稿では、オブジェクト検出をIRから分離し、マルチモーダル大言語モデル(MLLM)をゼロショットIRに活用する分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T19:01:31Z)
• Decoupled PROB: Decoupled Query Initialization Tasks and Objectness-Class Learning for Open World Object Detection [0.0]
  Open World Object Detectionは、コンピュータビジョンの課題である。 多くの手法が未知のオブジェクトに対して擬似ラベルを使用することでこの問題に対処している。 最近提案された確率的対象性変換器を用いたオープンワールド検出器(PROB)は最先端のモデルである。
  論文  参考訳（メタデータ） (2025-07-17T12:56:04Z)
• IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
  IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。 マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。 次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
  論文  参考訳（メタデータ） (2025-04-09T12:36:48Z)
• Kinematic-aware Prompting for Generalizable Articulated Object Manipulation with LLMs [53.66070434419739]
  汎用的なオブジェクト操作は、ホームアシストロボットにとって不可欠である。 本稿では,物体のキネマティックな知識を持つ大規模言語モデルに対して,低レベル動作経路を生成するキネマティック・アウェア・プロンプト・フレームワークを提案する。 我々のフレームワークは8つのカテゴリで従来の手法よりも優れており、8つの未確認対象カテゴリに対して強力なゼロショット能力を示している。
  論文  参考訳（メタデータ） (2023-11-06T03:26:41Z)
• Localizing Active Objects from Egocentric Vision with Symbolic World Knowledge [62.981429762309226]
  タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。 本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。 Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-10-23T16:14:05Z)
• Self-Supervised Interactive Object Segmentation Through a Singulation-and-Grasping Approach [9.029861710944704]
  本稿では,新しいオブジェクトと対話し,各オブジェクトのトレーニングラベルを収集するロボット学習手法を提案する。 Singulation-and-Grasping(SaG)ポリシは、エンドツーエンドの強化学習を通じてトレーニングされる。 本システムは,シミュレートされた散文シーンにおいて,70%の歌唱成功率を達成する。
  論文  参考訳（メタデータ） (2022-07-19T15:01:36Z)
• INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
  INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。 我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。 我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
  論文  参考訳（メタデータ） (2021-08-25T07:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。