論文の概要: One-Shot Affordance Grounding of Deformable Objects in Egocentric Organizing Scenes

• arxiv url: http://arxiv.org/abs/2503.01092v1
• Date: Mon, 03 Mar 2025 01:34:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:13:53.744055
• Title: One-Shot Affordance Grounding of Deformable Objects in Egocentric Organizing Scenes
• Title（参考訳）: 自己中心型オーガナイズドシーンにおける変形性物体のワンショット接地
• Authors: Wanjun Jia, Fan Yang, Mengfei Duan, Xianchi Chen, Yinxi Wang, Yiming Jiang, Wenrui Chen, Kailun Yang, Zhiyong Li,
• Abstract要約: ロボット工学における変形可能なオブジェクト操作は、コンポーネント特性の不確かさ、多様な構成、視覚的干渉、曖昧なプロンプトなどによる重大な課題を呈している。 自己中心型組織シーンにおける変形性物体のワンショット強調グラウンド(OS-AGDO)の新たな手法を提案する。 実験結果から,本手法は最先端手法よりも有意に優れていることが示された。
• 参考スコア（独自算出の注目度）: 13.744125449326376
• License:
• Abstract: Deformable object manipulation in robotics presents significant challenges due to uncertainties in component properties, diverse configurations, visual interference, and ambiguous prompts. These factors complicate both perception and control tasks. To address these challenges, we propose a novel method for One-Shot Affordance Grounding of Deformable Objects (OS-AGDO) in egocentric organizing scenes, enabling robots to recognize previously unseen deformable objects with varying colors and shapes using minimal samples. Specifically, we first introduce the Deformable Object Semantic Enhancement Module (DefoSEM), which enhances hierarchical understanding of the internal structure and improves the ability to accurately identify local features, even under conditions of weak component information. Next, we propose the ORB-Enhanced Keypoint Fusion Module (OEKFM), which optimizes feature extraction of key components by leveraging geometric constraints and improves adaptability to diversity and visual interference. Additionally, we propose an instance-conditional prompt based on image data and task context, effectively mitigates the issue of region ambiguity caused by prompt words. To validate these methods, we construct a diverse real-world dataset, AGDDO15, which includes 15 common types of deformable objects and their associated organizational actions. Experimental results demonstrate that our approach significantly outperforms state-of-the-art methods, achieving improvements of 6.2%, 3.2%, and 2.9% in KLD, SIM, and NSS metrics, respectively, while exhibiting high generalization performance. Source code and benchmark dataset will be publicly available at https://github.com/Dikay1/OS-AGDO.
• Abstract（参考訳）: ロボット工学における変形可能なオブジェクト操作は、コンポーネント特性の不確かさ、多様な構成、視覚的干渉、曖昧なプロンプトなどによる重大な課題を呈している。 これらの要因は知覚と制御の両方を複雑にする。 これらの課題に対処するために, ロボットが最小限のサンプルを用いて, 色や形状の異なる未確認の変形物体を認識できるように, 自己中心型組織シーンにおけるワンショット変形物体のグラウンディング(OS-AGDO)を新たに提案する。 具体的には、まずDeformable Object Semantic Enhancement Module (DefoSEM)を導入し、内部構造の階層的理解を高め、コンポーネント情報の弱い条件下であっても、局所的な特徴を正確に識別する能力を向上させる。 次に,ORB-Enhanced Keypoint Fusion Module (OEKFM)を提案する。 さらに、画像データとタスクコンテキストに基づくインスタンス条件プロンプトを提案し、プロンプト語による領域曖昧性の問題を効果的に緩和する。 これらの手法を検証するために,15種類の共通の変形可能なオブジェクトとその関連組織行動を含む,多様な実世界のデータセット AGDDO15 を構築した。 実験の結果,本手法は最先端手法よりも優れ,KLD,SIM,NASの2.9%,6.2%,3.2%,2.9%の改善を実現し,高い一般化性能を示した。 ソースコードとベンチマークデータセットはhttps://github.com/Dikay1/OS-AGDO.comで公開される。

関連論文リスト

• ZISVFM: Zero-Shot Object Instance Segmentation in Indoor Robotic Environments with Vision Foundation Models [10.858627659431928]
  サービスロボットは、機能を強化するために、未知のオブジェクトを効果的に認識し、セグメント化する必要がある。 従来の教師付き学習ベースのセグメンテーション技術は、広範な注釈付きデータセットを必要とする。 本稿では,セグメンテーションアプライスモデル (SAM) の強力なゼロショット能力と,自己監督型視覚変換器 (ViT) からの明示的な視覚表現を活用することで,UOISを解く新しいアプローチ (ZISVFM) を提案する。
  論文  参考訳（メタデータ） (2025-02-05T15:22:20Z)
• Can foundation models actively gather information in interactive environments to test hypotheses? [56.651636971591536]
  隠れた報酬関数に影響を与える要因をモデルが決定しなければならない枠組みを導入する。 自己スループットや推論時間の増加といったアプローチが情報収集効率を向上させるかどうかを検討する。
  論文  参考訳（メタデータ） (2024-12-09T12:27:21Z)
• A Simple Background Augmentation Method for Object Detection with Diffusion Model [53.32935683257045]
  コンピュータビジョンでは、データの多様性の欠如がモデル性能を損なうことはよく知られている。 本稿では, 生成モデルの進歩を生かして, 単純かつ効果的なデータ拡張手法を提案する。 背景強化は、特にモデルの堅牢性と一般化能力を大幅に改善する。
  論文  参考訳（メタデータ） (2024-08-01T07:40:00Z)
• A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
  textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。 CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。 本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2024-07-31T08:42:48Z)
• Embracing Events and Frames with Hierarchical Feature Refinement Network for Object Detection [17.406051477690134]
  イベントカメラはスパースと非同期のイベントを出力し、これらの問題を解決する潜在的な解決策を提供する。 イベントフレーム融合のための新しい階層的特徴改善ネットワークを提案する。 本手法は, フレーム画像に15種類の汚損タイプを導入する際に, 極めて優れたロバスト性を示す。
  論文  参考訳（メタデータ） (2024-07-17T14:09:46Z)
• DAMSDet: Dynamic Adaptive Multispectral Detection Transformer with Competitive Query Selection and Adaptive Feature Fusion [82.2425759608975]
  赤外可視物体検出は、赤外画像と可視画像の相補的情報を融合することにより、フルデイ物体検出の堅牢化を目指している。 本稿では,この2つの課題に対処する動的適応型マルチスペクトル検出変換器(DAMSDet)を提案する。 4つの公開データセットの実験は、他の最先端の手法と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2024-03-01T07:03:27Z)
• Enhancing Deformable Local Features by Jointly Learning to Detect and Describe Keypoints [8.390939268280235]
  局所特徴抽出は、画像マッチングや検索といった重要なタスクに対処するためのコンピュータビジョンにおける標準的なアプローチである。 鍵点を共同で検出・記述する新しい変形認識ネットワークであるDALFを提案する。 提案手法は、変形可能なオブジェクト検索と、非剛性な3次元表面登録という、2つの実世界のアプリケーションの性能を向上させる。
  論文  参考訳（メタデータ） (2023-04-02T18:01:51Z)
• Semantic Feature Integration network for Fine-grained Visual Classification [5.182627302449368]
  本稿では,これらの課題に対処するためにセマンティック・フィーチャー・インテグレーション・ネットワーク(SFI-Net)を提案する。 不要な特徴を排除し、識別的特徴間の意味関係を再構築することにより、SFI-Netは満足な性能を実現した。
  論文  参考訳（メタデータ） (2023-02-13T07:32:25Z)
• Entity-Graph Enhanced Cross-Modal Pretraining for Instance-level Product Retrieval [152.3504607706575]
  本研究の目的は, 細粒度製品カテゴリを対象とした, 弱制御型マルチモーダル・インスタンスレベルの製品検索である。 まず、Product1Mデータセットをコントリビュートし、2つの実際のインスタンスレベルの検索タスクを定義します。 我々は、マルチモーダルデータから重要な概念情報を組み込むことができるより効果的なクロスモーダルモデルを訓練するために活用する。
  論文  参考訳（メタデータ） (2022-06-17T15:40:45Z)
• Unseen Object Instance Segmentation with Fully Test-time RGB-D Embeddings Adaptation [14.258456366985444]
  最近では、大規模な合成データのRGB-D機能を活用し、実世界のシナリオにモデルを適用するのが一般的である。 本稿では,Sim2Realドメイン間の適応プロセスを再強調する。 本稿では,BatchNorm層のパラメータに基づいて,完全テスト時間RGB-D埋め込み適応(FTEA)を行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-21T02:35:20Z)
• Object-Centric Image Generation from Layouts [93.10217725729468]
  複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。 本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。 本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
  論文  参考訳（メタデータ） (2020-03-16T21:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。