論文の概要: Closed-Loop Transfer for Weakly-supervised Affordance Grounding
- arxiv url: http://arxiv.org/abs/2510.17384v1
- Date: Mon, 20 Oct 2025 10:21:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:39.405873
- Title: Closed-Loop Transfer for Weakly-supervised Affordance Grounding
- Title（参考訳）: 弱教師付き集合住宅における閉ループ移動
- Authors: Jiajin Tang, Zhengxuan Wei, Ge Zheng, Sibei Yang,
- Abstract要約: LoopTransは、知識をエキソセントリックからエゴセントリックに移行する、新しいクローズドループフレームワークである。
LoopTrans内では、クロスモーダルな局所化や知識蒸留の認知など、いくつかの革新的なメカニズムが導入されている。
実験によると、LoopTransは画像とビデオのベンチマークですべてのメトリクスで一貫した改善を実現している。
- 参考スコア（独自算出の注目度）: 35.34120640245943
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans can perform previously unexperienced interactions with novel objects simply by observing others engage with them. Weakly-supervised affordance grounding mimics this process by learning to locate object regions that enable actions on egocentric images, using exocentric interaction images with image-level annotations. However, extracting affordance knowledge solely from exocentric images and transferring it one-way to egocentric images limits the applicability of previous works in complex interaction scenarios. Instead, this study introduces LoopTrans, a novel closed-loop framework that not only transfers knowledge from exocentric to egocentric but also transfers back to enhance exocentric knowledge extraction. Within LoopTrans, several innovative mechanisms are introduced, including unified cross-modal localization and denoising knowledge distillation, to bridge domain gaps between object-centered egocentric and interaction-centered exocentric images while enhancing knowledge transfer. Experiments show that LoopTrans achieves consistent improvements across all metrics on image and video benchmarks, even handling challenging scenarios where object interaction regions are fully occluded by the human body.
- Abstract（参考訳）: 人間は、他者との関わりを観察するだけで、新しい物体との未経験の相互作用を行うことができる。
弱教師付きアベイランスグラウンドディングはこのプロセスを模倣し、画像レベルのアノテーションとエゴセントリックな相互作用画像を用いて、エゴセントリックなイメージ上のアクションを可能にするオブジェクト領域を見つけることを学習する。
しかしながら、エキソセントリックな画像のみから手頃な知識を抽出し、一方的にエゴセントリックな画像に移すことは、複雑な相互作用シナリオにおける過去の研究の適用性を制限している。
この研究は、新しいクローズドループフレームワークであるLoopTransを紹介した。このフレームワークは、知識をエゴセントリックからエゴセントリックに転送するだけでなく、エゴセントリックな知識抽出を強化するために再転送する。
LoopTrans内では、クロスモーダルなローカライゼーションとデノナイズドナレッジ蒸留を含むいくつかの革新的なメカニズムを導入し、知識伝達を高めながら、オブジェクト中心のエゴセントリック画像と相互作用中心のエゴセントリック画像の間の領域ギャップを橋渡しする。
実験によると、LoopTransは画像とビデオのベンチマークのすべての指標で一貫した改善を実現している。
関連論文リスト
- Cognition Transferring and Decoupling for Text-supervised Egocentric Semantic Segmentation [17.35953923039954]
Egocentic Semantic (TESS)タスクは、画像レベルのラベルからテキストによって弱められたエゴセントリックなイメージにピクセルレベルのカテゴリを割り当てることを目的としている。
本稿では、まず、画像とテキストを関連づけて、自我中心の着用者オブジェクトの関係を学習する認知伝達デカップリングネットワーク(CTDN)を提案する。
論文 参考訳（メタデータ） (2024-10-02T08:58:34Z) - EgoChoir: Capturing 3D Human-Object Interaction Regions from Egocentric Views [51.53089073920215]
エゴセントリックな人間と物体の相互作用(HOI)を理解することは、人間中心の知覚の基本的な側面である。
既存の手法は主にHOIの観測を利用して、外心的な視点から相互作用領域を捉えている。
EgoChoirは、オブジェクト構造と、外見と頭部運動に固有の相互作用コンテキストを結びつけて、オブジェクトの余裕を明らかにする。
論文 参考訳（メタデータ） (2024-05-22T14:03:48Z) - Put Myself in Your Shoes: Lifting the Egocentric Perspective from
Exocentric Videos [66.46812056962567]
Exocentric-to-egocentric cross-view translationは、第三者(exocentric)の観点からアクターをキャプチャするビデオ録画に基づいて、アクターの1人(egocentric)ビューを生成することを目的としている。
そこで我々は,Exo2Egoという,翻訳過程を高次構造変換と画素レベルの幻覚の2段階に分解する生成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-11T01:00:00Z) - Grounded Affordance from Exocentric View [79.64064711636975]
Affordance Groundingは、オブジェクトの"アクションの可能性"領域を見つけることを目的としている。
対話的な余裕の多様性のため、異なる個人の独特さは多様な相互作用をもたらす。
人間は様々な外心中心の相互作用を不変の自我中心の余裕に変える能力を持っている。
論文 参考訳（メタデータ） (2022-08-28T10:32:47Z) - Learning Affordance Grounding from Exocentric Images [79.64064711636975]
Affordance Groundingは、オブジェクト内のアクション可能性領域をグラウンド(すなわちローカライズ)するタスクである。
人間は様々な外心中心の相互作用を不変の自我中心の余裕に変換する能力を持っている。
本稿では,外心的視点,すなわち,外心的対象の相互作用と自我的対象のイメージが与えられた場合の空白化課題を提案する。
論文 参考訳（メタデータ） (2022-03-18T12:29:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。