論文の概要: Source-Free Cross-Modal Knowledge Transfer by Unleashing the Potential
of Task-Irrelevant Data
- arxiv url: http://arxiv.org/abs/2401.05014v1
- Date: Wed, 10 Jan 2024 09:02:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-11 15:07:24.102375
- Title: Source-Free Cross-Modal Knowledge Transfer by Unleashing the Potential
of Task-Irrelevant Data
- Title（参考訳）: タスク非関連データの可能性を解き放つソースフリークロスモーダル知識伝達
- Authors: Jinjing Zhu, Yucheng Chen, and Lin Wang
- Abstract要約: ソースフリーのクロスモーダルな知識伝達は重要な課題ですが、難しい作業です。
我々は、ソースフリーなクロスモーダルな知識伝達を促進するために、ペア化されたTIデータの可能性を解き放つためのフレームワークを提案する。
提案手法は,3つのデータセットの最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 9.195524787980409
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Source-free cross-modal knowledge transfer is a crucial yet challenging task,
which aims to transfer knowledge from one source modality (e.g., RGB) to the
target modality (e.g., depth or infrared) with no access to the task-relevant
(TR) source data due to memory and privacy concerns. A recent attempt leverages
the paired task-irrelevant (TI) data and directly matches the features from
them to eliminate the modality gap. However, it ignores a pivotal clue that the
paired TI data could be utilized to effectively estimate the source data
distribution and better facilitate knowledge transfer to the target modality.
To this end, we propose a novel yet concise framework to unlock the potential
of paired TI data for enhancing source-free cross-modal knowledge transfer. Our
work is buttressed by two key technical components. Firstly, to better estimate
the source data distribution, we introduce a Task-irrelevant data-Guided
Modality Bridging (TGMB) module. It translates the target modality data (e.g.,
infrared) into the source-like RGB images based on paired TI data and the
guidance of the available source model to alleviate two key gaps: 1)
inter-modality gap between the paired TI data; 2) intra-modality gap between TI
and TR target data. We then propose a Task-irrelevant data-Guided Knowledge
Transfer (TGKT) module that transfers knowledge from the source model to the
target model by leveraging the paired TI data. Notably, due to the
unavailability of labels for the TR target data and its less reliable
prediction from the source model, our TGKT model incorporates a self-supervised
pseudo-labeling approach to enable the target model to learn from its
predictions. Extensive experiments show that our method achieves
state-of-the-art performance on three datasets (RGB-to-depth and
RGB-to-infrared).
- Abstract（参考訳）: ソースフリーなクロスモーダルな知識伝達は重要なタスクであり、メモリとプライバシの懸念により、タスク関連(TR)ソースデータにアクセスせずに、1つのソースモダリティ(例えば、RGB)からターゲットモダリティ(例えば、深さまたは赤外線)に知識を転送することを目的としている。
最近の試みでは、ペア化されたタスク関連データ(TI)を活用し、それらの特徴と直接一致して、モダリティギャップを排除している。
しかしながら、tiデータ対がソースデータ分布を効果的に推定し、ターゲットモダリティへの知識伝達をより容易にするために利用できることを示す重要な手がかりを無視している。
この目的のために,tiデータ対の可能性を解き放ち,ソースフリーなクロスモーダル知識の伝達を促進するための,新しい,かつ簡潔なフレームワークを提案する。
私たちの仕事は2つの重要な技術コンポーネントによって支えられています。
まず、ソースデータ分布をより正確に推定するために、TGMB(Task-irrelevant data-Guided Modality Bridging)モジュールを導入する。
ターゲットのモダリティデータ(例えば赤外線)を、ペア化されたTIデータと利用可能なソースモデルのガイダンスに基づいてソースライクなRGBイメージに変換することで、2つの重要なギャップを緩和する。
1) 対のTIデータ間のモダリティ間ギャップ
2) TIとTRのターゲットデータ間のモダリティ内ギャップ。
次に,TGKT (Task-irrelevant Data-Guided Knowledge Transfer) モジュールを提案する。
特に、TRターゲットデータに対するラベルの有効性や、ソースモデルからの信頼性の低い予測のため、我々のTGKTモデルは、ターゲットモデルがその予測から学べるように、自己教師付き擬似ラベル方式を取り入れている。
実験の結果,3つのデータセット(RGB-to-deepth,RGB-to-infrared)の最先端性能が得られた。
関連論文リスト
- Enhancing Information Maximization with Distance-Aware Contrastive
Learning for Source-Free Cross-Domain Few-Shot Learning [55.715623885418815]
クロスドメインのFew-Shot Learningメソッドは、トレーニング前のフェーズでモデルをトレーニングするために、ソースドメインデータにアクセスする必要がある。
データプライバシやデータ送信やトレーニングコストの削減に対する懸念が高まっているため,ソースデータにアクセスせずにCDFSLソリューションを開発する必要がある。
本稿では,これらの課題に対処するための距離対応コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-03-04T12:10:24Z) - Cross-Domain Transfer Learning with CoRTe: Consistent and Reliable
Transfer from Black-Box to Lightweight Segmentation Model [25.3403116022412]
CoRTeは、ブラックボックスソースモデルから信頼できる知識を抽出する擬似ラベリング関数である。
我々は,2つの合成から現実の環境でCoRTeをベンチマークし,ブラックボックスモデルを用いて目標データ分布の軽量モデルにおける知識を伝達する際,顕著な結果を示した。
論文 参考訳（メタデータ） (2024-02-20T16:35:14Z) - Distributionally Robust Transfer Learning [8.323198205808566]
本稿ではTransDRO(Transfer Learning)のための分散ロバスト最適化手法を提案する。
TransDROは不確実性セット内で最も敵対的な損失を最適化するために設計されている。
本研究では,TransDROが対象データに適合するモデルよりも高速に収束することを示す。
論文 参考訳（メタデータ） (2023-09-12T19:18:52Z) - Towards Estimating Transferability using Hard Subsets [25.86053764521497]
HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。
HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。
複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
論文 参考訳（メタデータ） (2023-01-17T14:50:18Z) - Cross-Modal Knowledge Transfer Without Task-Relevant Source Data [35.23844505638355]
深度と赤外線データのためのコンピュータビジョンとディープラーニングシステムの構築が重要である。
メモリやプライバシなどの理由から、ソースデータにアクセスできない場合もある。
Source-free Cross-modal KnowledgE Transfer for this challenge task。
論文 参考訳（メタデータ） (2022-09-08T20:43:46Z) - Unsupervised Spike Depth Estimation via Cross-modality Cross-domain Knowledge Transfer [53.413305467674434]
スパイク深度推定をサポートするためにオープンソースのRGBデータを導入し,そのアノテーションと空間情報を活用する。
教師なしスパイク深さ推定を実現するために,クロスモーダルクロスドメイン(BiCross)フレームワークを提案する。
提案手法は,RGB指向の教師なし深度推定法と比較して,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2022-08-26T09:35:20Z) - Transferring model structure in Bayesian transfer learning for Gaussian
process regression [1.370633147306388]
本稿では、転送源分布上の目標確率分布を条件付けるタスクを定義する。
この最適意思決定問題を解決するために、完全な確率的設計が採用されている。
ソースのより高いモーメントを転送することで、ターゲットは信頼できないソース知識を拒否することができる。
論文 参考訳（メタデータ） (2021-01-18T05:28:02Z) - Source Data-absent Unsupervised Domain Adaptation through Hypothesis
Transfer and Labeling Transfer [137.36099660616975]
Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。
既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。
本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
論文 参考訳（メタデータ） (2020-12-14T07:28:50Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳（メタデータ） (2020-10-16T17:45:08Z) - Learning Selective Mutual Attention and Contrast for RGB-D Saliency
Detection [145.4919781325014]
クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。
多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。
本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
論文 参考訳（メタデータ） (2020-10-12T08:50:10Z) - Dual-Teacher: Integrating Intra-domain and Inter-domain Teachers for
Annotation-efficient Cardiac Segmentation [65.81546955181781]
本稿では,新しい半教師付きドメイン適応手法,すなわちDual-Teacherを提案する。
学生モデルは、2つの教師モデルによってラベル付けされていない対象データとラベル付けされた情報源データの知識を学習する。
提案手法では, ラベルなしデータとモダリティ間データとを並列に利用でき, 性能が向上することを示した。
論文 参考訳（メタデータ） (2020-07-13T10:00:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。