論文の概要: Non-target Divergence Hypothesis: Toward Understanding Domain Gaps in Cross-Modal Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2409.02438v1
• Date: Wed, 4 Sep 2024 04:29:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 20:15:07.491459
• Title: Non-target Divergence Hypothesis: Toward Understanding Domain Gaps in Cross-Modal Knowledge Distillation
• Title（参考訳）: 非対象多様性仮説:クロスモーダル知識蒸留における領域ギャップの理解に向けて
• Authors: Yilong Chen, Zongyi Xu, Xiaoshui Huang, Shanshan Zhao, Xinqi Jiang, Xinyu Gao, Xinbo Gao,
• Abstract要約: まずNon-Target Divergence hypothesis (NTDH)を導入し、ドメインギャップがクロスモーダルな知識蒸留に与える影響を明らかにする。 Vapnik-Chervonenkis(VC)理論に基づいて、クロスモーダルな知識蒸留における近似誤差の上下境界を導出する。 5つのクロスモーダルデータセットの実験により、NTDHの有効性、一般性、適用性が確認された。
• 参考スコア（独自算出の注目度）: 42.626308863553376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compared to single-modal knowledge distillation, cross-modal knowledge distillation faces more severe challenges due to domain gaps between modalities. Although various methods have proposed various solutions to overcome these challenges, there is still limited research on how domain gaps affect cross-modal knowledge distillation. This paper provides an in-depth analysis and evaluation of this issue. We first introduce the Non-Target Divergence Hypothesis (NTDH) to reveal the impact of domain gaps on cross-modal knowledge distillation. Our key finding is that domain gaps between modalities lead to distribution differences in non-target classes, and the smaller these differences, the better the performance of cross-modal knowledge distillation. Subsequently, based on Vapnik-Chervonenkis (VC) theory, we derive the upper and lower bounds of the approximation error for cross-modal knowledge distillation, thereby theoretically validating the NTDH. Finally, experiments on five cross-modal datasets further confirm the validity, generalisability, and applicability of the NTDH.
• Abstract（参考訳）: シングルモーダルな知識蒸留と比較して、クロスモーダルな知識蒸留は、モダリティ間のドメインギャップにより、より深刻な課題に直面している。 これらの課題を克服するための様々な方法が提案されているが、ドメインギャップがクロスモーダルな知識蒸留にどのように影響するかについては、まだ研究が限られている。 本稿では,この問題の詳細な分析と評価を行う。 まずNon-Target Divergence hypothesis (NTDH)を導入し、ドメインギャップがクロスモーダルな知識蒸留に与える影響を明らかにする。 鍵となる発見は、モダリティ間のドメインギャップは、非ターゲットクラスの分布差をもたらし、これらの差が小さくなればなるほど、クロスモーダルな知識蒸留の性能が向上するということである。 その後、Vapnik-Chervonenkis(VC)理論に基づいて、クロスモーダルな知識蒸留における近似誤差の上下境界を導出し、理論的にNTDHを検証する。 最後に、5つのクロスモーダルデータセットの実験により、NTDHの有効性、一般性、適用性をさらに確認した。

関連論文リスト

• SCMix: Stochastic Compound Mixing for Open Compound Domain Adaptation in Semantic Segmentation [20.311948275950606]
  オープン複合ドメイン適応(OCDA)は、ラベル付きソースドメインから未ラベルの同種化合物ターゲットドメインの混合に知識を伝達し、未確認ドメインを一般化することを目的としている。 既存のOCDA法は、分割・分散戦略によって領域内ギャップを解決し、この問題を複数の個別・並列領域適応(DA)タスクに分割する。 本稿では、ソースと混合ターゲット分布のばらつきを軽減するために、主目的の複合混合戦略(SCMix)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T07:53:10Z)
• A Generalization Theory of Cross-Modality Distillation with Contrastive Learning [49.35244441141323]
  クロスモダリティ蒸留は、限られた知識を含むデータモダリティにとって重要なトピックである。 コントラスト学習に基づくクロスモーダルコントラスト蒸留(CMCD)の一般的な枠組みを定式化する。 我々のアルゴリズムは、様々なモダリティやタスクに対して、2-3%のマージンで既存のアルゴリズムを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-05-06T11:05:13Z)
• Identifiable Latent Causal Content for Domain Adaptation under Latent Covariate Shift [82.14087963690561]
  マルチソースドメイン適応(MSDA)は、ラベル付き対象ドメインのラベル予測関数を学習する際の課題に対処する。 本稿では,潜在コンテンツ変数と潜時スタイル変数とともに,ドメイン間の潜時雑音を導入し,複雑な因果生成モデルを提案する。 提案手法は、シミュレーションと実世界の両方のデータセットに対して、例外的な性能と有効性を示す。
  論文  参考訳（メタデータ） (2022-08-30T11:25:15Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• The Modality Focusing Hypothesis: On the Blink of Multimodal Knowledge Distillation [16.399589194973814]
  マルチモーダル知識蒸留は、伝統的な知識蒸留をマルチモーダル学習の領域にまで拡張する。 1つの一般的な実践は、パフォーマンス改善のために全知識を学生に伝達できることを期待して、よく演奏されたマルチモーダルネットワークを教師として採用することである。
  論文  参考訳（メタデータ） (2022-06-13T21:34:21Z)
• Integrating Information Theory and Adversarial Learning for Cross-modal Retrieval [19.600581093189362]
  マルチメディアコミュニティでは,クロスモーダル検索における視覚データとテキストデータのマッチングが広く研究されている。 シャノン情報理論と対比学習の統合を提案する。 ギャップの観点からは,モダリティ分類と情報エントロピーを相反的に統合する。
  論文  参考訳（メタデータ） (2021-04-11T11:04:55Z)
• Towards Fair Knowledge Transfer for Imbalanced Domain Adaptation [61.317911756566126]
  本研究では,不均衡なドメイン間学習における公平性問題に対処するTowards Fair Knowledge Transferフレームワークを提案する。 具体的には、新規なクロスドメインミックスアップ生成を利用して、ターゲット情報でマイノリティソースセットを増強し、公正性を高める。 本モデルでは,2つのベンチマークで全体の精度を20%以上向上させる。
  論文  参考訳（メタデータ） (2020-10-23T06:29:09Z)
• Maximum Density Divergence for Domain Adaptation [0.0]
  教師なしドメイン適応は、十分にラベル付けされたソースドメインからラベル付けされていないターゲットドメインへ知識を転送する問題に対処する。 本稿では,敵対的学習とメートル法学習の両方の利点を享受するATM(Adversarial Tight Match)というドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2020-04-27T07:35:06Z)
• Multi-source Domain Adaptation in the Deep Learning Era: A Systematic Survey [53.656086832255944]
  マルチソースドメイン適応(MDA)は、ラベル付きデータを複数のソースから収集できる強力な拡張である。 MDAは学術と産業の両方で注目を集めている。
  論文  参考訳（メタデータ） (2020-02-26T08:07:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。