論文の概要: Cross-Modal Knowledge Distillation without Paired Data: Theoretical Foundation and Algorithm

• arxiv url: http://arxiv.org/abs/2606.10504v1
• Date: Tue, 09 Jun 2026 07:29:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.368644
• Title: Cross-Modal Knowledge Distillation without Paired Data: Theoretical Foundation and Algorithm
• Title（参考訳）: ペアデータのないクロスモーダル知識蒸留:理論基礎とアルゴリズム
• Authors: Trong Khiem Tran, Anh Duc Chu, Quang Hung Pham, Phi Le Nguyen, Trong Nghia Hoang,
• Abstract要約: クロスモーダルな知識蒸留は、あるタイプのデータに基づいて訓練された教師モデルが、別のタイプのデータに基づいて構築された学生モデルをどのようにガイドするかを研究する。 既存のCMKD法では、ペア化されたマルチモーダルデータとアライメントセマンティクスを必要とすることが多い。 我々は、ペア化されたデータが利用できないような、より困難な設定のための新しいCMKDフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 15.156476515650693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-modal knowledge distillation (CMKD) studies how a (large) teacher model trained on one type of data (e.g., images) can guide a (smaller) student model building on another type of data (e.g., text/audio). Existing CMKD methods often require paired multi-modal data with aligned semantics, but obtaining such paired data are often costly and impractical. To mitigate this limitation, we develop a new CMKD framework for the more challenging setting where paired data are unavailable. In particular, we establish a cross-modal distributional relationship between teacher and student models, which reveals two fundamental quantities governing effective distillation: feature alignment and label alignment. These quantities characterize semantic discrepancy between modalities at the levels of representation and prediction distributions, respectively. Motivated by this insight, we propose a principled framework, with theoretical guarantees, that enables effective cross-modal knowledge distillation by aligning distributions rather than individual samples. Extensive experiments across a wide range of multimodal benchmarks show that our framework is highly effective in both unpaired and paired data settings, improving significantly over prior work.
• Abstract（参考訳）: クロスモーダル知識蒸留(CMKD)は、ある種類のデータ(例:画像)で訓練された(より大きな)教師モデルが、別の種類のデータ(例:テキスト/オーディオ)に基づいて構築された(より小さい)学生モデルをどのように導くかを研究する。 既存のCMKD法では、ペア化されたマルチモーダルデータとアライメントセマンティクスを必要とすることが多いが、そのようなペア化されたデータを得るにはコストがかかり、実用的ではないことが多い。 この制限を緩和するために、ペア化されたデータが利用できないようなより困難な設定のための新しいCMKDフレームワークを開発する。 特に,教師モデルと学生モデルとの相互分布関係を確立し,有効蒸留を統括する2つの基本的量である特徴アライメントとラベルアライメントを明らかにする。 これらの量はそれぞれ、表現のレベルにおけるモダリティと予測分布のセマンティックな相違を特徴づける。 そこで本研究では, 個々の試料ではなく分布を整列させることにより, 効果的にクロスモーダルな知識蒸留を可能にする, 理論的保証を伴う原理的枠組みを提案する。 広範囲にわたるマルチモーダルベンチマークによる大規模な実験により、我々のフレームワークは、未ペアデータとペアデータの両方で非常に効果的であり、事前の作業よりも大幅に改善されていることが示されている。

関連論文リスト

• Enhancing Knowledge Distillation of Large Language Models through Efficient Multi-Modal Distribution Alignment [10.104085497265004]
  本稿では,教師モデルと学生モデルとのピーク予測の整合性を促進するために,ランキング損失に基づく知識蒸留(RLKD)を提案する。 提案手法は,教師モデルのマルチモーダル分布をよりよく学習し,様々な下流タスクにおいて顕著な性能向上をもたらす。
  論文  参考訳（メタデータ） (2024-09-19T08:06:42Z)
• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• DisCoM-KD: Cross-Modal Knowledge Distillation via Disentanglement Representation and Adversarial Learning [3.763772992906958]
  クロスモーダル知識蒸留(英語: Cross-modal knowledge distillation, CMKD)とは、学習フレームワークが、モダリティミスマッチを示すトレーニングとテストデータを扱う必要があるシナリオを指す。 DisCoM-KD (Disentanglement-learning based Cross-Modal Knowledge Distillation) は、モジュールごとの情報の種類を明示的にモデル化する。
  論文  参考訳（メタデータ） (2024-08-05T13:44:15Z)
• Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport [46.91791643660991]
  マルチモーダル表現認識のための深層学習モデルは, 制御された実験室環境において顕著な性能を示した。 これらのモデルは、トレーニングに使用されるモダリティの可用性と品質のために、荒野で苦労する。 実際には、テスト時に利用できるのはトレーニング時モダリティのサブセットのみである。 特権情報による学習により、モデルはトレーニング中にのみ利用できる追加のモダリティからデータを利用することができる。
  論文  参考訳（メタデータ） (2024-01-27T19:44:15Z)
• CMD: Self-supervised 3D Action Representation Learning with Cross-modal Mutual Distillation [130.08432609780374]
  3D行動認識では、骨格のモダリティの間に豊富な相補的な情報が存在する。 本稿では,CMD(Cross-modal Mutual Distillation)フレームワークを提案する。 提案手法は,既存の自己管理手法より優れ,新しい記録を多数設定する。
  論文  参考訳（メタデータ） (2022-08-26T06:06:09Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。