論文の概要: Cross-Modal Knowledge Distillation without Paired Data: Theoretical Foundation and Algorithm

• arxiv url: http://arxiv.org/abs/2606.10504v1
• Date: Tue, 09 Jun 2026 07:29:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.368644
• Title: Cross-Modal Knowledge Distillation without Paired Data: Theoretical Foundation and Algorithm
• Title（参考訳）: ペアデータのないクロスモーダル知識蒸留:理論基礎とアルゴリズム
• Abstract要約: クロスモーダルな知識蒸留は、あるタイプのデータに基づいて訓練された教師モデルが、別のタイプのデータに基づいて構築された学生モデルをどのようにガイドするかを研究する。 既存のCMKD法では、ペア化されたマルチモーダルデータとアライメントセマンティクスを必要とすることが多い。 我々は、ペア化されたデータが利用できないような、より困難な設定のための新しいCMKDフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 15.156476515650693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-modal knowledge distillation (CMKD) studies how a (large) teacher model trained on one type of data (e.g., images) can guide a (smaller) student model building on another type of data (e.g., text/audio). Existing CMKD methods often require paired multi-modal data with aligned semantics, but obtaining such paired data are often costly and impractical. To mitigate this limitation, we develop a new CMKD framework for the more challenging setting where paired data are unavailable. In particular, we establish a cross-modal distributional relationship between teacher and student models, which reveals two fundamental quantities governing effective distillation: feature alignment and label alignment. These quantities characterize semantic discrepancy between modalities at the levels of representation and prediction distributions, respectively. Motivated by this insight, we propose a principled framework, with theoretical guarantees, that enables effective cross-modal knowledge distillation by aligning distributions rather than individual samples. Extensive experiments across a wide range of multimodal benchmarks show that our framework is highly effective in both unpaired and paired data settings, improving significantly over prior work.
• Abstract（参考訳）: クロスモーダル知識蒸留(CMKD)は、ある種類のデータ(例:画像)で訓練された(より大きな)教師モデルが、別の種類のデータ(例:テキスト/オーディオ)に基づいて構築された(より小さい)学生モデルをどのように導くかを研究する。 既存のCMKD法では、ペア化されたマルチモーダルデータとアライメントセマンティクスを必要とすることが多いが、そのようなペア化されたデータを得るにはコストがかかり、実用的ではないことが多い。 この制限を緩和するために、ペア化されたデータが利用できないようなより困難な設定のための新しいCMKDフレームワークを開発する。 特に,教師モデルと学生モデルとの相互分布関係を確立し,有効蒸留を統括する2つの基本的量である特徴アライメントとラベルアライメントを明らかにする。 これらの量はそれぞれ、表現のレベルにおけるモダリティと予測分布のセマンティックな相違を特徴づける。 そこで本研究では, 個々の試料ではなく分布を整列させることにより, 効果的にクロスモーダルな知識蒸留を可能にする, 理論的保証を伴う原理的枠組みを提案する。 広範囲にわたるマルチモーダルベンチマークによる大規模な実験により、我々のフレームワークは、未ペアデータとペアデータの両方で非常に効果的であり、事前の作業よりも大幅に改善されていることが示されている。

関連論文リスト

• Multi-Modal Dataset Distillation in the Wild [75.64263877043615]
  そこで我々は,マルチモーダル・データセット蒸留法(MDW)を提案し,ノイズの多いマルチモーダル・データセットをコンパクトなクリーン・データセットに蒸留し,効果的かつ効率的なモデルトレーニングを行う。 具体的には、MDWは蒸留中の学習可能な微粒な対応を導入し、蒸留されたデータを適応的に最適化し、対応識別領域を強調する。 MDWの理論的および経験的有効性は、様々な圧縮比で従来の手法を15%以上上回る、顕著なスケーラビリティで検証されている。
  論文  参考訳（メタデータ） (2025-06-02T12:18:20Z)
• Enhancing Knowledge Distillation of Large Language Models through Efficient Multi-Modal Distribution Alignment [10.104085497265004]
  本稿では,教師モデルと学生モデルとのピーク予測の整合性を促進するために,ランキング損失に基づく知識蒸留(RLKD)を提案する。 提案手法は,教師モデルのマルチモーダル分布をよりよく学習し,様々な下流タスクにおいて顕著な性能向上をもたらす。
  論文  参考訳（メタデータ） (2024-09-19T08:06:42Z)
• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• DisCoM-KD: Cross-Modal Knowledge Distillation via Disentanglement Representation and Adversarial Learning [3.763772992906958]
  クロスモーダル知識蒸留(英語: Cross-modal knowledge distillation, CMKD)とは、学習フレームワークが、モダリティミスマッチを示すトレーニングとテストデータを扱う必要があるシナリオを指す。 DisCoM-KD (Disentanglement-learning based Cross-Modal Knowledge Distillation) は、モジュールごとの情報の種類を明示的にモデル化する。
  論文  参考訳（メタデータ） (2024-08-05T13:44:15Z)
• A Generalization Theory of Cross-Modality Distillation with Contrastive Learning [49.35244441141323]
  クロスモダリティ蒸留は、限られた知識を含むデータモダリティにとって重要なトピックである。 コントラスト学習に基づくクロスモーダルコントラスト蒸留(CMCD)の一般的な枠組みを定式化する。 我々のアルゴリズムは、様々なモダリティやタスクに対して、2-3%のマージンで既存のアルゴリズムを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-05-06T11:05:13Z)
• Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport [46.91791643660991]
  マルチモーダル表現認識のための深層学習モデルは, 制御された実験室環境において顕著な性能を示した。 これらのモデルは、トレーニングに使用されるモダリティの可用性と品質のために、荒野で苦労する。 実際には、テスト時に利用できるのはトレーニング時モダリティのサブセットのみである。 特権情報による学習により、モデルはトレーニング中にのみ利用できる追加のモダリティからデータを利用することができる。
  論文  参考訳（メタデータ） (2024-01-27T19:44:15Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• CMD: Self-supervised 3D Action Representation Learning with Cross-modal Mutual Distillation [130.08432609780374]
  3D行動認識では、骨格のモダリティの間に豊富な相補的な情報が存在する。 本稿では,CMD(Cross-modal Mutual Distillation)フレームワークを提案する。 提案手法は,既存の自己管理手法より優れ,新しい記録を多数設定する。
  論文  参考訳（メタデータ） (2022-08-26T06:06:09Z)
• Modality-specific Distillation [30.190082262375395]
  マルチモーダルデータセット上の教師から知識を効果的に伝達するモダリティ特異的蒸留(MSD)を提案する。 私たちのアイデアは、各モダリティの補助損失項を導入して、教師のモダリティ特異的予測を模倣することを目指しています。 各モダリティは予測に異なる重要性を持つため、補助的損失に対する重み付けアプローチも提案する。
  論文  参考訳（メタデータ） (2021-01-06T05:45:07Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。