論文の概要: CLIP-RD: Relational Distillation for Efficient CLIP Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2603.25383v2
• Date: Fri, 27 Mar 2026 09:22:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.171482
• Title: CLIP-RD: Relational Distillation for Efficient CLIP Knowledge Distillation
• Title（参考訳）: CLIP-RD: 効率的なCLIP知識蒸留のための関係蒸留法
• Authors: Jeannie Chung, Hanna Jang, Ingyeong Yang, Uiwon Hwang, Jaehyeong Sim,
• Abstract要約: 本稿では,2つの新しい方法を紹介する知識蒸留フレームワークを提案する。 VRDとXRDは, 分散レベルにおける教師と学生の蒸留強度の一致を強制する。 多方向リレーショナル構造を共同でモデル化することにより、CLI-RDは生徒の埋め込み幾何学と教師の幾何学の忠実なアライメントを促進し、既存の手法を0.8%向上させる。
• 参考スコア（独自算出の注目度）: 3.6554065297669953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: CLIP aligns image and text embeddings via contrastive learning and demonstrates strong zero-shot generalization. Its large-scale architecture requires substantial computational and memory resources, motivating the distillation of its capabilities into lightweight student models. However, existing CLIP distillation methods do not explicitly model multi-directional relational dependencies between teacher and student embeddings, limiting the student's ability to preserve the structural relationships encoded by the teacher. To address this, we propose a relational knowledge distillation framework that introduces two novel methods, Vertical Relational Distillation (VRD) and Cross Relational Distillation (XRD). VRD enforces consistency of teacher-student distillation strength across modalities at the distribution level, while XRD imposes bidirectional symmetry on cross-modal teacher-student similarity distributions. By jointly modeling multi-directional relational structures, CLIP-RD promotes faithful alignment of the student embedding geometry with that of the teacher, outperforming existing methods by 0.8%p.
• Abstract（参考訳）: CLIPはコントラスト学習を通じて画像とテキストの埋め込みを調整し、強力なゼロショットの一般化を示す。 大規模なアーキテクチャは計算資源とメモリ資源を必要とし、その能力の軽量な学生モデルへの蒸留を動機付けている。 しかし、既存のCLIP蒸留法は、教師と生徒の埋め込みの多方向関係を明示的にモデル化していないため、教師が符号化した構造的関係を維持する能力は制限されている。 そこで本研究では,2つの新しい手法である垂直関係蒸留(VRD)とクロス関係蒸留(XRD)を提案する。 VRDは分布レベルでの教師-学生の蒸留強度の一貫性を保ち、XRDは教師-学生間の類似度分布に双方向対称性を課す。 CLIP-RDは、多方向関係構造を共同でモデル化することにより、生徒の埋め込み幾何学と教師の幾何学の忠実なアライメントを促進し、既存の手法を0.8%向上させる。

関連論文リスト

• Integrating Knowledge Distillation Methods: A Sequential Multi-Stage Framework [9.843982061024516]
  異種KD手法を逐次統合するフレキシブルフレームワークであるSMSKD(Sequential Multi Stage Knowledge Distillation)を提案する。 各段階において、学生は特定の蒸留法で訓練され、前の段階からの凍結参照モデルは、忘れることを学ぶための知識をアンカーする。
  論文  参考訳（メタデータ） (2026-01-22T05:13:12Z)
• Unified Knowledge Distillation Framework: Fine-Grained Alignment and Geometric Relationship Preservation for Deep Face Recognition [0.0]
  本稿では,2つの新しい損失関数,インスタンスレベル埋め込み蒸留と関係性に基づくペアワイド類似蒸留を統合した統一的なアプローチを提案する。 筆者らのフレームワークは,複数のベンチマーク顔認識データセットにおいて,最先端の蒸留法より優れている。
  論文  参考訳（メタデータ） (2025-08-15T10:20:29Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• CORSD: Class-Oriented Relational Self Distillation [16.11986532440837]
  知識蒸留は、いくつかの制限を保ちながら効果的なモデル圧縮方法を実行する。 制約に対処するために,クラス指向自己蒸留(CORSD)という新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-28T16:00:31Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Complementary Relation Contrastive Distillation [13.944372633594085]
  CRCD(Complementary Relation Contrastive Distillation)という新しい知識蒸留法を提案する。 我々は,アンカー-教師関係の監督の下で,アンカー-教師関係を推定し,アンカー-教師関係を蒸留する。 異なるベンチマーク実験により,提案したCRCDの有効性が示された。
  論文  参考訳（メタデータ） (2021-03-29T02:43:03Z)
• Wasserstein Contrastive Representation Distillation [114.24609306495456]
  We propose Wasserstein Contrastive Representation Distillation (WCoRD) which leverages both primal and dual form of Wasserstein distance for knowledge distillation。 二重形式はグローバルな知識伝達に使用され、教師と学生のネットワーク間の相互情報の低い境界を最大化する対照的な学習目標をもたらします。 実験では、提案されたWCoRD法が特権情報蒸留、モデル圧縮およびクロスモーダル転送における最先端のアプローチを上回ることを実証した。
  論文  参考訳（メタデータ） (2020-12-15T23:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。