論文の概要: iCD: A Implicit Clustering Distillation Mathod for Structural Information Mining

• arxiv url: http://arxiv.org/abs/2509.12553v1
• Date: Tue, 16 Sep 2025 01:16:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.83011
• Title: iCD: A Implicit Clustering Distillation Mathod for Structural Information Mining
• Title（参考訳）: iCD: 構造情報マイニングのための暗黙のクラスタリング蒸留マソード
• Authors: Xiang Xue, Yatu Ji, Qing-dao-er-ji Ren, Bao Shi, Min Lu, Nier Wu, Xufei Zhuang, Haiteng Xu, Gan-qi-qi-ge Cha,
• Abstract要約: 暗黙的クラスタリング蒸留(iCD)は、論理から解釈可能な構造知識を抽出し、転送する単純で効果的な方法である。 ベンチマークデータセットの実験は、多様な教師/学生アーキテクチャにおけるiCDの有効性を示す。
• 参考スコア（独自算出の注目度）: 1.3573542141741506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Logit Knowledge Distillation has gained substantial research interest in recent years due to its simplicity and lack of requirement for intermediate feature alignment; however, it suffers from limited interpretability in its decision-making process. To address this, we propose implicit Clustering Distillation (iCD): a simple and effective method that mines and transfers interpretable structural knowledge from logits, without requiring ground-truth labels or feature-space alignment. iCD leverages Gram matrices over decoupled local logit representations to enable student models to learn latent semantic structural patterns. Extensive experiments on benchmark datasets demonstrate the effectiveness of iCD across diverse teacher-student architectures, with particularly strong performance in fine-grained classification tasks -- achieving a peak improvement of +5.08% over the baseline. The code is available at: https://github.com/maomaochongaa/iCD.
• Abstract（参考訳）: ログ知識蒸留(Logit Knowledge Distillation)は、その単純さと中間的な特徴調整の要件の欠如により、近年、かなりの研究関心を集めているが、意思決定プロセスにおける限定的な解釈可能性に悩まされている。 これを解決するために,暗黙的クラスタリング蒸留法 (iCD) を提案する。 iCDは、分離した局所ロジット表現よりもグラム行列を活用し、学生モデルが潜在意味構造パターンを学習できるようにする。 ベンチマークデータセットに関する大規模な実験は、様々な教師が学習するアーキテクチャにおけるiCDの有効性を示し、特にきめ細かい分類タスクでは高い性能を示し、ベースラインよりも+5.08%のピーク改善を実現している。 コードは、https://github.com/maomaochongaa/iCDで入手できる。

関連論文リスト

• SRKD: Towards Efficient 3D Point Cloud Segmentation via Structure- and Relation-aware Knowledge Distillation [25.38025028623991]
  3Dポイントクラウドセグメンテーションは、大規模トランスフォーマーベースのモデルの計算複雑性とデプロイメント制限のため、現実的な課題に直面している。 SRKDと呼ばれる新しい構造と関係を意識した知識蒸留フレームワークを提案する。このフレームワークは、リッチな幾何学的および意味的な知識を、大きな凍結教師モデルから軽量の学生モデルに伝達する。 提案手法は,実世界の展開シナリオにおいて,モデル複雑性を大幅に低減し,その有効性と効率を実証する。
  論文  参考訳（メタデータ） (2025-06-16T07:32:58Z)
• Attention-guided Feature Distillation for Semantic Segmentation [8.344263189293578]
  本稿では,改良された特徴写像を用いて注目を伝達するための簡易かつ強力な手法の有効性を示す。 CBAM(Convolutional Block Attention Module)を用いたAttnFD(AttnFD)法の提案 これはPascalVoc 2012、Cityscapes、COCO、CamVidデータセット上の学生ネットワークの平均的相互接続(mIoU)を改善するという観点から、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-03-08T16:57:47Z)
• Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport [46.91791643660991]
  マルチモーダル表現認識のための深層学習モデルは, 制御された実験室環境において顕著な性能を示した。 これらのモデルは、トレーニングに使用されるモダリティの可用性と品質のために、荒野で苦労する。 実際には、テスト時に利用できるのはトレーニング時モダリティのサブセットのみである。 特権情報による学習により、モデルはトレーニング中にのみ利用できる追加のモダリティからデータを利用することができる。
  論文  参考訳（メタデータ） (2024-01-27T19:44:15Z)
• Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning [47.64252639582435]
  半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。 半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
  論文  参考訳（メタデータ） (2023-12-27T04:40:12Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• Learning from Mistakes: Self-Regularizing Hierarchical Representations in Point Cloud Semantic Segmentation [15.353256018248103]
  LiDARセマンティックセマンティックセマンティクスは、きめ細かいシーン理解を実現するために注目を集めている。 本稿では、標準モデルから派生した分類ミスタケス(LEAK)からLEArnを分離する粗大な設定を提案する。 我々のLEAKアプローチは非常に一般的で、どんなセグメンテーションアーキテクチャにもシームレスに適用できます。
  論文  参考訳（メタデータ） (2023-01-26T14:52:30Z)
• Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
  本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。 問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。 我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
  論文  参考訳（メタデータ） (2022-05-13T15:15:27Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。