論文の概要: You Don't Need Aligned Representations: Knowledge Distillation via Random Prototype Spaces

• arxiv url: http://arxiv.org/abs/2610.37937v1
• Date: Tue, 27 Oct 2026 20:27:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.330134
• Title: You Don't Need Aligned Representations: Knowledge Distillation via Random Prototype Spaces
• Title（参考訳）: 適応表現は不要:ランダムなプロトタイプ空間による知識蒸留
• Abstract要約: 知識蒸留における広く信じられている前提は、教師と学生の表現が互換性のある、あるいは明確に整合した特徴空間を占有しなければならないということである。 本稿では,ランダムに凍結されたプロトタイプベクトルの共有バンクと比較することにより,この仮定を破棄するRPKDを提案する。 実験ではRPKDの有効性が示され、CIFAR-100ではOFAに対して+7.98%、ImageNet-100では+12.44%、ImageNet-1Kでは+1.28%となった。
• 参考スコア（独自算出の注目度）: 7.090165638014333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A widely held assumption in knowledge distillation is that teacher and student representations must occupy a compatible or explicitly aligned feature space. We propose RPKD (Random Prototype Knowledge Distillation), which discards this assumption by comparing both networks against a shared bank of randomly initialized, frozen prototype vectors. Alignment is therefore carried out in an external reference space rather than in the teacher's native feature coordinates: the teacher side is projected by fixed random maps that carry no trainable parameters, and only the student adapts. Two branches handle the transfer: a logit branch aligning global prototype similarity distributions and a feature branch matching spatially-resolved prototype activation maps. Both operate within the same fixed prototype space, which can be interpreted as a random feature embedding that approximately preserves inter-sample similarity structure, so the prototype bank and the distillation objective stay unchanged across teacher-student pairs while only the input projections are instantiated per architecture. In low-category settings, decoupling the prototype vocabulary from the task label space yields richer supervision than the label space alone, an advantage absent from logit-based methods, whose supervisory signal collapses as class count shrinks. This advantage is especially relevant in real-world scenarios where the label space is typically constrained. Extensive experiments demonstrate the effectiveness of RPKD, achieving a maximum gain of +7.98% over OFA on CIFAR-100, +12.44% on ImageNet-100, and +1.28% on ImageNet-1K. Source code is available at https://github.com/HamzaEtcibasi/RPKD
• Abstract（参考訳）: 知識蒸留における広く信じられている前提は、教師と学生の表現が互換性のある、あるいは明確に整合した特徴空間を占有しなければならないということである。 本稿では、ランダムに初期化して凍結したプロトタイプベクトルの共有バンクと比較することにより、この仮定を破棄するRPKD(Random Prototype Knowledge Distillation)を提案する。 教師側はトレーニング可能なパラメータを持たない固定されたランダムマップによって投影され、学生のみが適応する。 グローバルなプロトタイプ類似性分布を整列するロジットブランチと、空間的に解決されたプロトタイプアクティベーションマップに一致する特徴ブランチである。 どちらも同じ固定されたプロトタイプ空間内で動作し、これはサンプル間の類似構造を概ね保存するランダムな特徴埋め込みと解釈できるため、プロトタイプバンクと蒸留目標は教師と学生のペア間で変化せず、入力プロジェクションのみがアーキテクチャ毎にインスタンス化される。 低カテゴリ設定では、プロトタイプ語彙をタスクラベル空間から切り離すと、ラベル空間のみよりもリッチな監督が得られる。 この利点は、ラベル空間が典型的に制約された実世界のシナリオに特に関係している。 CIFAR-100ではOFAに対して+7.98%、ImageNet-100では+12.44%、ImageNet-1Kでは+1.28%、RPKDの有効性が実証された。 ソースコードはhttps://github.com/HamzaEtcibasi/RPKDで入手できる。

関連論文リスト

• How Do Linear Probes Emerge? A Circuit-Tracing Framework with Concept-Targeted Attribution [49.01642339390897]
  CTA(Concept-Targeted Attribution)は、線形プローブ方向に関する属性グラフを訓練する。 CTAは、なぜ内部概念表現がプロンプトに現れるのかを説明するプローブ固有の回路を生成する。
  論文  参考訳（メタデータ） (2026-08-27T08:12:49Z)
• FROST: Training-Free Few-Shot Segmentation with Frozen Features and Nonparametric Statistics [0.751390599566847]
  短いショットセグメンテーションでは、クエリイメージのターゲットクラスを、注釈付き例のほんの一握りの例から記述するよう、モデルに求めている。 凍結したDINOv3特徴の単位球面上の2点の雲として、基準フォアグラウンドと背景を扱い、トレーニング不要な小ショットセグメンタであるFROSTを紹介する。
  論文  参考訳（メタデータ） (2026-06-30T05:06:06Z)
• Robust Scene Coordinate Regression via Geometrically-Consistent Global Descriptors [52.57327385675752]
  幾何学的構造と視覚的類似性の両方に整合したグローバルな記述子を学習するアグリゲータモジュールを提案する。 これにより、信頼できないオーバーラップスコアによる誤関連が修正される。 挑戦的なベンチマークの実験では、大規模環境ではかなりのローカライゼーションが得られた。
  論文  参考訳（メタデータ） (2025-12-19T04:24:03Z)
• Subspace Prototype Guidance for Mitigating Class Imbalance in Point Cloud Semantic Segmentation [23.250178208474928]
  本稿では,サブスペースのプロトタイプガイダンス(textbfSPG)を用いて,セグメンテーションネットワークのトレーニングを指導する手法を提案する。 提案手法はセグメンテーション性能を大幅に向上し,最先端の手法を超越する。
  論文  参考訳（メタデータ） (2024-08-20T04:31:46Z)
• Hyperspherical Classification with Dynamic Label-to-Prototype Assignment [5.978350039412277]
  トレーニング中に各プロトタイプに割り当てられたカテゴリを最適化する,シンプルで効果的な手法を提案する。 この最適化は、勾配降下とバイパルチドマッチングの逐次組み合わせを用いて解決する。 CIFAR-100では1.22%の精度で、ImageNet-200では2.15%の精度で競合他社よりも優れています。
  論文  参考訳（メタデータ） (2024-03-25T17:01:34Z)
• Unicom: Universal and Compact Representation Learning for Image Retrieval [65.96296089560421]
  大規模LAION400Mを,CLIPモデルにより抽出された共同テキストと視覚的特徴に基づいて,100万の擬似クラスにクラスタリングする。 このような矛盾を緩和するために、我々は、マージンベースのソフトマックス損失を構築するために、ランダムにクラス間の部分的なプロトタイプを選択する。 提案手法は,複数のベンチマークにおいて,教師なし,教師なしの画像検索手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-12T14:25:52Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Confident Sinkhorn Allocation for Pseudo-Labeling [40.883130133661304]
  半教師付き学習は、ラベル付きデータへの機械学習の依存を減らす重要なツールである。 本稿では,疑似ラベル作成における不確実性の役割を理論的に研究し,CSA(Confident Sinkhorn Allocation)を提案する。 CSAは、信頼度の高いサンプルのみへの最適な輸送を通して、最高の擬似ラベル割り当てを特定する。
  論文  参考訳（メタデータ） (2022-06-13T02:16:26Z)
• Network Embedding with Completely-imbalanced Labels [43.30909670849943]
  本稿では,2つの新しい半教師付きネットワーク埋め込み手法を提案する。 1つはRSDNEという名前の浅いメソッドで、もう1つは新しいグラフニューラルネットワークのクラスであるRECTである。 いくつかの実世界のデータセットに対する実験結果は,提案手法の優位性を示している。
  論文  参考訳（メタデータ） (2020-07-07T15:22:54Z)
• LFD-ProtoNet: Prototypical Network Based on Local Fisher Discriminant Analysis for Few-shot Learning [98.64231310584614]
  Prototypeal Network (ProtoNet) は、各クラスのプロトタイプ表現までの距離を用いてメートル法学習と分類を行う、数発の学習フレームワークである。 提案手法の有用性は,理論上は予測されるリスクバウンドを提供し,MiniImageNetとタイレッドImageNetに優れた分類精度を実証的に示すことによって示される。
  論文  参考訳（メタデータ） (2020-06-15T11:56:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。