論文の概要: Self-Distillation of Hidden Layers for Self-Supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2603.15553v1
• Date: Mon, 16 Mar 2026 17:13:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.682728
• Title: Self-Distillation of Hidden Layers for Self-Supervised Representation Learning
• Title（参考訳）: 自己教師付き表現学習のための隠れ層の自己蒸留
• Authors: Scott C. Lowe, Anthony Fuller, Sageev Oore, Evan Shelhamer, Graham W. Taylor,
• Abstract要約: 本稿では,教師ネットワークの隠れレイヤから潜在表現を予測することによって,モデルのタスクによって分割をブリッジする手法であるBootlegを紹介する。 BootlegはImageNet-1KとiNaturalist-21の分類とADE20KとCityscapesのセマンティックセグメンテーションにおいて、同等のベースラインを著しく上回ります。
• 参考スコア（独自算出の注目度）: 18.042078225633045
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The landscape of self-supervised learning (SSL) is currently dominated by generative approaches (e.g., MAE) that reconstruct raw low-level data, and predictive approaches (e.g., I-JEPA) that predict high-level abstract embeddings. While generative methods provide strong grounding, they are computationally inefficient for high-redundancy modalities like imagery, and their training objective does not prioritize learning high-level, conceptual features. Conversely, predictive methods often suffer from training instability due to their reliance on the non-stationary targets of final-layer self-distillation. We introduce Bootleg, a method that bridges this divide by tasking the model with predicting latent representations from multiple hidden layers of a teacher network. This hierarchical objective forces the model to capture features at varying levels of abstraction simultaneously. We demonstrate that Bootleg significantly outperforms comparable baselines (+10% over I-JEPA) on classification of ImageNet-1K and iNaturalist-21, and semantic segmentation of ADE20K and Cityscapes.
• Abstract（参考訳）: 自己教師あり学習(SSL)の展望は、現在、生の低レベルデータを再構成する生成的アプローチ(例:MAE)と、高レベルの抽象的な埋め込みを予測する予測的アプローチ(例:I-JEPA)によって支配されている。 生成的手法は強力な基盤を提供するが、画像のような高輝度のモダリティに対しては計算的に非効率であり、その訓練目的は高レベルの概念的特徴の学習を優先しない。 逆に、予測手法は、最終層自己蒸留の非定常目標に依存しているため、しばしばトレーニング不安定に悩まされる。 本稿では,教師ネットワークの複数の隠蔽層から潜在表現を予測してモデルをタスクすることで,この分割をブリッジする手法であるBootlegを紹介する。 この階層的な目的は、モデルを同時にさまざまなレベルの抽象化で特徴をキャプチャさせます。 本稿では,ImageNet-1KとiNaturalist-21の分類,ADE20KとCityscapesのセマンティックセグメンテーションにおいて,Bootlegが同等のベースライン(I-JEPAの+10%以上)を著しく上回っていることを示す。

関連論文リスト

• TD-JEPA: Latent-predictive Representations for Zero-Shot Reinforcement Learning [63.73629127832652]
  本稿では,TDに基づく潜在予測表現を教師なしRLに活用するTD-JEPAを紹介する。 TD-JEPAは、明示的な状態とタスクエンコーダ、ポリシー条件付きマルチステップ予測器、パラメータ化されたポリシーのセットを潜時空間で直接訓練する。 実証的には、TD-JEPAは13のデータセットにわたる移動、ナビゲーション、操作のタスクにおいて、最先端のベースラインをマッチまたは上回る。
  論文  参考訳（メタデータ） (2025-10-01T10:21:18Z)
• Targeted Forgetting of Image Subgroups in CLIP Models [30.78624907082701]
  CLIPのようなファンデーションモデル(FM)は、様々なタスクで印象的なゼロショット性能を示している。 彼らはしばしば、ノイズの多いインターネットソースのデータセットから有害または望ましくない知識を継承する。 既存のモデルアンラーニングメソッドは、事前訓練されたデータセットへのアクセスに依存するか、あるいは粗い粒度のアンラーニングにフォーカスする。 過剰な鍛造を省きながら、対象とする知識を徐々に解き放つ新しい3段階アプローチを提案する。
  論文  参考訳（メタデータ） (2025-06-03T17:50:03Z)
• Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
  本稿では,先行クラスと新たに登場したクラスプロトタイプ間の効果的な表現を学習する手法を提案する。 クラス間距離を減少させ,クラス間距離を増大させることにより,新しいクラスを潜在表現に組み込むコントラスト的損失を導入する。
  論文  参考訳（メタデータ） (2024-05-17T19:49:02Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• Unifying Self-Supervised Clustering and Energy-Based Models [9.3176264568834]
  自己教師付き学習と生成モデルとの間には,原則的な関連性を確立する。 シンボル接地問題の単純かつ非自明なインスタンス化に対処するために,我々の解法をニューロシンボリックな枠組みに統合できることが示される。
  論文  参考訳（メタデータ） (2023-12-30T04:46:16Z)
• Read Between the Layers: Leveraging Multi-Layer Representations for Rehearsal-Free Continual Learning with Pre-Trained Models [15.847302755988506]
  本研究では,非定常分布から連続的なタスク列を学習しなければならない連続学習問題に対処する。 プレトレーニングネットワークの複数の中間層からの2次特徴統計量を利用する,CL に対する新しいプロトタイプベースのアプローチである LayUP を提案する。 その結果、CLにおける事前学習モデルの表現能力を完全に消耗させることは、最終的な埋め込みをはるかに超えることを示した。
  論文  参考訳（メタデータ） (2023-12-13T13:11:44Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。