論文の概要: Randomly Initialized Networks Can Learn from Peer-to-Peer Consensus

• arxiv url: http://arxiv.org/abs/2604.18390v1
• Date: Mon, 20 Apr 2026 15:13:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.963292
• Title: Randomly Initialized Networks Can Learn from Peer-to-Peer Consensus
• Title（参考訳）: ピアツーピア合意からランダムに初期化されたネットワークを学習できる
• Authors: Esteban Rodríguez-Betancourt, Edgar Casasola-Murillo,
• Abstract要約: 自己教師付き学習では、下流タスクに有用な優れたパフォーマンスと学習表現が自己蒸留法で示されている。 本研究では,学習力学における自己蒸留の役割について,ランダムなネットワーク群を訓練することによって検討する。 この最小限のセットアップであっても、下流タスクにおけるランダムなベースラインよりも、非自明な改善を伴う学習表現につながる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In self-supervised learning, self-distilled methods have shown impressive performance, learning representations useful for downstream tasks and even displaying emergent properties. However, state-of-the-art methods usually rely on ensembles of complex mechanisms, with many design choices that are empirically motivated and not well understood. In this work, we explore the role of self-distillation within learning dynamics. Specifically, we isolate the effect of self-distillation by training a group of randomly initialized networks, removing all other common components such as projectors, predictors, and even pretext tasks. Our findings show that even this minimal setup can lead to learned representations with non-trivial improvements over a random baseline on downstream tasks. We also demonstrate how this effect varies with different hyperparameters and present a short analysis of what is being learned by the models under this setup.
• Abstract（参考訳）: 自己教師付き学習では、自己蒸留法は優れた性能を示し、下流のタスクに有用な学習表現を示し、創発的特性も示している。 しかし、最先端の手法は通常複雑なメカニズムのアンサンブルに依存しており、多くの設計選択は経験的に動機付けられ、よく理解されていない。 本研究では,学習力学における自己蒸留の役割について考察する。 具体的には、ランダムに初期化されたネットワークのグループを訓練し、プロジェクタ、予測器、さらにはプレテキストタスクなど、他の一般的なコンポーネントをすべて除去することで、自己蒸留の効果を分離する。 この最小限のセットアップであっても、下流タスクにおけるランダムなベースラインよりも、非自明な改善を伴う学習表現につながる可能性が示唆された。 また、この効果は、異なるハイパーパラメータによってどのように変化するかを示し、この設定の下でモデルによって何が学ばれているのかを簡潔に分析する。

関連論文リスト

• Shortcut Learning Susceptibility in Vision Classifiers [11.599035626374409]
  ショートカット学習は、機械学習モデルが意味のある特徴をキャプチャする代わりに、データの急激な相関を利用する場所である。 本研究では,クラスラベルと位置と強度の相関関係にあるデータセットに意図的にショートカットを導入する。 異なる学習率で学習をショートカットする可能性を評価する。
  論文  参考訳（メタデータ） (2025-02-13T10:25:52Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• Self-Supervised Visual Representation Learning Using Lightweight Architectures [0.0]
  自己教師付き学習では、マシンによってアノテーションが生成されるデータセットを使用して、プレテキストタスクを解決するためにモデルが訓練される。 我々は、画像データから特徴を抽出する最も顕著な前文タスクを批判的に検討する。 我々は、他の全てのパラメータを均一に保ちながら、様々な自己監督技術の性能について研究する。
  論文  参考訳（メタデータ） (2021-10-21T14:13:10Z)
• Distill on the Go: Online knowledge distillation in self-supervised learning [1.1470070927586016]
  最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。 単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。 以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
  論文  参考訳（メタデータ） (2021-04-20T09:59:23Z)
• Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning [93.18238573921629]
  本研究では,学習モデルのアンサンブルがテスト精度を向上させる方法と,アンサンブルの優れた性能を単一モデルに蒸留する方法について検討する。 深層学習におけるアンサンブル/知識蒸留は,従来の学習理論とは大きく異なる。 また, 自己蒸留は, アンサンブルと知識蒸留を暗黙的に組み合わせて, 試験精度を向上させることができることを示した。
  論文  参考訳（メタデータ） (2020-12-17T18:34:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。