論文の概要: Simplifying DINO via Coding Rate Regularization

• arxiv url: http://arxiv.org/abs/2502.10385v1
• Date: Fri, 14 Feb 2025 18:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 19:47:35.844405
• Title: Simplifying DINO via Coding Rate Regularization
• Title（参考訳）: 符号化速度規則化によるDINOの簡易化
• Abstract要約: DINOとDINOv2は、大規模にラベル付けされていない画像データから表現を学ぶために広く使われている2つのモデルファミリーである。 この研究は、設計原則をシンプルにすることで、ディープラーニングの実証的な実践を改善する可能性を強調します。
• 参考スコア（独自算出の注目度）: 74.88963795406733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: DINO and DINOv2 are two model families being widely used to learn representations from unlabeled imagery data at large scales. Their learned representations often enable state-of-the-art performance for downstream tasks, such as image classification and segmentation. However, they employ many empirically motivated design choices and their training pipelines are highly complex and unstable -- many hyperparameters need to be carefully tuned to ensure that the representations do not collapse -- which poses considerable difficulty to improving them or adapting them to new domains. In this work, we posit that we can remove most such-motivated idiosyncrasies in the pre-training pipelines, and only need to add an explicit coding rate term in the loss function to avoid collapse of the representations. As a result, we obtain highly simplified variants of the DINO and DINOv2 which we call SimDINO and SimDINOv2, respectively. Remarkably, these simplified models are more robust to different design choices, such as network architecture and hyperparameters, and they learn even higher-quality representations, measured by performance on downstream tasks, offering a Pareto improvement over the corresponding DINO and DINOv2 models. This work highlights the potential of using simplifying design principles to improve the empirical practice of deep learning.
• Abstract（参考訳）: DINOとDINOv2は、大規模にラベル付けされていない画像データから表現を学ぶために広く使われている2つのモデルファミリーである。 彼らの学習した表現は、しばしば、画像分類やセグメンテーションのような下流タスクの最先端のパフォーマンスを可能にする。 しかし、多くの経験的なモチベーションのある設計選択を採用しており、そのトレーニングパイプラインは非常に複雑で不安定である。多くのハイパーパラメータは、表現が崩壊しないように注意深く調整する必要がある。 本研究では、事前学習パイプラインにおいて、このようなモチベーションを持ったイディオシクスを除去できると仮定し、表現の崩壊を避けるために、損失関数に明示的な符号化率項を追加する必要があると仮定する。 その結果、DINOとDINOv2の高度に単純化された変種が得られ、SimDINOとSimDINOv2と呼ぶ。 注目すべきは、これらの単純化されたモデルは、ネットワークアーキテクチャやハイパーパラメータなどの異なる設計選択に対してより堅牢であり、ダウンストリームタスクのパフォーマンスによって測定される高品質な表現を学習し、対応するDINOとDINOv2モデルに対してパレートの改善を提供することである。 この研究は、設計原則をシンプルにすることで、ディープラーニングの実証的な実践を改善する可能性を強調します。

関連論文リスト

• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• MEPA: Multi-Scale Representation Alignment for Visual Autoregressive Modeling with Mixture of Experts [41.67455261906954]
  我々は、スケール適応型エキスパート選択を可能にする、スケール対応のトークン制御型Mixture of Experts (MoE)アーキテクチャを導入する。 ナイーブアライメントとは異なり、私たちはVisual AutoRegressiveのモデリングパラダイムに合わせて、残像アグリゲーションスキームを分析、設計します。 提案モデルでは,ImageNet 256*256ベンチマークの高密度ベースラインに比べてFIDが優れている。
  論文  参考訳（メタデータ） (2026-07-01T03:11:21Z)
• Interpretability Without Tradeoffs: Disentangling Polysemanticity At Equal Predictive Performance [58.49623467782041]
  ELUDeはディープニューラルネットワークの解釈可能性を改善する方法である。 潜在表現を、解釈可能な機能のように振る舞う透明で検査可能なサブユニットに分解する。 明示的なトレーニングもラベルも必要とせず、事前訓練されたモデルにも適用できる。
  論文  参考訳（メタデータ） (2026-05-29T13:39:09Z)
• KVNN: Learnable Multi-Kernel Volterra Neural Networks [6.550684951976901]
  カーネル化されたVolterra Neural Network (kVNN) ビデオ行動認識と画像認知の2つの代表的なタスクに関する実験。 大規模な事前トレーニングを行わずに、スクラッチからトレーニングした場合でも、結果は維持される。
  論文  参考訳（メタデータ） (2026-04-16T15:18:48Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Code Representation Learning At Scale [75.04686476303436]
  2段階の事前学習スキームを用いて,大量のコードデータを用いてコード表現学習を行う。 まず、マスキング言語モデリングにおけるランダム性と、プログラミング言語の構造的側面の両方を活用して、エンコーダを訓練する。 そして、教師なしの方法で強陰性かつ強正に構築された対照的な学習を通して表現を強化する。
  論文  参考訳（メタデータ） (2024-02-02T22:19:15Z)
• Improving Long-Horizon Imitation Through Instruction Prediction [93.47416552953075]
  本研究では、しばしば使われない補助的監督源である言語の使用について検討する。 近年のトランスフォーマーモデルの発展にインスパイアされたエージェントは,高レベルの抽象化で動作する時間拡張表現の学習を促す命令予測損失を持つエージェントを訓練する。 さらなる分析では、複雑な推論を必要とするタスクにおいて、命令モデリングが最も重要であり、単純な計画を必要とする環境において、より小さなゲインを提供する。
  論文  参考訳（メタデータ） (2023-06-21T20:47:23Z)
• Improving the Robustness of Neural Multiplication Units with Reversible Stochasticity [2.4278445972594525]
  多層パーセプトロンは、ある種の単純な算術的なタスクを学ぶのに苦労する。 特殊神経NMU(sNMU)は可逆性を適用するために提案され、そのようなオプティマの回避を奨励する。
  論文  参考訳（メタデータ） (2022-11-10T14:56:37Z)
• Randomized Histogram Matching: A Simple Augmentation for Unsupervised Domain Adaptation in Overhead Imagery [3.187381965457262]
  ランダム化ヒストグラムマッチング(RHM)と呼ばれる高速リアルタイム非教師付きトレーニング増強手法を提案する。 RHMは、最先端の教師なしドメイン適応アプローチと比較して、一貫して類似または優れた性能が得られる。 RHMはまた、オーバーヘッド画像に広く使われている他の可分に単純なアプローチよりも大幅に優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2021-04-28T21:59:54Z)
• Dissecting Supervised Constrastive Learning [24.984074794337157]
  高容量エンコーダで構成された線形マップのソフトマックススコアよりもクロスエントロピーを最小化することは、教師付き学習タスクでニューラルネットワークを訓練するための最も一般的な選択肢である。 コントラスト目的の教師付き変種を通して等しく(あるいはそれ以上)識別表現を得るために、エンコーダを直接最適化することができることを示す。
  論文  参考訳（メタデータ） (2021-02-17T15:22:38Z)
• Style Normalization and Restitution for DomainGeneralization and Adaptation [88.86865069583149]
  効果的なドメイン一般化モデルは、一般化および判別可能な特徴表現を学習することが期待される。 本稿では,ネットワークの高一般化と識別能力を確保するために,新しいスタイル正規化・再構成モジュール(SNR)を設計する。
  論文  参考訳（メタデータ） (2021-01-03T09:01:39Z)
• Recurrent Multi-view Alignment Network for Unsupervised Surface Registration [79.72086524370819]
  非厳格な登録をエンドツーエンドで学習することは、本質的に高い自由度とラベル付きトレーニングデータの欠如により困難である。 我々は、いくつかの剛性変換のポイントワイドな組み合わせで、非剛性変換を表現することを提案する。 また,投影された多視点2次元深度画像上での3次元形状の類似度を計測する可微分損失関数も導入する。
  論文  参考訳（メタデータ） (2020-11-24T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。