論文の概要: Self-Supervised Weight Templates for Scalable Vision Model Initialization

• arxiv url: http://arxiv.org/abs/2601.19694v1
• Date: Tue, 27 Jan 2026 15:15:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.363304
• Title: Self-Supervised Weight Templates for Scalable Vision Model Initialization
• Title（参考訳）: スケーラブルビジョンモデル初期化のためのセルフスーパービジョンウェイトテンプレート
• Authors: Yucheng Xie, Fu Feng, Ruixiao Shi, Jing Wang, Yong Rui, Xin Geng,
• Abstract要約: SWEETは、視覚タスクのスケーラブルな初期化を可能にするために制約ベースの事前トレーニングを実行する、自己教師型フレームワークである。 そこで我々は,テンプレートを幅関係の次元に沿って規則化し,頑健な幅幅の表現を奨励するワイドワイドスケーリングを導入する。 SWEETの最先端性能を示すテキスト分類、テキスト分割、テキスト生成に関する実験。
• 参考スコア（独自算出の注目度）: 34.75805112986586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing scale and complexity of modern model parameters underscore the importance of pre-trained models. However, deployment often demands architectures of varying sizes, exposing limitations of conventional pre-training and fine-tuning. To address this, we propose SWEET, a self-supervised framework that performs constraint-based pre-training to enable scalable initialization in vision tasks. Instead of pre-training a fixed-size model, we learn a shared weight template and size-specific weight scalers under Tucker-based factorization, which promotes modularity and supports flexible adaptation to architectures with varying depths and widths. Target models are subsequently initialized by composing and reweighting the template through lightweight weight scalers, whose parameters can be efficiently learned from minimal training data. To further enhance flexibility in width expansion, we introduce width-wise stochastic scaling, which regularizes the template along width-related dimensions and encourages robust, width-invariant representations for improved cross-width generalization. Extensive experiments on \textsc{classification}, \textsc{detection}, \textsc{segmentation} and \textsc{generation} tasks demonstrate the state-of-the-art performance of SWEET for initializing variable-sized vision models.
• Abstract（参考訳）: 現代のモデルパラメータのスケールと複雑さの増大は、事前訓練されたモデルの重要性を浮き彫りにしている。 しかしながら、デプロイは、しばしば様々なサイズのアーキテクチャを必要とし、従来の事前トレーニングと微調整の制限を露呈する。 そこで本稿では,制約ベースの事前学習を行う自己教師型フレームワークであるSWEETを提案し,視覚タスクのスケーラブルな初期化を実現する。 固定サイズモデルを事前学習する代わりに,モジュラリティを促進し,深さや幅の異なるアーキテクチャへの柔軟な適応をサポートする,タッカーベースの因子化の下で,共有重みテンプレートとサイズ固有の重みスケーラを学習する。 その後、ターゲットモデルは、最小限のトレーニングデータから効率的に学習できる軽量なウェイトスケーラを通じてテンプレートを構成および再重み付けすることで初期化される。 幅拡大の柔軟性をさらに向上するために、幅ワイドな確率スケーリングを導入し、幅関連次元に沿ってテンプレートを規則化し、幅一般化を改善するために頑健で幅不変な表現を奨励する。 \textsc{classification}, \textsc{detection}, \textsc{segmentation} および \textsc{geneation} タスクに関する広範な実験は、可変サイズの視覚モデルの初期化のためのSWEETの最先端性能を示す。

関連論文リスト

• LimiX: Unleashing Structured-Data Modeling Capability for Generalist Intelligence [61.46575527504109]
  LimiX-16MとLimiX-2Mは、構造化されたデータを変数と欠落に対する共同分布として扱う。 サンプルサイズ,特徴次元,クラス数,カテゴリ間特徴比,欠落度,サンプル-特徴比の広い11種類の大規模構造化データベンチマークを対象としたLimiXモデルの評価を行った。
  論文  参考訳（メタデータ） (2025-09-03T17:39:08Z)
• Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [48.15777554876988]
  伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。 本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。 本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-26T08:53:02Z)
• Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
  ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• WAVE: Weight Templates for Adaptive Initialization of Variable-sized Models [37.97945436202779]
  WAVEは変数サイズのモデルを初期化するための新しいアプローチである。 WAVEでは、サイズ固有のウェイトスケーラとともに、共有サイズに依存しないウェイトテンプレートを採用している。 WAVEは様々な深さと幅のモデルの初期化において最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-06-25T12:43:33Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。