論文の概要: Procedural Core: A Compact Recurrent Initialization for Vision Transformers

• arxiv url: http://arxiv.org/abs/2609.37631v1
• Date: Tue, 29 Sep 2026 14:03:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.598934
• Title: Procedural Core: A Compact Recurrent Initialization for Vision Transformers
• Title（参考訳）: プロシージャコア:視覚変換器の小型リカレント初期化
• Abstract要約: 我々は、手続きデータに基づいて最小限の繰り返し変換器を訓練し、その重みを拡張して任意の幅と深さの変換器を初期化する。 本分析は, モデル間で伝達されるコンパクトウェイトを学習するためには, 再発を必須とみなす。 これは、トランスフォーマーが空白のスレートから始める必要はなく、ドメインやタスク固有のデータなしで、低コストでジェネリックな機能を持つことを示している。
• 参考スコア（独自算出の注目度）: 37.669291159484935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers are typically trained from random initialization, requiring all their capabilities to emerge from large-scale optimization. Recent work showed that a small amount of abstract procedurally generated data can help acquire generic inductive structure at low cost. However, this adds a pretraining stage that must be repeated for every target model. We propose Procedural Core, an initialization strategy that captures this generic structure into a compact set of weights that can be reused across models. We train a minimal recurrent transformer on procedural data, then expand its weights to initialize transformers of arbitrary width and depth. The resulting initialization improves performance on image classification, self-supervised visual learning (DINO), and modeling natural language (FineWeb-Edu) and code (CodeParrot). For image classification, expanding a 1M-parameter core to initialize an 85M-parameter ViT-Base improves ImageNet top-1 accuracy by 2.2 pp over standard random initialization. Our analysis identifies recurrence as essential for learning compact weights that transfer across models. In ViTs, we localize a key benefit in the suppression of high-norm tokens that produces substantial improvements in zero-shot segmentation (ImageNet-S mAP 32.3 to 42.9), object localization (VOC07 CorLoc 9.9 to 18.4), and depth estimation (NYUv2 RMSE 1.104 to 0.998). This demonstrates that transformers need not start from a blank slate, and can be initialized with generic capabilities at low cost with no domain- or task-specific data.
• Abstract（参考訳）: トランスフォーマーは通常、ランダムな初期化からトレーニングされ、大規模な最適化からすべての能力を得る必要がある。 近年の研究では、少量の抽象的な手続き生成データにより、汎用的な帰納的構造を低コストで獲得できることが示されている。 しかし、これはすべてのターゲットモデルに対して繰り返しなければならない事前訓練ステージを追加する。 本稿では,この汎用構造をモデル間で再利用可能なコンパクトな重み集合にキャプチャする初期化戦略であるProcedural Coreを提案する。 我々は、手続きデータに基づいて最小限の繰り返し変換器を訓練し、その重みを拡張して任意の幅と深さの変換器を初期化する。 その結果、画像分類、自己教師付き視覚学習(DINO)、自然言語(FineWeb-Edu)とコード(CodeParrot)のモデリングの性能が向上した。 画像分類では、1Mパラメータコアを拡張して85MパラメータのViT-Baseを初期化すると、標準的なランダム初期化よりも2.2ppの精度でImageNet Top-1精度が向上する。 本分析は, モデル間で伝達されるコンパクトウェイトを学習するためには, 再発を必須とみなす。 ViTでは、ゼロショットセグメンテーション(ImageNet-S mAP 32.3 - 42.9)、オブジェクトローカライゼーション(VOC07 CorLoc 9.9 - 18.4)、深さ推定(NYUv2 RMSE 1.104 - 0.998)を大幅に改善するハイノームトークンの抑制における重要な利点をローカライズする。 これは、トランスフォーマーが空白のスレートから始める必要はなく、ドメインやタスク固有のデータなしで、低コストでジェネリック機能で初期化できることを示している。

関連論文リスト

• Conditioned Initialization for Attention [32.435722001652174]
  トランスフォーマーは現代の機械学習において支配的なアーキテクチャであり、視覚、言語などを越えてアプリケーションを動かす。 彼らの成功の核心はアテンション層であり、クエリ、キー、バリューマトリックスがトークンの依存関係をキャプチャする方法を決定する。 かなり多くの作業がTransformerのスケーリングと最適化に重点を置いているが、クエリやキー、値の重み付けにはほとんど注意が払われていない。
  論文  参考訳（メタデータ） (2026-09-07T06:17:58Z)
• POME: Post Optimization Model Edit via Muon-style Projection [74.73326657229347]
  POME(Post-Optimization Model Edit)は、微調整された大規模言語モデルの性能を向上させる。 デルタW$のミューオン式のプロジェクションを使い、微調整された重量と事前訓練された重量の違いを区別する。 単純な後処理ステップとして、POMEはトレーニングパイプラインから完全に分離される。
  論文  参考訳（メタデータ） (2025-10-08T04:20:11Z)
• SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation [53.675725490807615]
  SDPoseは小型変圧器モデルの性能向上のための新しい自己蒸留法である。 SDPose-Tは4.4Mパラメータと1.8 GFLOPを持つ69.7%のmAPを取得し、SDPose-S-V2はMSCOCO検証データセット上で73.5%のmAPを取得する。
  論文  参考訳（メタデータ） (2024-04-04T15:23:14Z)
• Composable Function-preserving Expansions for Transformer Architectures [2.579908688646812]
  最先端のニューラルネットワークのトレーニングには、計算と時間の面で高いコストが必要となる。 本稿では,変圧器ベースニューラルネットワークのサイズを漸進的に増加させるために,構成可能な6つの変換を提案する。
  論文  参考訳（メタデータ） (2023-08-11T12:27:22Z)
• ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers [70.76313507550684]
  本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。 具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。 結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
  論文  参考訳（メタデータ） (2022-08-28T04:18:27Z)
• Advancing Plain Vision Transformer Towards Remote Sensing Foundation Model [97.9548609175831]
  約1億のパラメータを持つプレーンビジョントランスフォーマーを利用して、リモートセンシングタスク用にカスタマイズされた大規模なビジョンモデルを提案する。 具体的には、RS画像における大きな画像サイズと様々な向きのオブジェクトを扱うために、回転する様々なウィンドウアテンションを提案する。 検出タスクの実験は、DOTA-V1.0データセット上で81.16%のmAPを達成したすべての最先端モデルよりも、我々のモデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-08T09:08:40Z)
• Sliced Recursive Transformer [23.899076070924153]
  視覚変換器における再帰操作は、追加パラメータを伴わずにパラメータ利用を改善することができる。 我々のモデル Sliced Recursive Transformer (SReT) は、効率的な視覚変換のための様々な設計と互換性がある。
  論文  参考訳（メタデータ） (2021-11-09T17:59:14Z)
• Primer: Searching for Efficient Transformers for Language Modeling [79.2677566332444]
  大型トランスフォーマーモデルのトレーニングと推論コストは急速に増加し、高価になっている。 ここでは、より効率的な変種を探すことにより、トランスフォーマーのコストを削減することを目的とする。 私たちは、オリジナルのTransformerよりもトレーニングコストの少ないPrimerというアーキテクチャを特定します。
  論文  参考訳（メタデータ） (2021-09-17T17:50:39Z)
• Aggregating Nested Transformers [42.96279765218623]
  重なり合わない画像ブロックに局所変換器をネストして階層的に集約するという考え方について検討する。 ブロック集約関数はブロック間非ローカル情報通信において重要な役割を果たす。 実験の結果,提案手法のNesTはより高速に収束し,優れた一般化を実現するためには,より少ないトレーニングデータを必要とすることがわかった。
  論文  参考訳（メタデータ） (2021-05-26T17:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。