論文の概要: Position: Weight Space Should Be a First-Class Generative AI Modality

• arxiv url: http://arxiv.org/abs/2605.18632v1
• Date: Mon, 18 May 2026 16:38:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:50.096083
• Title: Position: Weight Space Should Be a First-Class Generative AI Modality
• Title（参考訳）: 軽量空間は第1級世代AIのモダリティになるべき
• Authors: Zhangyang Wang, Peihao Wang, Kai Wang,
• Abstract要約: 本稿では、モデルチェックポイントを第一級データモダリティとして扱うべきであると論じる。 重み空間における生成的モデリングは、コア機械学習プリミティブとして標準化されるべきである、と論じている。 私たちのゴールは、コミュニティの既定の考え方を、タスクごとのモデルの最適化から、学習した重量分布からモデルのサンプリングにシフトさせることです。
• 参考スコア（独自算出の注目度）: 67.10702320971893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network checkpoints have quietly become a large-scale data resource: millions of trained weight vectors now exist, each encoding task-, domain-, and architecture-specific knowledge. This position paper argues that model checkpoints should be treated as a first-class data modality, and that generative modeling in weight space should be standardized as a core machine learning primitive. Recent advances demonstrate that neural weights can be synthesized on demand, often matching fine-tuning performance while reducing adaptation cost by orders of magnitude. We contend that these results reflect an underlying structural fact: high-performing models occupy low-dimensional, highly structured regions of weight space shaped by symmetry, flatness, modularity, and shared subspaces. Building on this view, we organize existing methods into a five-stage pipeline, survey applications where the approach is already practical, and clarify current limits: adapter-scale and conditional generation are advancing rapidly, while unrestricted frontier-scale checkpoint synthesis remains open. Our goal is to shift the community's default mindset from optimizing models per task to sampling models from learned weight distributions, accelerating toward an era in which AI systems routinely improve or create other AI systems.
• Abstract（参考訳）: 数百万のトレーニングされた重みベクトルが存在し、それぞれがタスク、ドメイン、アーキテクチャ固有の知識を符号化している。 本稿では、モデルチェックポイントは第一級のデータモダリティとして扱うべきであり、重み空間における生成的モデリングは、コア機械学習プリミティブとして標準化されるべきである、と論じる。 近年の進歩は、ニューラルウェイトを需要に応じて合成できることを示し、しばしば微調整性能に適合し、桁違いの調整コストを低減できる。 ハイパフォーミングモデルは、対称性、平坦性、モジュラリティ、共有部分空間によって形成される重み空間の低次元、高度に構造化された領域を占有する。 この観点から、我々は既存の手法を5段階のパイプラインに整理し、アプローチがすでに実践されているアプリケーションを調査し、現在の限界を明確にする:アダプタスケールと条件生成は急速に進歩しており、制限なしフロンティアスケールのチェックポイント合成は依然としてオープンである。 私たちのゴールは、コミュニティのデフォルトの考え方を、タスクごとのモデル最適化から、学習した重量分布からモデルをサンプリングすること、AIシステムが日常的に改善または他のAIシステムを作成する時代へとシフトさせることです。

関連論文リスト

• One-for-All Model Initialization with Frequency-Domain Knowledge [33.90471312176688]
  FRONT(FRequency dOmain kNowledge Transfer)は、Cosine Transform(DCT)を用いて低周波の"Lerngene"を単離する新しいフレームワークである。 FRONTは最先端のパフォーマンスを達成し、視覚タスクの収束を最大15倍加速し、FLOPのトレーニングを平均40.5%削減する。
  論文  参考訳（メタデータ） (2026-03-08T08:25:49Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• Towards Efficient General Feature Prediction in Masked Skeleton Modeling [59.46799426434277]
  マスクスケルトンモデリングのための新しい汎用特徴予測フレームワーク(GFP)を提案する。 我々の重要な革新は、局所的な動きパターンからグローバルな意味表現にまたがる、従来の低レベルな再構築を高レベルな特徴予測に置き換えることです。
  論文  参考訳（メタデータ） (2025-09-03T18:05:02Z)
• Learning Physical Systems: Symplectification via Gauge Fixing in Dirac Structures [8.633430288397376]
  本稿では,プレシンプレクティフィケーション・ネットワーク(PSN)について紹介する。 我々のアーキテクチャは、繰り返しエンコーダとフローマッチングの目的を組み合わせることで、エンド・ツー・エンドの位相空間力学を学習する。 次に、エネルギー、運動量、制約満足度を保ちながら、制約された軌道の予測に軽量なシンプレクティックネットワーク(SympNet)を付加する。
  論文  参考訳（メタデータ） (2025-06-23T16:23:37Z)
• Weight-Space Linear Recurrent Neural Networks [2.77067514910801]
  WARP (Weight-space Adaptive Recurrent Prediction) は、重み空間学習を線形反復で統一する強力なモデルである。 WARPは、様々な分類タスクにおいて最先端のベースラインと一致しているか、あるいは超越しているかを示す。 注目すべきは、我々のモデルの物理インフォームド変種は、次の最良のモデルよりも10倍以上優れています。
  論文  参考訳（メタデータ） (2025-06-01T20:13:28Z)
• OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
  学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。 最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
  論文  参考訳（メタデータ） (2024-09-14T07:44:22Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Computation on Sparse Neural Networks: an Inspiration for Future Hardware [20.131626638342706]
  スパースニューラルネットワークの計算に関する研究の現状について述べる。 本稿では,重みパラメータの数とモデル構造に影響されるモデルの精度について論じる。 実際に複雑な問題に対して、重みが支配する領域において、大小のモデルを探索することはより有益であることを示す。
  論文  参考訳（メタデータ） (2020-04-24T19:13:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。