論文の概要: Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights

• arxiv url: http://arxiv.org/abs/2603.12228v1
• Date: Thu, 12 Mar 2026 17:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:26.267648
• Title: Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights
• Title（参考訳）: ニューラルネットワーク: さまざまなタスクエキスパートが事前訓練された体重の周りにいる
• Authors: Yulu Gan, Phillip Isola,
• Abstract要約: この分布の体積の負の分数を占めるような専門家解の小さなモデルで示している。 パラメータ摂動をランダムにサンプリングし、上位の$K$を選択し、多数決で予測をアンサンブルする、単純で完全に並列なポストトレーニング手法を探索する。
• 参考スコア（独自算出の注目度）: 32.68928697721277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretraining produces a learned parameter vector that is typically treated as a starting point for further iterative adaptation. In this work, we instead view the outcome of pretraining as a distribution over parameter vectors, whose support already contains task-specific experts. We show that in small models such expert solutions occupy a negligible fraction of the volume of this distribution, making their discovery reliant on structured optimization methods such as gradient descent. In contrast, in large, well-pretrained models the density of task-experts increases dramatically, so that diverse, task-improving specialists populate a substantial fraction of the neighborhood around the pretrained weights. Motivated by this perspective, we explore a simple, fully parallel post-training method that samples $N$ parameter perturbations at random, selects the top $K$, and ensembles predictions via majority vote. Despite its simplicity, this approach is competitive with standard post-training methods such as PPO, GRPO, and ES for contemporary large-scale models.
• Abstract（参考訳）: 事前訓練は学習されたパラメータベクトルを生成し、通常は更なる反復的適応の出発点として扱われる。 本研究では,タスク固有の専門家がすでにサポートしているパラメータベクトルの分布として,事前学習の結果を考察する。 この分布の体積の無視できる分数を占め、勾配降下のような構造的最適化手法に依拠していることが、そのような専門家解の小さなモデルで示される。 対照的に、大規模でよく訓練されたモデルでは、タスクエキスパートの密度が劇的に増加し、多種多様なタスク改善の専門家が事前訓練された重量の周囲のかなりの部分を占める。 この観点から、N$パラメータ摂動をランダムにサンプリングし、上位の$K$を選択し、多数決で予測をアンサンブルする、単純で完全に並列なポストトレーニング手法を探索する。 その単純さにもかかわらず、このアプローチは現代の大規模モデルに対して、PPO、GRPO、ESといった標準的なポストトレーニング手法と競合する。

関連論文リスト

• Fisher meets Feynman: score-based variational inference with a product of experts [28.07579363570697]
  ブラックボックス変分推論(BBVI)のための高表現性で明確に抽出可能なファミリーを導入する。 この家族の各メンバーは、専門家(PoE)の重み付けされた製品である。 補助ディリクレ確率変数を持つ潜在変数モデルとして、これらの専門家の積を再構成することで、これをどのように行うかを示す。
  論文  参考訳（メタデータ） (2025-10-24T16:02:18Z)
• Reasoning with Sampling: Your Base Model is Smarter Than You Think [52.639108524651846]
  本稿では,基本モデル自身の可能性を利用した単純な反復サンプリングアルゴリズムを提案する。 我々のアルゴリズムは、ほぼ一致し、RLのアルゴリズムよりも優れているという推論において、大幅に向上することを示した。 我々の方法は、トレーニング、キュレートされたデータセット、検証器を必要としない。
  論文  参考訳（メタデータ） (2025-10-16T17:18:11Z)
• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization [23.972397132797116]
  現在のディープラーニングアプローチは、正確なサンプル確率を生み出す生成モデルに依存している。 この研究は、この制限を解除し、高度に表現力のある潜在変数モデルを採用する可能性を開放する手法を導入する。 我々は,データフリーなコンビネーション最適化におけるアプローチを実験的に検証し,幅広いベンチマーク問題に対して新しい最先端の手法を実現することを実証した。
  論文  参考訳（メタデータ） (2024-06-03T17:55:02Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)
• Robust Sampling in Deep Learning [62.997667081978825]
  ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。 分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。 トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
  論文  参考訳（メタデータ） (2020-06-04T09:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。