論文の概要: PopulAtion Parameter Averaging (PAPA)

• arxiv url: http://arxiv.org/abs/2304.03094v3
• Date: Tue, 19 Mar 2024 13:56:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 01:30:29.911856
• Title: PopulAtion Parameter Averaging (PAPA)
• Title（参考訳）: ポピュレーションパラメータ平均化(PAPA)
• Authors: Alexia Jolicoeur-Martineau, Emy Gervais, Kilian Fatras, Yan Zhang, Simon Lacoste-Julien,
• Abstract要約: 本稿では,アンサンブルの一般性と重量平均化の効率を結合する手法であるPopulAtion Averaging (PAPA)を提案する。 PAPAは平均化とアンサンブルのパフォーマンスギャップを減らし、モデルの個体数の平均精度を最大0.8%向上させる。
• 参考スコア（独自算出の注目度）: 24.289557899017026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensemble methods combine the predictions of multiple models to improve performance, but they require significantly higher computation costs at inference time. To avoid these costs, multiple neural networks can be combined into one by averaging their weights. However, this usually performs significantly worse than ensembling. Weight averaging is only beneficial when different enough to benefit from combining them, but similar enough to average well. Based on this idea, we propose PopulAtion Parameter Averaging (PAPA): a method that combines the generality of ensembling with the efficiency of weight averaging. PAPA leverages a population of diverse models (trained on different data orders, augmentations, and regularizations) while slowly pushing the weights of the networks toward the population average of the weights. We also propose PAPA variants (PAPA-all, and PAPA-2) that average weights rarely rather than continuously; all methods increase generalization, but PAPA tends to perform best. PAPA reduces the performance gap between averaging and ensembling, increasing the average accuracy of a population of models by up to 0.8% on CIFAR-10, 1.9% on CIFAR-100, and 1.6% on ImageNet when compared to training independent (non-averaged) models.
• Abstract（参考訳）: アンサンブル法は、複数のモデルの予測を組み合わせて性能を向上させるが、推論時に計算コストを大幅に高める必要がある。 これらのコストを回避するために、重みを平均化することにより、複数のニューラルネットワークをひとつにまとめることができる。 しかし、これは通常、アンサンブルよりもはるかに悪いパフォーマンスを示す。 ウェイト平均化は、それらを組み合わせることで利益を得るのに十分な違いがある場合にのみ有益であるが、平均的に十分よく似ている。 この考え方に基づいて,アンサンブルの一般性と平均化の効率を結合する手法であるPopulAtion Parameter Averaging (PAPA)を提案する。 PAPAは多様なモデル(異なるデータ順序、拡張、正規化に基づいて訓練された)の集団を活用しながら、ネットワークの重みを徐々に重みの平均まで押し上げている。 また, PAPA-allおよびPAPA-2は, 平均重みが連続的にではなく, 平均重みがほとんどなく, 全ての手法が一般化を促進させるが, PAPAは最良に機能する傾向にある。 PAPAは平均化とアンサンブルのパフォーマンスギャップを減らし、CIFAR-10では0.8%、CIFAR-100では1.9%、ImageNetでは1.6%となる。

関連論文リスト

• WASH: Train your Ensemble with Communication-Efficient Weight Shuffling, then Average [21.029085451757368]
  ウェイト平均化手法は、アンサンブルの一般化と単一モデルの推論速度のバランスをとることを目的としている。 WASHは,最新の画像分類精度を実現するために,平均化のためのモデルアンサンブルを学習するための新しい分散手法である。
  論文  参考訳（メタデータ） (2024-05-27T09:02:57Z)
• WARM: On the Benefits of Weight Averaged Reward Models [63.08179139233774]
  Weight Averaged Reward Models (WARM) を提案する。 最良N法とRL法を用いた要約タスクの実験は、WARMがLLM予測の全体的な品質とアライメントを改善することを示す。
  論文  参考訳（メタデータ） (2024-01-22T18:27:08Z)
• Breast Cancer classification by adaptive weighted average ensemble of previously trained models [3.9693969407364427]
  乳がんは毎年何百万人もの人に感染する重篤な疾患であり、症例数は増加している。 研究者は、CADシステムにおける病理組織像の使用など、乳がんを検出するための多くの技術を開発した。 本研究では、適応的な平均アンサンブルを用いて、既に完全に訓練されたモデルを組み合わせる手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T07:33:43Z)
• Lookaround Optimizer: $k$ steps around, 1 step average [36.207388029666625]
  重み平均(WA)は、深層ネットワークの簡易化と一般化の促進に効果があるため、活発な研究課題である。 しかし、既存の重量平均アプローチは、ポストホックな方法で1つの訓練軌道に沿って実行されることが多い。 そこで我々は,SGDに基づく単純かつ効果的な一般化であるLookaroundを提案する。
  論文  参考訳（メタデータ） (2023-06-13T10:55:20Z)
• Fine-Tuning Language Models with Advantage-Induced Policy Alignment [80.96507425217472]
  大規模言語モデルと人間の嗜好を整合させる新しいアルゴリズムを提案する。 言語タスクにおいてPPOを常に上回り、大きなマージンを持つことを示す。 また,損失関数の設計を支援する理論的正当性も提供する。
  論文  参考訳（メタデータ） (2023-06-04T01:59:40Z)
• GTFLAT: Game Theory Based Add-On For Empowering Federated Learning Aggregation Techniques [0.3867363075280543]
  GTFLATはゲーム理論に基づくアドオンであり、重要な研究課題に対処する。 モデル集約フェーズにおける平均化に対してより効果的な適応重みを設定することにより、フェデレーション学習アルゴリズムは、より優れたパフォーマンスと訓練効率を実現することができるのか? その結果、GTFLATを平均するとトップ1テストの精度は1.38%向上し、通信ラウンドは21.06%削減された。
  論文  参考訳（メタデータ） (2022-12-08T06:39:51Z)
• Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time [69.7693300927423]
  複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。 モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
  論文  参考訳（メタデータ） (2022-03-10T17:03:49Z)
• Approximating Full Conformal Prediction at Scale via Influence Functions [30.391742057634264]
  コンフォーマル予測(CP)は、従来の機械学習モデルを取り巻くラッパーである。 本稿では、フルCPを効率的に近似するために影響関数を用いる。
  論文  参考訳（メタデータ） (2022-02-02T22:38:40Z)
• You May Not Need Ratio Clipping in PPO [117.03368180633463]
  Proximal Policy Optimization (PPO) 法は、複数のミニバッチ最適化エポックを1組のサンプルデータで反復的に実行することでポリシーを学習する。 比率クリッピングPPOは、ターゲットポリシーとサンプル収集に使用されるポリシーの確率比をクリップする一般的な変種である。 本論文では, この比クリッピングが有効に結合できないため, 良好な選択ではないことを示す。 ESPOは、多くのワーカーによる分散トレーニングに簡単にスケールアップでき、パフォーマンスも高いことを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:26:56Z)
• The Surprising Effectiveness of MAPPO in Cooperative, Multi-Agent Games [67.47961797770249]
  マルチエージェントPPO(MAPPO)は、集中型値関数を採用するマルチエージェントPPOバリアントである。 MAPPOは,3つの一般的なマルチエージェントテストベッドにおいて,最先端技術に匹敵する性能を実現していることを示す。
  論文  参考訳（メタデータ） (2021-03-02T18:59:56Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。