論文の概要: Anakatabatic Inertia: Particle-wise Adaptive Inertia for PSO

• arxiv url: http://arxiv.org/abs/2008.00979v1
• Date: Fri, 31 Jul 2020 11:09:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 06:13:30.128292
• Title: Anakatabatic Inertia: Particle-wise Adaptive Inertia for PSO
• Title（参考訳）: アナカタバティック慣性:PSOのための粒子ワイド適応慣性
• Authors: Sini\v{s}a Dru\v{z}eta, Stefan Ivi\'c
• Abstract要約: 本研究では, 個別粒子の適合性向上に基づく慣性量適応技術であるアナカタバティック慣性(アナカタバティック)を提案する。 提案された慣性重量制御フレームワークは、CEC 2014テストスイートの30のテスト機能でメタ最適化され、テストされた。 提案したアナカタバティック慣性モデルを用いて標準PSOの精度を適度に向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Throughout the course of the development of Particle Swarm Optimization, particle inertia has been established as an important aspect of the method for researching possible method improvements. As a continuation of our previous research, we propose a novel generalized technique of inertia weight adaptation based on individual particle's fitness improvement, called anakatabatic inertia. This technique allows for adapting inertia weight value for each particle corresponding to the particle's increasing or decreasing fitness, i.e. conditioned by particle's ascending (anabatic) or descending (katabatic) movement. The proposed inertia weight control framework was metaoptimized and tested on the 30 test functions of the CEC 2014 test suite. The conducted procedure produced four anakatabatic models, two for each of the PSO methods used (Standard PSO and TVAC-PSO). The benchmark testing results show that using the proposed anakatabatic inertia models reliably yield moderate improvements in accuracy of Standard PSO (final fitness minimum reduced up to 0.09 orders of magnitude) and rather strong improvements for TVAC-PSO (final fitness minimum reduced up to 0.59 orders of magnitude), mostly without any adverse effects on the method's performance.
• Abstract（参考訳）: 粒子群最適化の開発を通じて、粒子慣性は可能な方法の改善を研究する方法の重要な側面として確立されてきた。 先行研究の継続として, 個々の粒子の適合性向上に基づく慣性重み適応の新たな一般化手法, anakatabatic inertiaを提案する。 この手法により、粒子の増大または減少に対応する各粒子の慣性重量値、すなわち粒子の昇降(アナバティック)または下降(カタバティック)運動によって条件づけられる。 提案する慣性重み制御フレームワークは、cec 2014テストスイートの30のテスト機能でメタ最適化され、テストされた。 提案手法は, 使用するPSO法(Standard PSOおよびTVAC-PSO)毎に4種類のアナカタバティックモデルを生成した。 ベンチマーク実験の結果, anakatabatic inertiaモデルを用いた場合, 標準pso(最終フィットネス最小値が0.09桁まで低下する)と, 比較的強力なtvac-pso(最終フィットネス最小値が0.59桁まで低下する)の精度向上が, ほとんどが方法の性能に悪影響を及ぼすことなく確実に達成できることがわかった。

関連論文リスト

• Beyond adaptive gradient: Fast-Controlled Minibatch Algorithm for large-scale optimization [1.6749379740049926]
  そこで我々は,F-CMA,F-Controlled Mini-batchアルゴリズムを導入し,各エポックあたりの損失低減を確保するために,十分な減少条件とライン探索手順を備えたランダムリシャッフル法を提案する。 テストでは、トレーニング時間全体の68%の削減、エポック毎の効率の最大20%向上、モデル精度の最大5%向上など、大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-11-24T11:46:47Z)
• Orthogonal Finetuning for Direct Preference Optimization [46.38508475165443]
  重み付き優先度最適化(RoPO)法によるDPOの微調整を提案する。 RoPOは、超球面エネルギー不変量を維持するために、重みパラメータの回転および等級ストレッチング更新を行う。 我々のモデルは、トレーニング可能なパラメータの0.0086%しか使用せずに、元の表現能力を維持しながら、人間の好みと完全に一致します。
  論文  参考訳（メタデータ） (2024-09-23T09:09:16Z)
• GIFT-SW: Gaussian noise Injected Fine-Tuning of Salient Weights for LLMs [51.02233412547456]
  我々は,Gaussian noise Injected Fine Tuning of Salient Weights (GIFT-SW)と呼ばれる新しいPEFT法を提案する。 本手法では, ガウス雑音を非正弦波に注入しながら, 正弦波列のみを更新する。 LLaMAモデルによる実験により、GIFT-SWは、同じ計算予算の下で、完全な微調整および現代的なPEFTメソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-27T14:41:14Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• Self-Weighted Ensemble Method to Adjust the Influence of Individual Models based on Reliability [0.0]
  SWE(Self-Weighted Ensemble)を用いたシンプルで改良されたアンサンブル法を提案する。 SWEはその信頼性によって各モデルの重み付けを行う。 SWEを用いた性能は従来のアンサンブル法よりも0.033%高い。
  論文  参考訳（メタデータ） (2021-04-09T00:20:01Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。