論文の概要: Quantifying Individual and Joint Module Impact in Modular Optimization Frameworks

• arxiv url: http://arxiv.org/abs/2405.11964v1
• Date: Mon, 20 May 2024 11:39:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 13:24:44.723909
• Title: Quantifying Individual and Joint Module Impact in Modular Optimization Frameworks
• Title（参考訳）: モジュール最適化フレームワークにおける個人と共同モジュールの影響の定量化
• Authors: Ana Nikolikj, Ana Kostovska, Diederick Vermetten, Carola Doerr, Tome Eftimov,
• Abstract要約: 機能的ANOVAフレームワークを用いて,2つのアルゴリズムに対する個々のモジュールとモジュールの組み合わせの影響を定量化する。 BBOBベンチマークコレクション上で, 324 modCMA および 576 modDE 変種の性能データを解析した。
• 参考スコア（独自算出の注目度）: 3.673004818820981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study explores the influence of modules on the performance of modular optimization frameworks for continuous single-objective black-box optimization. There is an extensive variety of modules to choose from when designing algorithm variants, however, there is a rather limited understanding of how each module individually influences the algorithm performance and how the modules interact with each other when combined. We use the functional ANOVA (f-ANOVA) framework to quantify the influence of individual modules and module combinations for two algorithms, the modular Covariance Matrix Adaptation (modCMA) and the modular Differential Evolution (modDE). We analyze the performance data from 324 modCMA and 576 modDE variants on the BBOB benchmark collection, for two problem dimensions, and three computational budgets. Noteworthy findings include the identification of important modules that strongly influence the performance of modCMA, such as the~\textit{weights\ option} and~\textit{mirrored} modules for low dimensional problems, and the~\textit{base\ sampler} for high dimensional problems. The large individual influence of the~\textit{lpsr} module makes it very important for the performance of modDE, regardless of the problem dimensionality and the computational budget. When comparing modCMA and modDE, modDE undergoes a shift from individual modules being more influential, to module combinations being more influential, while modCMA follows the opposite pattern, with an increase in problem dimensionality and computational budget.
• Abstract（参考訳）: 本研究では,モジュールが連続的な単一目的のブラックボックス最適化のための最適化フレームワークの性能に与える影響について検討する。 アルゴリズムの変種を設計する場合から選択すべきモジュールは多岐にわたるが、各モジュールがアルゴリズムのパフォーマンスにどう影響するか、組み合わせた場合モジュールが相互にどのように相互作用するかについては、かなり限定的な理解がある。 本稿では,関数型 ANOVA (f-ANOVA) フレームワークを用いて,モジュール分散行列適応 (modCMA) とモジュール微分進化 (modDE) の2つのアルゴリズムに対する個々のモジュールとモジュールの組み合わせの影響を定量化する。 BBOBベンチマークの324 modCMA および 576 modDE 変種の性能データを2つの問題次元と3つの計算予算で解析する。 例えば、低次元問題に対する~\textit{weights\ option} や~\textit{mirrored} モジュール、高次元問題に対する~\textit{base\ sampler} などである。 ――\textit{lpsr} モジュールの個々の大きな影響は、問題次元や計算予算に関わらず、modDE のパフォーマンスに非常に重要である。 modCMAとmodDEを比較すると、modDEは個々のモジュールがより影響力のあるものから、モジュールの組み合わせがより影響力のあるものへとシフトし、modCMAは問題次元と計算予算の増加とともに反対のパターンに従う。

関連論文リスト

• Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
  マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。 マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。 WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-29T07:16:31Z)
• GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model [66.35608254724566]
  状態空間モデル(SSM)は、二次的複雑性を伴う長距離依存のモデリングにおいて効果的な性能を示した。 しかし、純粋なSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最適性能の達成に関連する課題に直面している。 本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:58Z)
• Multi-Convformer: Extending Conformer with Multiple Convolution Kernels [64.4442240213399]
  我々は,マルチコンバータを導入し,複数のコンバータカーネルをゲーティングと合わせてコンバータの畳み込みモジュール内で利用する。 我々のモデルは、よりパラメータ効率の良いCgMLPやE-Branchformerといった既存のConformerと性能的に競合する。 我々は4つの異なるデータセットと3つの異なるモデリングパラダイムにまたがって、我々のアプローチをConformerとその変種と経験的に比較し、最大8%の相対的な単語誤り率(WER)の改善を示す。
  論文  参考訳（メタデータ） (2024-07-04T08:08:12Z)
• Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation [59.37775534633868]
  同族PLM間で事前訓練されたタスク固有のPEFTモジュールを転送するための極めて簡単なアプローチを提案する。 また,不整合性PLM間のモジュールの移動を,推論複雑性の変化を伴わずに行う方法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T17:50:00Z)
• Module-wise Adaptive Distillation for Multimodality Foundation Models [125.42414892566843]
  マルチモーダル・ファンデーション・モデルは 目覚ましい 一般化性を示したが 規模が大きいため 展開に挑戦する 規模を減らすための効果的なアプローチの1つは層単位での蒸留であり、小さな学生モデルは各層で大きな教師モデルの隠された表現と一致するように訓練される。 そこで本研究では, 各モジュールの蒸留後の損失デクリメントを記録し, より頻繁な蒸留に寄与するモジュールを選択することによって, 個々のモジュールの寄与をトラックすることを提案する。
  論文  参考訳（メタデータ） (2023-10-06T19:24:00Z)
• Composing Parameter-Efficient Modules with Arithmetic Operations [20.119291936493788]
  重み空間における線形算術演算によりパラメータ効率のよい加群を構成することを提案する。 このアプローチでは、Emphnoの追加トレーニングが必要で、高度にフレキシブルなモジュール構成を可能にします。 LLaMAをベースとした最新の命令調整型大規模言語モデルであるAlpaca-LoRAをデトックス化するアプローチを拡張した。
  論文  参考訳（メタデータ） (2023-06-26T17:33:21Z)
• A Probabilistic Framework for Modular Continual Learning [27.398496741452554]
  モジュール構成の大規模かつ離散的な空間を探索するモジュール型連続学習フレームワーク PICLE を開発した。 PICLEは,大規模検索空間に拡張しながら知覚的,少数ショット,潜時移動を実現する最初のモジュール型CLアルゴリズムである。
  論文  参考訳（メタデータ） (2023-06-11T00:06:57Z)
• ModuleFormer: Modularity Emerges from Mixture-of-Experts [60.6148988099284]
  本稿では,大規模言語モデルの効率性と柔軟性を向上させるために,新しいニューラルネットワークアーキテクチャであるModuleFormerを提案する。 以前のSMoEベースのモジュラー言語モデルとは異なり、ModuleFormerは未処理のデータからモジュラリティを誘導することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。