論文の概要: A Topological Improvement of the Overall Performance of Sparse Evolutionary Training: Motif-Based Structural Optimization of Sparse MLPs Project

• arxiv url: http://arxiv.org/abs/2506.09204v1
• Date: Tue, 10 Jun 2025 19:49:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:01.999447
• Title: A Topological Improvement of the Overall Performance of Sparse Evolutionary Training: Motif-Based Structural Optimization of Sparse MLPs Project
• Title（参考訳）: スパース進化学習における総合的性能のトポロジ的改善:スパースMLPプロジェクトのモチフに基づく構造最適化
• Authors: Xiaotian Chen, Hongyun Liu, Seyed Sahand Mohammadi Ziabari,
• Abstract要約: 本研究では,多層パーセプトロン(SET-MLP)に適用したスパース進化学習の構造最適化により,性能が向上するかどうかを検討する。
• 参考スコア（独自算出の注目度）: 2.1899189033259305
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks (DNNs) have been proven to be exceptionally effective and have been applied across diverse domains within deep learning. However, as DNN models increase in complexity, the demand for reduced computational costs and memory overheads has become increasingly urgent. Sparsity has emerged as a leading approach in this area. The robustness of sparse Multi-layer Perceptrons (MLPs) for supervised feature selection, along with the application of Sparse Evolutionary Training (SET), illustrates the feasibility of reducing computational costs without compromising accuracy. Moreover, it is believed that the SET algorithm can still be improved through a structural optimization method called motif-based optimization, with potential efficiency gains exceeding 40% and a performance decline of under 4%. This research investigates whether the structural optimization of Sparse Evolutionary Training applied to Multi-layer Perceptrons (SET-MLP) can enhance performance and to what extent this improvement can be achieved.
• Abstract（参考訳）: ディープニューラルネットワーク(Deep Neural Networks, DNN)は、非常に効果的であることが証明されており、ディープラーニングのさまざまな領域に応用されている。 しかし、DNNモデルが複雑さを増すにつれ、計算コストとメモリオーバーヘッドの削減への需要が高まっている。 この地域ではスパリティが主要なアプローチとして現れてきた。 教師付き特徴選択のためのスパース多層パーセプトロン(MLP)のロバスト性は、スパース進化訓練(SET)の適用とともに、精度を損なうことなく計算コストを削減する可能性を示している。 さらに、モチーフベース最適化と呼ばれる構造最適化手法により、SETアルゴリズムは依然として改善できると考えられており、ポテンシャル効率は40%以上、性能低下は4%以下である。 本研究では,多層パーセプトロン(SET-MLP)に適用したスパース進化学習の構造的最適化により,性能が向上し,この改善がどこまで達成できるかを検討する。

関連論文リスト

• Large Language Model Enhanced Particle Swarm Optimization for Hyperparameter Tuning for Deep Learning Models [2.3949320404005436]
  Particle Swarm Optimization and Large Language Models (LLM) は、最適化とディープラーニングに個別に適用されている。 本研究は,モデル評価の低減と収束性向上のため,PLMをPSOに統合することで,このギャップに対処する。 提案手法は, 探索空間の探索を最適化し, 粒子配置を最適化する手法である。
  論文  参考訳（メタデータ） (2025-04-19T00:54:59Z)
• Architect Your Landscape Approach (AYLA) for Optimizations in Deep Learning [0.0]
  グラディエントDescent(DSG)とその変種(ADAMなど)はディープラーニングの最適化の基礎となっている。 本稿では適応性と効率性を向上する新しい最適化手法であるAYLAを紹介する。
  論文  参考訳（メタデータ） (2025-04-02T16:31:39Z)
• TRAWL: Tensor Reduced and Approximated Weights for Large Language Models [11.064868044313855]
  TRAWL (Tensor Reduced and Approximated Weights for Large Language Models) は、複数の重み行列に対してテンソル分解を適用し、大域的な構造パターンを捉えることでLLMを効果的に分解する手法である。 我々の実験によると、TRAWLは、追加のデータやトレーニング、微調整を必要とせず、ベンチマークデータセットのベースラインモデルよりも最大16%モデル性能を向上させる。
  論文  参考訳（メタデータ） (2024-06-25T04:01:32Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Structure-Enhanced Deep Reinforcement Learning for Optimal Transmission Scheduling [47.29474858956844]
  マルチセンサリモート推定システムの最適スケジューリングのための構造強化型深部強化学習フレームワークを開発した。 特に,政策構造に従う行動を選択する傾向にある構造強化行動選択法を提案する。 数値計算の結果,提案したDRLアルゴリズムはトレーニング時間を50%削減し,遠隔推定MSEを10%から25%削減できることがわかった。
  論文  参考訳（メタデータ） (2022-11-20T00:13:35Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Sample-efficient Iterative Lower Bound Optimization of Deep Reactive Policies for Planning in Continuous MDPs [27.41101006357176]
  本研究では,最小化-最大化の観点から反復的に最適化する。 w.r.t.は局所的に厳密な下界の目的である。 反復的下界最適化(ILBO)としての学習の新たな定式化は、(i)各ステップが全体目標よりも構造的に容易に最適化できるため、特に魅力的である。 実験的な評価により、ILBOは最先端のプランナーよりもはるかに試料効率が高いことが確認された。
  論文  参考訳（メタデータ） (2022-03-23T19:06:16Z)
• DEBOSH: Deep Bayesian Shape Optimization [48.80431740983095]
  形状最適化に適した不確実性に基づく新しい手法を提案する。 効果的なBOを可能にし、その結果の形状の質を最先端のアプローチを超えて向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:01:42Z)
• A Differential Game Theoretic Neural Optimizer for Training Residual Networks [29.82841891919951]
  本稿では、残差接続と畳み込み層の両方を受け入れる一般化微分動的プログラミング(DDP)ニューラルアーキテクチャを提案する。 得られた最適制御表現は、トレーニング残余ネットワークを、状態拡張システム上での協調的軌道最適化と解釈できるゲーム論的視点を許容する。
  論文  参考訳（メタデータ） (2020-07-17T10:19:17Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。