論文の概要: Towards Scalable Lottery Ticket Networks using Genetic Algorithms

• arxiv url: http://arxiv.org/abs/2508.08877v1
• Date: Tue, 12 Aug 2025 12:03:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.416384
• Title: Towards Scalable Lottery Ticket Networks using Genetic Algorithms
• Title（参考訳）: 遺伝的アルゴリズムを用いたスケーラブルなロッキーチケットネットワークの実現に向けて
• Authors: Julian Schönberger, Maximilian Zorn, Jonas Nüßlein, Thomas Gabor, Philipp Altmann,
• Abstract要約: この研究は、強力な宝くじを識別するための遺伝的アルゴリズムの使用を探求する。 その結果,2段階・複数段階の分類タスクの場合,現在の最先端技術よりも精度とスパーシリティのレベルが向上することが判明した。
• 参考スコア（独自算出の注目度）: 2.9144530940712707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building modern deep learning systems that are not just effective but also efficient requires rethinking established paradigms for model training and neural architecture design. Instead of adapting highly overparameterized networks and subsequently applying model compression techniques to reduce resource consumption, a new class of high-performing networks skips the need for expensive parameter updates, while requiring only a fraction of parameters, making them highly scalable. The Strong Lottery Ticket Hypothesis posits that within randomly initialized, sufficiently overparameterized neural networks, there exist subnetworks that can match the accuracy of the trained original model-without any training. This work explores the usage of genetic algorithms for identifying these strong lottery ticket subnetworks. We find that for instances of binary and multi-class classification tasks, our approach achieves better accuracies and sparsity levels than the current state-of-the-art without requiring any gradient information. In addition, we provide justification for the need for appropriate evaluation metrics when scaling to more complex network architectures and learning tasks.
• Abstract（参考訳）: 近代的なディープラーニングシステムの構築は、単に効果的であるだけでなく、効率的であるためには、モデルトレーニングとニューラルアーキテクチャ設計のための確立したパラダイムを再考する必要がある。 高度にパラメータ化されたネットワークを適用し、その後、リソース消費を減らすためにモデル圧縮技術を適用する代わりに、新しい性能の高いネットワークのクラスは、高価なパラメータ更新の必要性をなくし、少数のパラメータしか必要とせず、非常にスケーラブルである。 Strong Lottery Ticket仮説は、ランダムに初期化され、十分に過度にパラメータ化されたニューラルネットワークの中で、トレーニングなしでトレーニングされたオリジナルのモデルの精度に一致するサブネットが存在することを示唆している。 この研究は、これらの強力な宝くじサブネットワークを識別するための遺伝的アルゴリズムの使用を探求する。 その結果,2段階・複数階層の分類タスクの場合,勾配情報を必要とせずに,現在の最先端技術よりも精度とスパーシリティのレベルが向上していることが判明した。 さらに、より複雑なネットワークアーキテクチャや学習タスクにスケールする際の適切な評価指標の必要性を正当化する。

関連論文リスト

• Manifold meta-learning for reduced-complexity neural system identification [1.0276024900942875]
  低次元多様体を発見するメタラーニングフレームワークを提案する。 この多様体は、関連する力学系のクラスによって生成される入力出力シーケンスのメタデータセットから学習される。 両レベルメタラーニングアプローチとは異なり,本手法では,学習多様体に直接データセットをマッピングする補助的ニューラルネットワークを用いる。
  論文  参考訳（メタデータ） (2025-04-16T06:49:56Z)
• Automatic Construction of Pattern Classifiers Capable of Continuous Incremental Learning and Unlearning Tasks Based on Compact-Sized Probabilistic Neural Network [0.0]
  本稿では,確率論的ニューラルネットワークモデルを用いたパターン分類手法を提案する。 この戦略は、連続的な漸進的な学習と未学習タスクが可能な、コンパクトな確率的ニューラルネットワークに基づいている。
  論文  参考訳（メタデータ） (2025-01-01T05:02:53Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Low-rank lottery tickets: finding efficient low-rank neural networks via matrix differential equations [2.3488056916440856]
  効率的なローランクワークを見つけるための新しいアルゴリズムを提案する。 これらの作業は、トレーニングフェーズですでに決定され、適応されています。 本手法は,所望の近似精度を達成するために,訓練中のランクを自動的に動的に適応させる。
  論文  参考訳（メタデータ） (2022-05-26T18:18:12Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。