論文の概要: Dynamic Dropout: Leveraging Conway's Game of Life for Neural Networks Regularization

• arxiv url: http://arxiv.org/abs/2510.22383v1
• Date: Sat, 25 Oct 2025 17:55:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.117732
• Title: Dynamic Dropout: Leveraging Conway's Game of Life for Neural Networks Regularization
• Title（参考訳）: ダイナミックドロップアウト: ニューラルネットワークの規則化のためのConwayのライフゲームを活用する
• Authors: David Freire-Obregón, José Salas-Cáceres, Modesto Castrillón-Santana,
• Abstract要約: 広く使われている正規化技術であるDropoutは、トレーニング中にランダムにユニットを非活性化し、冗長性を導入し、ニューロン間の共適応を防ぐ。 そこで我々は,コンウェイのゲーム・オブ・ライフ (GoL) をセル・オートマトンに代えて,セル・グリッドの進化を規定する簡単なルールを持つセル・オートマトンを提案する。
• 参考スコア（独自算出の注目度）: 4.025145260699167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularization techniques play a crucial role in preventing overfitting and improving the generalization performance of neural networks. Dropout, a widely used regularization technique, randomly deactivates units during training to introduce redundancy and prevent co-adaptation among neurons. Despite its effectiveness, dropout has limitations, such as its static nature and lack of interpretability. In this paper, we propose a novel approach to regularization by substituting dropout with Conway's Game of Life (GoL), a cellular automata with simple rules that govern the evolution of a grid of cells. We introduce dynamic unit deactivation during training by representing neural network units as cells in a GoL grid and applying the game's rules to deactivate units. This approach allows for the emergence of spatial patterns that adapt to the training data, potentially enhancing the network's ability to generalize. We demonstrate the effectiveness of our approach on the CIFAR-10 dataset, showing that dynamic unit deactivation using GoL achieves comparable performance to traditional dropout techniques while offering insights into the network's behavior through the visualization of evolving patterns. Furthermore, our discussion highlights the applicability of our proposal in deeper architectures, demonstrating how it enhances the performance of different dropout techniques.
• Abstract（参考訳）: 正規化技術は、ニューラルネットワークの過度な適合を防止し、一般化性能を改善する上で重要な役割を担っている。 広く使われている正規化技術であるDropoutは、トレーニング中にランダムにユニットを非活性化し、冗長性を導入し、ニューロン間の共適応を防ぐ。 有効性にもかかわらず、ドロップアウトには静的性や解釈可能性の欠如といった制限がある。 本稿では,コンウェイのゲーム・オブ・ライフ(GoL)に代えて,細胞グリッドの進化を規定する簡単なルールを持つセルオートマトンを提案する。 ニューラルネットワークユニットをGoLグリッド内のセルとして表現し、ゲームのルールを適用して、トレーニング中に動的ユニットの非活性化を導入する。 このアプローチは、トレーニングデータに適応する空間パターンの出現を可能にし、ネットワークの一般化能力を高める可能性がある。 我々は,CIFAR-10データセットに対するアプローチの有効性を実証し,進化パターンの可視化によるネットワークの挙動の洞察を提供しながら,GoLを用いた動的ユニット不活性化が従来のドロップアウト手法に匹敵する性能を実現することを示した。 さらに、我々の議論は、より深いアーキテクチャにおける提案の適用性を強調し、それが異なるドロップアウトテクニックのパフォーマンスをいかに向上させるかを示す。

関連論文リスト

• Continual Learning for Adaptive AI Systems [0.0]
  クラスタ・アウェア・リプレイ(Cluster-Aware Replay, CAR)は、クラスバランスの小さなリプレイバッファと正規化用語を統合するハイブリッド連続学習フレームワークである。 CARは、微調整単独よりも初期のタスクパフォーマンスを保ちます。
  論文  参考訳（メタデータ） (2025-10-09T00:44:32Z)
• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• A note on regularised NTK dynamics with an application to PAC-Bayesian training [18.97829627151844]
  本研究では,PAC-Bayes境界などの一般化目標を最適化するために訓練されたニューラルネットワークの進化について検討する。 この設定は、一般化の目的を最適化するために訓練された広いネットワークの進化を研究するための適切なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-12-20T18:36:05Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
  適応型ニューラルネットワークの動的対向攻撃問題について検討する。 本稿では,LGM(Leaded Gradient Method)を提案する。 我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
  論文  参考訳（メタデータ） (2022-10-15T01:32:08Z)
• Better Training using Weight-Constrained Stochastic Dynamics [0.0]
  我々は、トレーニングを通してディープニューラルネットワークのパラメータ空間を制御するために制約を用いる。 カスタマイズされた適切な設計の制約を使用することで、消滅/展開の問題を減らすことができる。 グラデーションランゲヴィンフレームワークに制約を効率的に組み込むための一般的なアプローチを提供する。
  論文  参考訳（メタデータ） (2021-06-20T14:41:06Z)
• A Principle of Least Action for the Training of Neural Networks [10.342408668490975]
  ネットワークの輸送マップに低運動エネルギー偏差バイアスが存在することを示し、このバイアスと一般化性能を関連づける。 本稿では,与えられたタスクの複雑さに自動的に適応する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-17T15:37:34Z)
• Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization [1.3764085113103217]
  オーバーフィッティングは、比較的小さなデータセットでディープニューラルネットワークをトレーニングする際の最も一般的な問題の1つである。 オーバーフィッティング対策として, 新規な対象空間可視化と正規化戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-21T11:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。