論文の概要: Evolving Neural Selection with Adaptive Regularization

• arxiv url: http://arxiv.org/abs/2204.01662v1
• Date: Mon, 4 Apr 2022 17:19:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 16:27:44.538837
• Title: Evolving Neural Selection with Adaptive Regularization
• Title（参考訳）: 適応正規化による神経選択の進化
• Authors: Li Ding and Lee Spector
• Abstract要約: 深部ニューラルネットワークにおけるニューロンの選択が進化し,予測の難しさに適応する手法を示す。 本稿では,階層内のニューロンを重み付けしてネットワークの変種を形成するために進化する適応型ニューラルセレクション(ANS)フレームワークを提案する。 実験の結果,提案手法はニューラルネットワークアーキテクチャの性能を著しく向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 7.298440208725654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over-parameterization is one of the inherent characteristics of modern deep neural networks, which can often be overcome by leveraging regularization methods, such as Dropout. Usually, these methods are applied globally and all the input cases are treated equally. However, given the natural variation of the input space for real-world tasks such as image recognition and natural language understanding, it is unlikely that a fixed regularization pattern will have the same effectiveness for all the input cases. In this work, we demonstrate a method in which the selection of neurons in deep neural networks evolves, adapting to the difficulty of prediction. We propose the Adaptive Neural Selection (ANS) framework, which evolves to weigh neurons in a layer to form network variants that are suitable to handle different input cases. Experimental results show that the proposed method can significantly improve the performance of commonly-used neural network architectures on standard image recognition benchmarks. Ablation studies also validate the effectiveness and contribution of each component in the proposed framework.
• Abstract（参考訳）: オーバーパラメータ化は現代のディープニューラルネットワークの特徴のひとつであり、Dropoutのような正規化手法を活用することで克服されることが多い。 通常、これらの手法は世界中で適用され、全ての入力ケースは等しく扱われる。 しかし、画像認識や自然言語理解などの実世界のタスクにおける入力空間の自然な変化を考えると、固定正規化パターンが全ての入力ケースに対して同じ効果を持つ可能性は低い。 本研究では,深部ニューラルネットワークにおけるニューロンの選択が進化し,予測の難しさに適応する手法を実証する。 本稿では,レイヤ内のニューロンを重み付けて,異なる入力ケースを扱うのに適したネットワークバリアントを形成する適応的ニューラルネットワーク選択(adaptive neural selection, an)フレームワークを提案する。 実験の結果,本手法は標準画像認識ベンチマークを用いたニューラルネットワークアーキテクチャの性能を大幅に向上できることがわかった。 アブレーション研究はまた、提案フレームワークにおける各コンポーネントの有効性と貢献を検証する。

関連論文リスト

• Feedback Favors the Generalization of Neural ODEs [24.342023073252395]
  本稿では、フィードバックループがニューラル常微分方程式(ニューラルODE)の学習潜時ダイナミクスを柔軟に補正可能であることを示す。 フィードバックニューラルネットワークは、新しい2自由度ニューラルネットワークであり、前のタスクで精度が失われることなく、目に見えないシナリオで堅牢なパフォーマンスを持つ。
  論文  参考訳（メタデータ） (2024-10-14T08:09:45Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• Generalizable Neural Fields as Partially Observed Neural Processes [16.202109517569145]
  本稿では,ニューラル表現の大規模トレーニングを部分的に観察されたニューラルプロセスフレームワークの一部として考える新しいパラダイムを提案する。 このアプローチは、最先端の勾配に基づくメタラーニングアプローチとハイパーネットワークアプローチの両方より優れていることを実証する。
  論文  参考訳（メタデータ） (2023-09-13T01:22:16Z)
• Normalization-Equivariant Neural Networks with Application to Image Denoising [3.591122855617648]
  本稿では,ニューラルネットの正規化-等分散が設計によって成り立つように適応する手法を提案する。 私たちの主張は、通常の畳み込み層だけでなく、すべての活性化関数も、ニューラルネットワークから完全に取り除くべきだということです。 画像復号化実験の結果、正規化等価ニューラルネットワークは、条件付けの改善に加えて、ノイズレベルをまたいだより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-06-08T08:42:08Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Neuro-Modulated Hebbian Learning for Fully Test-Time Adaptation [22.18972584098911]
  完全なテスト時間適応は、推論段階における入力サンプルのシーケンシャル解析に基づいてネットワークモデルを適応することを目的としている。 我々は,神経細胞の反応を局所的なシナプス変化の手順に基づいて調整する生物学的確率学習から着想を得た。 我々は、オンライン適応のための教師なしかつ効果的なメカニズムを提供するソフトなヘビアン学習プロセスを設計する。
  論文  参考訳（メタデータ） (2023-03-02T02:18:56Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Adaptive conversion of real-valued input into spike trains [91.3755431537592]
  本稿では,実数値入力をスパイクトレインに変換し,スパイクニューラルネットワークで処理する方法を提案する。 提案手法は網膜神経節細胞の適応的挙動を模倣し,入力ニューロンが入力の統計の変化に応答することを可能にする。
  論文  参考訳（メタデータ） (2021-04-12T12:33:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。