論文の概要: From Activation to Initialization: Scaling Insights for Optimizing Neural Fields

• arxiv url: http://arxiv.org/abs/2403.19205v1
• Date: Thu, 28 Mar 2024 08:06:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 17:03:08.539794
• Title: From Activation to Initialization: Scaling Insights for Optimizing Neural Fields
• Title（参考訳）: 活性化から初期化: ニューラルネットワークの最適化のためのスケーリング指標
• Authors: Hemanth Saratchandran, Sameera Ramasinghe, Simon Lucey,
• Abstract要約: 本稿では、初期化とアクティベーションの相互作用を掘り下げ、ニューラルネットワークの堅牢な最適化の基礎となることを目的としている。 ネットワークの初期化, アーキテクチャの選択, 最適化プロセスの深い関係を理論的考察により明らかにし, 最先端のニューラルフィールドの設計において, 全体的アプローチの必要性を強調した。
• 参考スコア（独自算出の注目度）: 37.52425975916322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the realm of computer vision, Neural Fields have gained prominence as a contemporary tool harnessing neural networks for signal representation. Despite the remarkable progress in adapting these networks to solve a variety of problems, the field still lacks a comprehensive theoretical framework. This article aims to address this gap by delving into the intricate interplay between initialization and activation, providing a foundational basis for the robust optimization of Neural Fields. Our theoretical insights reveal a deep-seated connection among network initialization, architectural choices, and the optimization process, emphasizing the need for a holistic approach when designing cutting-edge Neural Fields.
• Abstract（参考訳）: コンピュータビジョンの領域では、ニューラルフィールドは信号表現にニューラルネットワークを利用する現代のツールとして注目されている。 様々な問題を解決するためにこれらのネットワークを適用することの顕著な進歩にもかかわらず、この分野には包括的な理論的枠組みが欠けている。 本稿では、初期化とアクティベーションの複雑な相互作用を掘り下げ、ニューラルネットワークの堅牢な最適化の基礎となることによって、このギャップに対処することを目的とする。 ネットワークの初期化, アーキテクチャの選択, 最適化プロセスの深い関係を理論的考察により明らかにし, 最先端のニューラルフィールドの設計において, 全体的アプローチの必要性を強調した。

関連論文リスト

• Evidence, Definitions and Algorithms regarding the Existence of Cohesive-Convergence Groups in Neural Network Optimization [0.0]
  ニューラルネットワークのプロセスを理解することは、機械学習の分野で最も複雑で重要な問題の1つである。 本稿では,ニューラルネットワークの理論的収束に着目した。
  論文  参考訳（メタデータ） (2024-03-08T13:23:42Z)
• Topology Optimization using Neural Networks with Conditioning Field Initialization for Improved Efficiency [2.575019247624295]
  我々は、未最適化領域の事前初期フィールドを使用することで、ニューラルネットワークに基づくトポロジ最適化の効率をさらに向上できることを示す。 我々は、最適化を通じてニューラルネットワークに入力される追加条件付けフィールドとして、初期設計領域で計算されたひずみエネルギー場を用いる。
  論文  参考訳（メタデータ） (2023-05-17T07:42:24Z)
• Optimisation & Generalisation in Networks of Neurons [8.078758339149822]
  この論文の目的は、人工ニューラルネットワークにおける学習の最適化と一般化理論の基礎を開発することである。 アーキテクチャに依存した一階最適化アルゴリズムを導出するための新しい理論的枠組みを提案する。 ネットワークと個々のネットワークのアンサンブルの間には,新たな対応関係が提案されている。
  論文  参考訳（メタデータ） (2022-10-18T18:58:40Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。