論文の概要: VI3NR: Variance Informed Initialization for Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2504.19270v1
• Date: Sun, 27 Apr 2025 14:58:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.208639
• Title: VI3NR: Variance Informed Initialization for Implicit Neural Representations
• Title（参考訳）: VI3NR: 暗黙的神経表現のための可変インフォームド初期化
• Authors: Chamin Hewa Koneputugodage, Yizhak Ben-Shabat, Sameera Ramasinghe, Stephen Gould,
• Abstract要約: Implicit Neural Representations (INR)は、画像、ビデオ、サウンド、三次元形状など、さまざまな形式のデータを符号化する汎用的で強力なツールである。 INRの成功の重要な要因はネットワークの初期化であり、学習モデルの収束と精度に大きな影響を及ぼす可能性がある。
• 参考スコア（独自算出の注目度）: 41.395193251292895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Implicit Neural Representations (INRs) are a versatile and powerful tool for encoding various forms of data, including images, videos, sound, and 3D shapes. A critical factor in the success of INRs is the initialization of the network, which can significantly impact the convergence and accuracy of the learned model. Unfortunately, commonly used neural network initializations are not widely applicable for many activation functions, especially those used by INRs. In this paper, we improve upon previous initialization methods by deriving an initialization that has stable variance across layers, and applies to any activation function. We show that this generalizes many previous initialization methods, and has even better stability for well studied activations. We also show that our initialization leads to improved results with INR activation functions in multiple signal modalities. Our approach is particularly effective for Gaussian INRs, where we demonstrate that the theory of our initialization matches with task performance in multiple experiments, allowing us to achieve improvements in image, audio, and 3D surface reconstruction.
• Abstract（参考訳）: Implicit Neural Representations (INR)は、画像、ビデオ、サウンド、三次元形状など、さまざまな形式のデータを符号化する汎用的で強力なツールである。 INRの成功の重要な要因はネットワークの初期化であり、学習モデルの収束と精度に大きな影響を及ぼす可能性がある。 残念ながら、一般的に使われているニューラルネットワークの初期化は多くのアクティベーション機能、特にINRで使用されるものには広く適用されない。 本稿では,各層に安定な初期化を導出し,任意の活性化関数に適用することにより,従来の初期化手法を改善する。 これは、多くの従来の初期化法を一般化し、よく研究された活性化に対してより優れた安定性を持つことを示す。 また、この初期化により、複数の信号モードにおけるINRアクティベーション関数による結果が改善されることを示す。 提案手法はガウスINRにおいて特に有効であり, 初期化理論とタスク性能が複数の実験で一致していることを示し, 画像, 音声, 3次元表面再構成の改善を実現する。

関連論文リスト

• SL$^{2}$A-INR: Single-Layer Learnable Activation for Implicit Neural Representation [6.572456394600755]
  Inlicit Neural Representation (INR)は、ニューラルネットワークを利用して、座標入力を対応する属性に変換することで、視覚関連領域において大きな進歩をもたらした。 我々は,INRアーキテクチャに新しいアプローチを導入することで,これらの課題を緩和できることを示す。 具体的には,シングルレイヤの学習可能なアクティベーション関数と従来のReLUアクティベーションを用いた合成を組み合わせたハイブリッドネットワークSL$2$A-INRを提案する。
  論文  参考訳（メタデータ） (2024-09-17T02:02:15Z)
• Improved weight initialization for deep and narrow feedforward neural network [3.0784574277021397]
  ReLUニューロンが不活性になり出力がゼロになる"Bluving Dieing ReLU"というテキスト引用の問題は、ReLUアクティベーション機能を備えたディープニューラルネットワークのトレーニングにおいて大きな課題となる。 本稿では,この問題に対処するための新しい重み初期化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T05:28:12Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• Principles for Initialization and Architecture Selection in Graph Neural Networks with ReLU Activations [17.51364577113718]
  ReLUを活性化した有限幅グラフニューラルネットワーク(GNN)におけるアーキテクチャ選択の3つの原理を示す。 まず、よく知られた He-initialization の ReLU GNN への一意的な一般化を理論的に導出する。 第2に、有限幅バニラReLU GNNにおいて、固定アグリゲーション演算子を用いる場合、オーバースムーシングが大深度では避けられないことを証明する。
  論文  参考訳（メタデータ） (2023-06-20T16:40:41Z)
• Neural Characteristic Activation Analysis and Geometric Parameterization for ReLU Networks [2.2713084727838115]
  本稿では,個々のニューロンの特徴的活性化境界を調べることによって,ReLUネットワークのトレーニングダイナミクスを解析するための新しいアプローチを提案する。 提案手法は,コンバージェンス最適化におけるニューラルネットワークのパラメータ化と正規化において重要な不安定性を示し,高速収束を阻害し,性能を損なう。
  論文  参考訳（メタデータ） (2023-05-25T10:19:13Z)
• Modality-Agnostic Variational Compression of Implicit Neural Representations [96.35492043867104]
  Inlicit Neural Representation (INR) としてパラメータ化されたデータの関数的ビューに基づくモーダリティ非依存型ニューラル圧縮アルゴリズムを提案する。 潜時符号化と疎性の間のギャップを埋めて、ソフトゲーティング機構に非直線的にマッピングされたコンパクト潜時表現を得る。 このような潜在表現のデータセットを得た後、ニューラル圧縮を用いてモーダリティ非依存空間におけるレート/歪みトレードオフを直接最適化する。
  論文  参考訳（メタデータ） (2023-01-23T15:22:42Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Learning A 3D-CNN and Transformer Prior for Hyperspectral Image Super-Resolution [80.93870349019332]
  本稿では,CNN の代わりに Transformer を用いて HSI の事前学習を行う新しい HSISR 手法を提案する。 具体的には、まず勾配アルゴリズムを用いてHSISRモデルを解き、次に展開ネットワークを用いて反復解過程をシミュレートする。
  論文  参考訳（メタデータ） (2021-11-27T15:38:57Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。