論文の概要: On Regularizing Coordinate-MLPs

• arxiv url: http://arxiv.org/abs/2202.00790v1
• Date: Tue, 1 Feb 2022 22:21:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-03 13:46:06.671402
• Title: On Regularizing Coordinate-MLPs
• Title（参考訳）: 正規化座標MLPについて
• Authors: Sameera Ramasinghe, Lachlan MacDonald, Simon Lucey
• Abstract要約: ディープニューラルネットワーク(回帰)の典型的な暗黙正則化仮定は座標MLPを保たないことを示す。 アーキテクチャの変更なしに既存のネットワークに組み込むことのできる,シンプルな正規化手法を提案する。
• 参考スコア（独自算出の注目度）: 35.22690619382976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that typical implicit regularization assumptions for deep neural networks (for regression) do not hold for coordinate-MLPs, a family of MLPs that are now ubiquitous in computer vision for representing high-frequency signals. Lack of such implicit bias disrupts smooth interpolations between training samples, and hampers generalizing across signal regions with different spectra. We investigate this behavior through a Fourier lens and uncover that as the bandwidth of a coordinate-MLP is enhanced, lower frequencies tend to get suppressed unless a suitable prior is provided explicitly. Based on these insights, we propose a simple regularization technique that can mitigate the above problem, which can be incorporated into existing networks without any architectural modifications.
• Abstract（参考訳）: 深部ニューラルネットワークの典型的な暗黙的正規化仮定(回帰)は、高周波数信号を表すためにコンピュータビジョンにおいて現在ユビキタスなMLPの族である座標MLPを保たないことを示す。 このような暗黙のバイアスの欠如は、トレーニングサンプル間のスムーズな補間を混乱させ、異なるスペクトルの信号領域に一般化する障害となる。 この挙動をフーリエレンズを用いて検討し、座標mlpの帯域幅が増大するにつれて、適切なプリエントが明示的に提供されない限り低周波が抑制される傾向があることを明らかにする。 これらの知見に基づき、アーキテクチャの変更なしに既存のネットワークに組み込むことができる、上記の問題を緩和できるシンプルな正規化手法を提案する。

関連論文リスト

• Residual Connections and Normalization Can Provably Prevent Oversmoothing in GNNs [30.003409099607204]
  残差接続と正規化層を有する(線形化)グラフニューラルネットワーク(GNN)の形式的かつ正確な特徴付けを提供する。 正規化層の中心となるステップは、メッセージパッシングにおけるグラフ信号を変化させ、関連する情報を抽出しにくくすることを示す。 本稿では,グラフNormv2と呼ばれる新しい正規化レイヤを導入し,その中心となるステップを学習することで,元のグラフ信号を望ましくない方法で歪ませないようにする。
  論文  参考訳（メタデータ） (2024-06-05T06:53:16Z)
• Synergistic Integration of Coordinate Network and Tensorial Feature for Improving Neural Radiance Fields from Sparse Inputs [26.901819636977912]
  本稿では,低周波信号に対する強いバイアスで知られる座標ネットワークと多面表現を統合する手法を提案する。 提案手法は,スパース入力を持つ静的および動的NeRFのベースラインモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-13T15:42:46Z)
• On Optimal Sampling for Learning SDF Using MLPs Equipped with Positional Encoding [76.78321723602636]
  我々は、好ましくない副作用を伴わずに、正確な暗黙の場を学習するための適切なサンプリング率を決定するツールを考案した。 PEを具備したPEは、PE層の最高周波数成分よりも内在周波数がはるかに高いことが観察された。 SDFフィッティングの設定において,この推奨サンプリングレートは正確なフィッティング結果の確保に十分であることを示す。
  論文  参考訳（メタデータ） (2024-01-02T10:51:52Z)
• Mixing-Denoising Generalizable Occupancy Networks [10.316008740970037]
  現在の最先端の暗黙のニューラル形状モデルは、畳み込みの帰納的バイアスに依存している。 固有モデルバイアスを緩和し、再構成タスクに関連する補助正規化で仮説空間を制約する。 結果として得られたモデルは、ポイントクラウドネットワークからローカルに条件付けされた最初のMLPである。
  論文  参考訳（メタデータ） (2023-11-20T19:05:57Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• DINER: Disorder-Invariant Implicit Neural Representation [33.10256713209207]
  入射神経表現(INR)は、信号の属性を対応する座標の関数として特徴づける。 本稿では、従来のINRバックボーンにハッシュテーブルを付加することにより、障害不変な暗黙的神経表現(DINER)を提案する。
  論文  参考訳（メタデータ） (2022-11-15T03:34:24Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Multi-Head ReLU Implicit Neural Representation Networks [3.04585143845864]
  暗黙的神経表現(INR)のための新しいマルチヘッド多層パーセプトロン(MLP)構造 本稿では,提案モデルが従来のReLUネットワークの特別なバイアスに悩まされず,優れた性能を有することを示す。
  論文  参考訳（メタデータ） (2021-10-07T13:27:35Z)
• Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains [69.62456877209304]
  単純なフーリエ特徴写像を通して入力点を渡すことで、多層パーセプトロンが高周波関数を学習できることを示す。 結果は、最先端の結果を達成するコンピュータビジョンとグラフィックの進歩に光を当てた。
  論文  参考訳（メタデータ） (2020-06-18T17:59:11Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。