論文の概要: Beyond Periodicity: Towards a Unifying Framework for Activations in Coordinate-MLPs

• arxiv url: http://arxiv.org/abs/2111.15135v1
• Date: Tue, 30 Nov 2021 05:30:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 15:56:10.151790
• Title: Beyond Periodicity: Towards a Unifying Framework for Activations in Coordinate-MLPs
• Title（参考訳）: 周期性を超えて - コーディネートMLPにおけるアクティベーション統合フレームワークを目指して
• Authors: Sameera Ramasinghe and Simon Lucey
• Abstract要約: 信号の符号化に適した幅広い種類のアクティベーションが存在することを示す。 我々は、これらの非伝統的なアクティベーション機能を利用する座標MLPへのシフトを提唱する。
• 参考スコア（独自算出の注目度）: 37.56813817513575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coordinate-MLPs are emerging as an effective tool for modeling multidimensional continuous signals, overcoming many drawbacks associated with discrete grid-based approximations. However, coordinate-MLPs with ReLU activations, in their rudimentary form, demonstrate poor performance in representing signals with high fidelity, promoting the need for positional embedding layers. Recently, Sitzmann et al. proposed a sinusoidal activation function that has the capacity to omit positional embedding from coordinate-MLPs while still preserving high signal fidelity. Despite its potential, ReLUs are still dominating the space of coordinate-MLPs; we speculate that this is due to the hyper-sensitivity of networks -- that employ such sinusoidal activations -- to the initialization schemes. In this paper, we attempt to broaden the current understanding of the effect of activations in coordinate-MLPs, and show that there exists a broader class of activations that are suitable for encoding signals. We affirm that sinusoidal activations are only a single example in this class, and propose several non-periodic functions that empirically demonstrate more robust performance against random initializations than sinusoids. Finally, we advocate for a shift towards coordinate-MLPs that employ these non-traditional activation functions due to their high performance and simplicity.
• Abstract（参考訳）: coordinate-mlpsは多次元連続信号のモデリングに有効なツールとして登場し、離散格子に基づく近似に関連する多くの欠点を克服している。 しかし、ReLUアクティベーションを持つ座標MLPは、その初歩的な形態で、高忠実度信号の表現性能の低下を示し、位置埋め込み層の必要性を促進する。 近年、Sitzmannらは、高信号忠実性を維持しながら座標MLPの位置埋め込みを省略する能力を持つ正弦波活性化関数を提案した。 この可能性にもかかわらず、ReLUは依然として座標MLPの空間を支配している。 本稿では,コーディネートmlpsにおけるアクティベーションの効果に関する現在の理解を深め,信号の符号化に適したアクティベーションのより広いクラスが存在することを示す。 このクラスでは正弦波の活性化は単一の例に過ぎないと確認し、正弦波よりもランダムな初期化に対するより堅牢な性能を実証的に示すいくつかの非周期関数を提案する。 最後に,これらの非伝統的なアクティベーション関数を用いた座標MLPへのシフトを提案する。

関連論文リスト

• Synergistic Integration of Coordinate Network and Tensorial Feature for Improving Neural Radiance Fields from Sparse Inputs [26.901819636977912]
  本稿では,低周波信号に対する強いバイアスで知られる座標ネットワークと多面表現を統合する手法を提案する。 提案手法は,スパース入力を持つ静的および動的NeRFのベースラインモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-13T15:42:46Z)
• A Sampling Theory Perspective on Activations for Implicit Neural Representations [73.6637608397055]
  Inlicit Neural Representations (INR) は、コンパクトで微分可能なエンティティとして信号の符号化で人気を博している。 サンプリング理論の観点からこれらの活性化を包括的に分析する。 本研究により,INRと併用されていないシンクアクティベーションは,信号符号化に理論的に最適であることが判明した。
  論文  参考訳（メタデータ） (2024-02-08T05:52:45Z)
• HOSC: A Periodic Activation Function for Preserving Sharp Features in Implicit Neural Representations [2.1638817206926855]
  制御可能なシャープネスパラメータを持つ新しいアクティベーション関数であるHyperbolic Oscillation Function (HOSC)を導入する。 その単純さとモジュラリティのため、HOSCは、信号の暗黙的な表現方法としてニューラルネットワークを使用する既存のメソッドに容易に組み込むことのできる、プラグアンドプレイ機能を提供している。 我々はHOSCを一般的なタスクの配列における他の一般的なアクティベーションに対してベンチマークし、得られた表現の質の向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-01-20T09:56:34Z)
• Coordinate-Aware Modulation for Neural Fields [11.844561374381575]
  本稿では,ニューラルネットワークにおける合成とグリッド表現の両面を利用した新しい手法を提案する。 格子表現から抽出したスケールとシフト特徴を用いてパラメータを変調するニューラルコーディネート・アウェア・変調(CAM)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T10:42:51Z)
• Pointer Networks with Q-Learning for Combinatorial Optimization [55.2480439325792]
  我々は、モデルフリーQ値ポリシー近似をPointer Networks(Ptr-Nets)と統合したハイブリッドニューラルネットワークであるPointer Q-Network(PQN)を紹介する。 実験により,本手法の有効性を実証し,不安定な環境でモデルをテストする。
  論文  参考訳（メタデータ） (2023-11-05T12:03:58Z)
• On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
  高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。 低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
  論文  参考訳（メタデータ） (2023-10-30T17:55:28Z)
• Implicit Neural Representations and the Algebra of Complex Wavelets [36.311212480600794]
  Inlicit Neural representations (INRs) はユークリッド領域におけるシグナルの表現法として有用である。 ユークリッド空間上の多層パーセプトロン(MLP)として画像をパラメータ化することにより、INRは通常の離散表現では明らかでない信号の結合やスペクトルの特徴を効果的に表現する。
  論文  参考訳（メタデータ） (2023-10-01T02:01:28Z)
• Parametric Leaky Tanh: A New Hybrid Activation Function for Deep Learning [0.0]
  活性化機能(AF)はディープニューラルネットワーク(DNN)の重要な構成要素である 本稿では,Tanh と Leaky ReLU の双方の活性化関数の強みを組み合わせたハイブリッド活性化関数を提案する。 PLanh はすべての点で微分可能であり、負の入力に対する非ゼロ勾配を保証することで 'dying ReLU' 問題に対処する。
  論文  参考訳（メタデータ） (2023-08-11T08:59:27Z)
• Modulated Periodic Activations for Generalizable Local Functional Representations [113.64179351957888]
  我々は,複数のインスタンスに一般化し,最先端の忠実性を実現する新しい表現を提案する。 提案手法は,画像,映像,形状の汎用的な機能表現を生成し,単一信号に最適化された先行処理よりも高い再構成品質を実現する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:04Z)
• Positional Encoding as Spatial Inductive Bias in GANs [97.6622154941448]
  SinGANは限られた有効な受容器分野にもかかわらず内部パッチ配分の学習の印象的な機能を示します。 本研究では,発電機のパディングゼロ時における暗黙的位置符号化によって,このような能力が大幅にもたらされることを示した。 本稿では,新しいマルチスケール学習戦略を提案し,その効果を最新型無条件発電機stylegan2で実証する。
  論文  参考訳（メタデータ） (2020-12-09T18:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。