論文の概要: Trading Positional Complexity vs. Deepness in Coordinate Networks

• arxiv url: http://arxiv.org/abs/2205.08987v1
• Date: Wed, 18 May 2022 15:17:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-19 13:30:38.911085
• Title: Trading Positional Complexity vs. Deepness in Coordinate Networks
• Title（参考訳）: コーディネートネットワークにおけるトレーディング位置複雑度と深度
• Authors: Jianqiao Zheng, Sameera Ramasinghe, Xueqian Li, Simon Lucey
• Abstract要約: 代替の非フーリエ埋め込み関数が実際に位置符号化に利用できることを示す。 それらの性能は、組込み行列の安定ランクと組込み座標間の距離保存の間のトレードオフによって決定される。 我々は、より複雑な位置符号化 -- モードの数と指数関数的にスケールする -- を利用することは、同等のパフォーマンスを達成するために線形(ディープではなく)座標関数のみを必要とすると論じる。
• 参考スコア（独自算出の注目度）: 33.90893096003318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well noted that coordinate-based MLPs benefit -- in terms of preserving high-frequency information -- through the encoding of coordinate positions as an array of Fourier features. Hitherto, the rationale for the effectiveness of these positional encodings has been mainly studied through a Fourier lens. In this paper, we strive to broaden this understanding by showing that alternative non-Fourier embedding functions can indeed be used for positional encoding. Moreover, we show that their performance is entirely determined by a trade-off between the stable rank of the embedded matrix and the distance preservation between embedded coordinates. We further establish that the now ubiquitous Fourier feature mapping of position is a special case that fulfills these conditions. Consequently, we present a more general theory to analyze positional encoding in terms of shifted basis functions. In addition, we argue that employing a more complex positional encoding -- that scales exponentially with the number of modes -- requires only a linear (rather than deep) coordinate function to achieve comparable performance. Counter-intuitively, we demonstrate that trading positional embedding complexity for network deepness is orders of magnitude faster than current state-of-the-art; despite the additional embedding complexity. To this end, we develop the necessary theoretical formulae and empirically verify that our theoretical claims hold in practice.
• Abstract（参考訳）: 座標ベースのMLPは、フーリエ特徴の配列として座標位置を符号化することで、高周波情報の保存という観点で利益を得る。 これらの位置符号化の有効性の理論的根拠は、主にフーリエレンズを用いて研究されている。 本稿では,非フーリエ埋め込み関数が位置符号化に有効であることを示すことにより,この理解を深める。 さらに,それらの性能は,組込み行列の安定階数と組込み座標間の距離保存とのトレードオフによって決定されることを示した。 さらに,現在普及している位置のフーリエ特徴マッピングが,これらの条件を満たす特別な場合であることを示す。 したがって、シフト基底関数の観点から位置符号化を解析するためのより一般的な理論を提案する。 さらに、より複雑な位置符号化(モード数に指数関数的にスケールする)を採用するには、同等のパフォーマンスを達成するために、線形(深い)座標関数のみを必要とする、と論じている。 対意的に、ネットワーク深度に対する位置埋め込みの複雑さは、追加の埋め込みの複雑さにもかかわらず、現在の最先端技術よりも桁違いに高速であることを示す。 この目的のために、我々は必要な理論式を開発し、我々の理論的主張が実際に成り立つことを実証的に検証する。

関連論文リスト

• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• Positional Encoding Helps Recurrent Neural Networks Handle a Large Vocabulary [1.4594704809280983]
  位置符号化は入力データ上の時間指標の高次元表現である。 RNNは、データポイントの時間情報を自身でエンコードすることができ、位置エンコーディングの使用は、一見冗長/不要なように見える。
  論文  参考訳（メタデータ） (2024-01-31T23:32:20Z)
• Coordinate Quantized Neural Implicit Representations for Multi-view Reconstruction [28.910183274743872]
  量子化座標を用いたニューラル暗黙表現を導入し、最適化時のフィールドの不確かさとあいまいさを低減する。 我々は離散座標とその位置符号化を用いてボリュームレンダリングを通して暗黙の関数を学習する。 広く使用されているベンチマークによる評価は、最先端技術よりも優位性を示している。
  論文  参考訳（メタデータ） (2023-08-21T20:27:33Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Rethinking Positional Encoding [31.80055086317266]
  代替の非フーリエ埋め込み関数が実際に位置符号化に利用できることを示す。 組込み行列の安定ランクと組込み座標間の距離保存とのトレードオフによって,それらの性能が完全に決定されることを示す。 シフト基底関数の観点から位置符号化を解析するためのより一般的な理論を提案する。
  論文  参考訳（メタデータ） (2021-07-06T12:04:04Z)
• Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
  重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。 この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。 これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
  論文  参考訳（メタデータ） (2021-06-21T03:04:51Z)
• Learnable Fourier Features for Multi-DimensionalSpatial Positional Encoding [96.9752763607738]
  本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。 本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:40:18Z)
• On Approximation in Deep Convolutional Networks: a Kernel Perspective [12.284934135116515]
  画像や音声などの高次元データを含むタスクにおける深層畳み込みネットワークの成功について検討する。 多層畳み込み核を検討し、カーネル方式のレンズを通して理論的・実証的に検討する。 入力パッチで動作する表現型カーネルは第1層では重要であるが、より単純なカーネルは高い層で十分性能を保ち得る。
  論文  参考訳（メタデータ） (2021-02-19T17:03:42Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。