論文の概要: Rethinking Positional Encoding

• arxiv url: http://arxiv.org/abs/2107.02561v1
• Date: Tue, 6 Jul 2021 12:04:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 13:56:38.121817
• Title: Rethinking Positional Encoding
• Title（参考訳）: 位置エンコーディングの再考
• Authors: Jianqiao Zheng, Sameera Ramasinghe, Simon Lucey
• Abstract要約: 代替の非フーリエ埋め込み関数が実際に位置符号化に利用できることを示す。 組込み行列の安定ランクと組込み座標間の距離保存とのトレードオフによって,それらの性能が完全に決定されることを示す。 シフト基底関数の観点から位置符号化を解析するためのより一般的な理論を提案する。
• 参考スコア（独自算出の注目度）: 31.80055086317266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well noted that coordinate based MLPs benefit greatly -- in terms of preserving high-frequency information -- through the encoding of coordinate positions as an array of Fourier features. Hitherto, the rationale for the effectiveness of these positional encodings has been solely studied through a Fourier lens. In this paper, we strive to broaden this understanding by showing that alternative non-Fourier embedding functions can indeed be used for positional encoding. Moreover, we show that their performance is entirely determined by a trade-off between the stable rank of the embedded matrix and the distance preservation between embedded coordinates. We further establish that the now ubiquitous Fourier feature mapping of position is a special case that fulfills these conditions. Consequently, we present a more general theory to analyze positional encoding in terms of shifted basis functions. To this end, we develop the necessary theoretical formulae and empirically verify that our theoretical claims hold in practice. Codes available at https://github.com/osiriszjq/Rethinking-positional-encoding.
• Abstract（参考訳）: 座標ベースのmlpは、フーリエ特徴の配列として座標位置を符号化することで、高周波情報を保存するという点で、非常に有益である。 これらの位置符号化の有効性の理論的根拠は、フーリエレンズを通してのみ研究されている。 本稿では,非フーリエ埋め込み関数が位置符号化に有効であることを示すことにより,この理解を深める。 さらに,それらの性能は,組込み行列の安定階数と組込み座標間の距離保存とのトレードオフによって決定されることを示した。 さらに,現在普及している位置のフーリエ特徴マッピングが,これらの条件を満たす特別な場合であることを示す。 したがって、シフト基底関数の観点から位置符号化を解析するためのより一般的な理論を提案する。 この目的のために、我々は必要な理論式を開発し、我々の理論的主張が実際に成り立つことを実証的に検証する。 コードはhttps://github.com/osiriszjq/rethinking-positional-encodingで入手できる。

関連論文リスト

• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• Positional Encoding Helps Recurrent Neural Networks Handle a Large Vocabulary [1.4594704809280983]
  位置符号化は入力データ上の時間指標の高次元表現である。 RNNは、データポイントの時間情報を自身でエンコードすることができ、位置エンコーディングの使用は、一見冗長/不要なように見える。
  論文  参考訳（メタデータ） (2024-01-31T23:32:20Z)
• Coordinate Quantized Neural Implicit Representations for Multi-view Reconstruction [28.910183274743872]
  量子化座標を用いたニューラル暗黙表現を導入し、最適化時のフィールドの不確かさとあいまいさを低減する。 我々は離散座標とその位置符号化を用いてボリュームレンダリングを通して暗黙の関数を学習する。 広く使用されているベンチマークによる評価は、最先端技術よりも優位性を示している。
  論文  参考訳（メタデータ） (2023-08-21T20:27:33Z)
• Generalized Laplacian Positional Encoding for Graph Representation Learning [15.723716197068574]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理するための主要なツールである。 近年の研究では、位置エンコーディングの考え方をグラフデータに適用している。 本稿はラプラシア語に基づく位置符号化の最近の成功から着想を得たものである。
  論文  参考訳（メタデータ） (2022-10-28T07:21:57Z)
• Trading Positional Complexity vs. Deepness in Coordinate Networks [33.90893096003318]
  代替の非フーリエ埋め込み関数が実際に位置符号化に利用できることを示す。 それらの性能は、組込み行列の安定ランクと組込み座標間の距離保存の間のトレードオフによって決定される。 我々は、より複雑な位置符号化 -- モードの数と指数関数的にスケールする -- を利用することは、同等のパフォーマンスを達成するために線形(ディープではなく)座標関数のみを必要とすると論じる。
  論文  参考訳（メタデータ） (2022-05-18T15:17:09Z)
• Dense Coding with Locality Restriction for Decoder: Quantum Encoders vs. Super-Quantum Encoders [67.12391801199688]
  我々は、デコーダに様々な局所性制限を課すことにより、濃密な符号化について検討する。 このタスクでは、送信者アリスと受信機ボブが絡み合った状態を共有する。
  論文  参考訳（メタデータ） (2021-09-26T07:29:54Z)
• Learnable Fourier Features for Multi-DimensionalSpatial Positional Encoding [96.9752763607738]
  本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。 本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:40:18Z)
• Positional Encoding as Spatial Inductive Bias in GANs [97.6622154941448]
  SinGANは限られた有効な受容器分野にもかかわらず内部パッチ配分の学習の印象的な機能を示します。 本研究では,発電機のパディングゼロ時における暗黙的位置符号化によって,このような能力が大幅にもたらされることを示した。 本稿では,新しいマルチスケール学習戦略を提案し,その効果を最新型無条件発電機stylegan2で実証する。
  論文  参考訳（メタデータ） (2020-12-09T18:27:16Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)
• A Transformer-based Approach for Source Code Summarization [86.08359401867577]
  コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。 アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
  論文  参考訳（メタデータ） (2020-05-01T23:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。