論文の概要: Spherical Position Encoding for Transformers

• arxiv url: http://arxiv.org/abs/2310.04454v1
• Date: Wed, 4 Oct 2023 09:28:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-15 14:49:10.910882
• Title: Spherical Position Encoding for Transformers
• Title（参考訳）: 変圧器の球面位置符号化
• Authors: Eren Unlu
• Abstract要約: 本稿では,トランスアーキテクチャの入力要素である「ゲオトケン」の概念を紹介する。 自然言語とは異なり、逐次位置はモデルにとって重要ではなく、地理的座標である。 球面座標の調整を行うRoPEアーキテクチャに基づく位置符号化機構を定式化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Position encoding is the primary mechanism which induces notion of sequential order for input tokens in transformer architectures. Even though this formulation in the original transformer paper has yielded plausible performance for general purpose language understanding and generation, several new frameworks such as Rotary Position Embedding (RoPE) are proposed for further enhancement. In this paper, we introduce the notion of "geotokens" which are input elements for transformer architectures, each representing an information related to a geological location. Unlike the natural language the sequential position is not important for the model but the geographical coordinates are. In order to induce the concept of relative position for such a setting and maintain the proportion between the physical distance and distance on embedding space, we formulate a position encoding mechanism based on RoPE architecture which is adjusted for spherical coordinates.
• Abstract（参考訳）: 位置符号化は、トランスフォーマーアーキテクチャにおける入力トークンの逐次順序の概念を誘導する主要なメカニズムである。 また,本論文の定式化により汎用言語理解と生成に有効な性能が得られたが,ロータリー位置埋め込み(rope)などの新しい枠組みが提案されている。 本稿では,トランスフォーマーアーキテクチャの入力要素である「ジオトケン」の概念を紹介する。 自然言語とは異なり、逐次位置はモデルにとって重要ではなく、地理的座標である。 このような設定のための相対位置の概念を誘導し、埋め込み空間における物理距離と距離の比率を維持するために、球面座標に調整されたロープ構造に基づく位置符号化機構を定式化する。

関連論文リスト

• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• Geotokens and Geotransformers [0.0]
  本稿では, 変圧器の入力成分であるジオトケンについて述べる。 典型的な言語列とは異なり、これらのトークンの場合、順序は地理的座標そのものほど重要ではない。
  論文  参考訳（メタデータ） (2024-03-23T22:02:56Z)
• LGFCTR: Local and Global Feature Convolutional Transformer for Image Matching [8.503217766507584]
  局所的文脈とグローバル構造の両方を捉えるために,新しい畳み込み変換器を提案する。 普遍的なFPNライクなフレームワークは、トランスフォーマーによるクロスデコーダと同様に、自己エンコーダ内のグローバル構造をキャプチャする。 新たなレグレッションベースのサブピクセルリファインメントモジュールは、微粒なウィンドウ特徴を微粒な位置ずれレグレッションに活用する。
  論文  参考訳（メタデータ） (2023-11-29T12:06:19Z)
• GTA: A Geometry-Aware Attention Mechanism for Multi-View Transformers [63.41460219156508]
  既存の位置符号化方式は3次元視覚タスクに最適であると主張する。 トークンの幾何学的構造を相対変換として符号化する幾何学的注意機構を提案する。 我々は、Geometric Transform Attention (GTA) と呼ばれる、最先端のトランスフォーマーベースNVSモデルの学習効率と性能を向上させることに留意している。
  論文  参考訳（メタデータ） (2023-10-16T13:16:09Z)
• Linearized Relative Positional Encoding [43.898057545832366]
  相対的な位置符号化は、位置情報を表すためにバニラや線形変換器で広く使われている。 従来の線形相対的位置符号化手法を正準形式にまとめる。 さらに,一元変換を用いた線形相対的位置符号化アルゴリズムのファミリを提案する。
  論文  参考訳（メタデータ） (2023-07-18T13:56:43Z)
• LCPFormer: Towards Effective 3D Point Cloud Analysis via Local Context Propagation in Transformers [60.51925353387151]
  本稿では,近隣地域間のメッセージパッシングを活用するために,LCP (Local Context Propagation) という新しいモジュールを提案する。 隣接するローカル領域の重複点を仲介として使用した後、異なるローカルリージョンからの共有ポイントの特徴を再重み付けし、その後、次のレイヤに渡す。 提案手法は, 異なるタスクに適用可能であり, 3次元形状分類や高密度予測タスクを含むベンチマークにおいて, 様々なトランスフォーマーベースの手法より優れる。
  論文  参考訳（メタデータ） (2022-10-23T15:43:01Z)
• Learnable Fourier Features for Multi-DimensionalSpatial Positional Encoding [96.9752763607738]
  本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。 本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:40:18Z)
• RoFormer: Enhanced Transformer with Rotary Position Embedding [9.01819510933327]
  位置情報を効果的に活用するためのRotary Position Embedding(RoPE)という新しい手法を提案する。 RoPEは絶対位置を回転行列でエンコードし、一方、自己アテンションの定式化に明示的な相対位置依存性を組み込む。 様々な長文分類ベンチマークデータセットを用いて、回転位置埋め込み(RoFormer)と呼ばれる拡張変換器の評価を行った。
  論文  参考訳（メタデータ） (2021-04-20T09:54:06Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• A Rotation-Invariant Framework for Deep Point Cloud Analysis [132.91915346157018]
  ネットワーク入力時に一般的な3次元カルト座標を置き換えるために,新しい低レベル純粋回転不変表現を導入する。 また,これらの表現を特徴に組み込むネットワークアーキテクチャを提案し,点とその近傍の局所的関係とグローバルな形状構造を符号化する。 本手法は, 形状分類, 部分分割, 形状検索を含む多点雲解析タスクにおいて評価する。
  論文  参考訳（メタデータ） (2020-03-16T14:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。