Fugu-MT 論文翻訳(概要): Geotokens and Geotransformers

論文の概要: Geotokens and Geotransformers

arxiv url: http://arxiv.org/abs/2403.15940v1
Date: Sat, 23 Mar 2024 22:02:56 GMT
ステータス: 処理完了
システム内更新日: 2024-03-26 20:22:33.326705
Title: Geotokens and Geotransformers
Title（参考訳）: ジオトケンとジオトランス
Authors: Eren Unlu,
Abstract要約: 本稿では, 変圧器の入力成分であるジオトケンについて述べる。典型的な言語列とは異なり、これらのトークンの場合、順序は地理的座標そのものほど重要ではない。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In transformer architectures, position encoding primarily provides a sense of sequence for input tokens. While the original transformer paper's method has shown satisfactory results in general language processing tasks, there have been new proposals, such as Rotary Position Embedding (RoPE), for further improvement. This paper presents geotokens, input components for transformers, each linked to a specific geological location. Unlike typical language sequences, for these tokens, the order is not as vital as the geographical coordinates themselves. To represent the relative position in this context and to keep a balance between the real world distance and the distance in the embedding space, we design a position encoding approach drawing from the RoPE structure but tailored for spherical coordinates.
Abstract（参考訳）: トランスアーキテクチャでは、位置符号化は主に入力トークンのシーケンスの感覚を提供する。ロータリー位置埋め込み (Rotary Position Embedding, RoPE) などの改良案が提案されている。本稿では, 変圧器の入力成分であるジオトケンについて述べる。典型的な言語列とは異なり、これらのトークンの場合、順序は地理的座標そのものほど重要ではない。この文脈で相対的な位置を表現し、埋め込み空間における実世界距離と距離のバランスを保つために、球面座標用に調整されたRoPE構造から描画された位置符号化アプローチを設計する。

関連論文リスト

PosFormer: Recognizing Complex Handwritten Mathematical Expression with Position Forest Transformer [51.260384040953326]
手書き数学的表現認識(HMER)は、人間と機械の相互作用シナリオに広く応用されている。本稿では,HMERのための位置フォレスト変換器(PosFormer)を提案する。 PosFormerは、最先端のメソッドである2.03%/1.22%/2、1.83%、および4.62%を一貫して上回っている。
論文参考訳（メタデータ） (2024-07-10T15:42:58Z)
Learning SO(3)-Invariant Semantic Correspondence via Local Shape Transform [62.27337227010514]
RISTと呼ばれる局所形状変換を用いた自己教師型回転不変3次元対応学習システムを提案する。 RISTは、挑戦的なクラス内変分と任意の向きの下でも、形状間の密接な対応を確立することを学ぶ。 RISTは、任意の回転点雲対に与えられる3D部分ラベル転送とセマンティックキーポイント転送の最先端性能を示す。
論文参考訳（メタデータ） (2024-04-17T08:09:25Z)
LGFCTR: Local and Global Feature Convolutional Transformer for Image Matching [8.503217766507584]
局所的文脈とグローバル構造の両方を捉えるために,新しい畳み込み変換器を提案する。普遍的なFPNライクなフレームワークは、トランスフォーマーによるクロスデコーダと同様に、自己エンコーダ内のグローバル構造をキャプチャする。新たなレグレッションベースのサブピクセルリファインメントモジュールは、微粒なウィンドウ特徴を微粒な位置ずれレグレッションに活用する。
論文参考訳（メタデータ） (2023-11-29T12:06:19Z)
GTA: A Geometry-Aware Attention Mechanism for Multi-View Transformers [63.41460219156508]
既存の位置符号化方式は3次元視覚タスクに最適であると主張する。トークンの幾何学的構造を相対変換として符号化する幾何学的注意機構を提案する。我々は、Geometric Transform Attention (GTA) と呼ばれる、最先端のトランスフォーマーベースNVSモデルの学習効率と性能を向上させることに留意している。
論文参考訳（メタデータ） (2023-10-16T13:16:09Z)
Spherical Position Encoding for Transformers [0.0]
本稿では,トランスアーキテクチャの入力要素である「ゲオトケン」の概念を紹介する。自然言語とは異なり、逐次位置はモデルにとって重要ではなく、地理的座標である。球面座標の調整を行うRoPEアーキテクチャに基づく位置符号化機構を定式化する。
論文参考訳（メタデータ） (2023-10-04T09:28:59Z)
LCPFormer: Towards Effective 3D Point Cloud Analysis via Local Context Propagation in Transformers [60.51925353387151]
本稿では,近隣地域間のメッセージパッシングを活用するために,LCP (Local Context Propagation) という新しいモジュールを提案する。隣接するローカル領域の重複点を仲介として使用した後、異なるローカルリージョンからの共有ポイントの特徴を再重み付けし、その後、次のレイヤに渡す。提案手法は, 異なるタスクに適用可能であり, 3次元形状分類や高密度予測タスクを含むベンチマークにおいて, 様々なトランスフォーマーベースの手法より優れる。
論文参考訳（メタデータ） (2022-10-23T15:43:01Z)
RePFormer: Refinement Pyramid Transformer for Robust Facial Landmark Detection [131.1478251760399]
顔のランドマーク検出タスクをピラミッド記憶に沿ったランドマーククエリの精製として定式化する。具体的には、ピラミッドトランスフォーマーヘッド(PTH)を導入し、ランドマーク間の関係とランドマークとクロススケールコンテキストの間の異種関係の両方を構築する。動的ランドマークリファインメント(DLR)モジュールは、ランドマークレグレッションをエンドツーエンドのリファインメント手順に分解するために設計されている。
論文参考訳（メタデータ） (2022-07-08T14:12:26Z)
Dynamic Position Encoding for Transformers [18.315954297959617]
再発モデルは、過去数年間、ニューラルネットワーク翻訳(NMT)の分野を支配してきた。トランスフォーマーは、非リカレントな性質のため、シーケンシャル/ポジション情報を適切にエンコードできない可能性がある。本稿では,この欠点に対処するため,入力テキストに応じて新しい位置埋め込みを持つ新しいアーキテクチャを提案する。
論文参考訳（メタデータ） (2022-04-18T03:08:48Z)
RoFormer: Enhanced Transformer with Rotary Position Embedding [9.01819510933327]
位置情報を効果的に活用するためのRotary Position Embedding(RoPE)という新しい手法を提案する。 RoPEは絶対位置を回転行列でエンコードし、一方、自己アテンションの定式化に明示的な相対位置依存性を組み込む。様々な長文分類ベンチマークデータセットを用いて、回転位置埋め込み(RoFormer)と呼ばれる拡張変換器の評価を行った。
論文参考訳（メタデータ） (2021-04-20T09:54:06Z)
A Rotation-Invariant Framework for Deep Point Cloud Analysis [132.91915346157018]
ネットワーク入力時に一般的な3次元カルト座標を置き換えるために,新しい低レベル純粋回転不変表現を導入する。また,これらの表現を特徴に組み込むネットワークアーキテクチャを提案し,点とその近傍の局所的関係とグローバルな形状構造を符号化する。本手法は, 形状分類, 部分分割, 形状検索を含む多点雲解析タスクにおいて評価する。
論文参考訳（メタデータ） (2020-03-16T14:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。