論文の概要: SHAPE: Shifted Absolute Position Embedding for Transformers

• arxiv url: http://arxiv.org/abs/2109.05644v1
• Date: Mon, 13 Sep 2021 00:10:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-15 11:25:03.082680
• Title: SHAPE: Shifted Absolute Position Embedding for Transformers
• Title（参考訳）: SHAPE:変圧器用シフトした絶対位置埋め込み
• Authors: Shun Kiyono, Sosuke Kobayashi, Jun Suzuki, Kentaro Inui
• Abstract要約: 既存の位置表現は、目に見えない長さや計算コストの高いデータをテストする一般化の欠如に悩まされる。 両問題に対処するため,シフト絶対位置埋め込み(SHAPE)について検討した。
• 参考スコア（独自算出の注目度）: 59.03597635990196
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Position representation is crucial for building position-aware representations in Transformers. Existing position representations suffer from a lack of generalization to test data with unseen lengths or high computational cost. We investigate shifted absolute position embedding (SHAPE) to address both issues. The basic idea of SHAPE is to achieve shift invariance, which is a key property of recent successful position representations, by randomly shifting absolute positions during training. We demonstrate that SHAPE is empirically comparable to its counterpart while being simpler and faster.
• Abstract（参考訳）: 位置表現はトランスフォーマーにおける位置認識表現の構築に不可欠である。 既存の位置表現は、見えない長さや計算コストの高いデータをテストするための一般化の欠如に苦しむ。 両問題に対処するため,シフト絶対位置埋め込み(SHAPE)を検討した。 SHAPEの基本的な考え方は、トレーニング中に絶対位置をランダムにシフトさせることによって、最近成功した位置表現の重要な特性であるシフト不変性を達成することである。 SHAPEは、よりシンプルで高速でありながら、経験的に同等であることを示す。

関連論文リスト

• EipFormer: Emphasizing Instance Positions in 3D Instance Segmentation [51.996943482875366]
  本稿では, プログレッシブアグリゲーションとデュアル位置埋め込みを組み合わせた新しいトランスフォーマーアーキテクチャ, EipFormerを提案する。 EipFormerは最先端のアプローチよりも優れた、あるいは同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-12-09T16:08:47Z)
• DropPos: Pre-Training Vision Transformers by Reconstructing Dropped Positions [63.61970125369834]
  DropPosは、Dropped Positionsを再構築するために設計された新しいプレテキストタスクである。 コードはhttps://github.com/Haochen-Wang409/DropPos.comで公開されている。
  論文  参考訳（メタデータ） (2023-09-07T09:12:02Z)
• Open-World Pose Transfer via Sequential Test-Time Adaption [92.67291699304992]
  典型的なポーズ転送フレームワークは、通常、識別モデルをトレーニングするために代表的データセットを使用する。 テスト時間適応(TTA)は、自己スーパービジョンで本質的な特徴を学習する事前学習モデルを使用することで、OODデータに対して実現可能なソリューションを提供する。 実験では、まず、Tiktokの再現や有名人による動き合成など、オープンワールドの応用に、ポーズ転送が適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-20T09:01:23Z)
• The Curious Case of Absolute Position Embeddings [65.13827063579728]
  トランスフォーマー言語モデルは、位置情報を用いた単語順序の概念を符号化する。 自然言語では、絶対的な位置ではなく相対的な位置であり、APEがこのような情報を捉えることができる範囲は研究されていない。 我々は, APE を用いて訓練されたモデルが, 位置情報をシフトした文を入力した時点で, 位置情報に基づいて過度に訓練されていることを観察した。
  論文  参考訳（メタデータ） (2022-10-23T00:00:04Z)
• SSP-Pose: Symmetry-Aware Shape Prior Deformation for Direct Category-Level Object Pose Estimation [77.88624073105768]
  カテゴリーレベルのポーズ推定は、クラス内形状の変化によって難しい問題である。 カテゴリレベルのポーズ推定のためのエンドツーエンドのトレーニング可能なネットワークSSP-Poseを提案する。 SSP-Poseは、リアルタイムの推論速度が約25Hzの競合に比べて性能が優れている。
  論文  参考訳（メタデータ） (2022-08-13T14:37:31Z)
• CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings [33.87449556591022]
  絶対位置埋め込みのための拡張型アプローチ(CAPE)を提案する。 CAPEは絶対(単純さと速度)と相対的な位置埋め込み(一般化)の両方の利点を保っている。
  論文  参考訳（メタデータ） (2021-06-06T14:54:55Z)
• What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding [42.011175069706816]
  本稿では, 特徴レベルの解析と, 象徴的NLPタスクの多くに対する実証実験を通じて, 事前学習した位置埋め込みの新たな洞察を提供することに焦点をあてる。 本実験の結果は,アプリケーション特性が与えられた特定のタスクに対して,適切な位置符号化関数を選択するための今後の課題を導出できると考えられる。
  論文  参考訳（メタデータ） (2020-10-10T05:03:14Z)
• Improve Transformer Models with Better Relative Position Embeddings [18.59434691153783]
  トランスフォーマーアーキテクチャは、単語順序の概念を維持するために明示的な位置符号化に依存している。 既存の作業は位置情報を十分に活用していないと我々は主張する。 本稿では,クエリ,キー,相対的な位置埋め込みの相互作用を促進する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T22:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。