Fugu-MT 論文翻訳(概要): Spline-based Transformers

論文の概要: Spline-based Transformers

arxiv url: http://arxiv.org/abs/2504.02797v1
Date: Thu, 03 Apr 2025 17:42:07 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-04 12:57:34.968415
Title: Spline-based Transformers
Title（参考訳）: スプライン型変圧器
Authors: Prashanth Chandran, Agon Serifi, Markus Gross, Moritz Bächer,
Abstract要約: スプラインベースのトランスフォーマーは、要素の入力シーケンスをスムーズな軌道として潜時空間に埋め込む。従来の位置符号化と比較して,提案手法の優れた性能を示す。
参考スコア（独自算出の注目度）: 8.655229136683372
License:
Abstract: We introduce Spline-based Transformers, a novel class of Transformer models that eliminate the need for positional encoding. Inspired by workflows using splines in computer animation, our Spline-based Transformers embed an input sequence of elements as a smooth trajectory in latent space. Overcoming drawbacks of positional encoding such as sequence length extrapolation, Spline-based Transformers also provide a novel way for users to interact with transformer latent spaces by directly manipulating the latent control points to create new latent trajectories and sequences. We demonstrate the superior performance of our approach in comparison to conventional positional encoding on a variety of datasets, ranging from synthetic 2D to large-scale real-world datasets of images, 3D shapes, and animations.
Abstract（参考訳）: 位置符号化を必要としない新しいトランスフォーマーモデルであるSpline-based Transformersを紹介した。コンピュータアニメーションにおけるスプラインを用いたワークフローにインスパイアされた私たちのSplineベースのトランスフォーマーは、要素の入力シーケンスを潜時空間の滑らかな軌跡として埋め込む。シーケンス長外挿などの位置符号化の欠点を克服する上で、スプラインベースのトランスフォーマーは、潜時制御点を直接操作して新しい潜時トラジェクトリとシーケンスを作成することで、トランスフォーマー潜時空間と対話する新しい方法を提供する。提案手法は,合成2次元から大規模実世界の画像,3次元形状,アニメーションに至るまで,様々なデータセットにおける従来の位置符号化と比較して,優れた性能を示す。

関連論文リスト

B-cos Alignment for Inherently Interpretable CNNs and Vision Transformers [97.75725574963197]
本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
論文参考訳（メタデータ） (2023-06-19T12:54:28Z)
DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets [95.84755169585492]
本研究では,屋外3次元知覚のためのシングルストライドウィンドウベースのボクセルトランスであるDynamic Sparse Voxel Transformer (DSVT)を提案する。本モデルでは,3次元認識タスクを多岐にわたって行うことにより,最先端の性能を実現する。
論文参考訳（メタデータ） (2023-01-15T09:31:58Z)
Track Targets by Dense Spatio-Temporal Position Encoding [27.06820571703848]
変換器を用いた動画における目標追跡のための目標位置を符号化する新しいパラダイムを提案する。提案した符号化位置は、外観マッチングを超えたフレーム間のターゲットを関連付ける位置情報を提供する。提案する特徴ベクトルの代わりに2次元CNN機能に符号化を適用し,位置情報の喪失を回避する。
論文参考訳（メタデータ） (2022-10-17T22:04:39Z)
Pix4Point: Image Pretrained Standard Transformers for 3D Point Cloud Understanding [62.502694656615496]
本稿では、プログレッシブ・ポイント・パッチ・エンベディングと、PViTと呼ばれる新しいポイント・クラウド・トランスフォーマーモデルを提案する。 PViTはTransformerと同じバックボーンを共有しているが、データに対して空腹が少ないことが示されており、Transformerは最先端技術に匹敵するパフォーマンスを実現することができる。我々は、イメージ領域で事前訓練されたトランスフォーマーを活用して、下流のクラウド理解を強化する、シンプルで効果的なパイプライン「Pix4Point」を定式化します。
論文参考訳（メタデータ） (2022-08-25T17:59:29Z)
AFTer-UNet: Axial Fusion Transformer UNet for Medical Image Segmentation [19.53151547706724]
トランスをベースとしたモデルは、医療画像セグメンテーションにおけるこれらの手法の探求に注目されている。本稿では、畳み込み層の長周期モデリングにおける詳細特徴抽出能力と変圧器強度の両面を活かしたAxial Fusion Transformer UNet(AFTer-UNet)を提案する。パラメータが少なく、GPUメモリのトレーニングも従来のトランスフォーマーベースのモデルよりも少ない。
論文参考訳（メタデータ） (2021-10-20T06:47:28Z)
Glance-and-Gaze Vision Transformer [13.77016463781053]
我々は Glance-and-Gaze Transformer (GG-Transformer) という新しい視覚変換器を提案する。自然の場面で物体を認識するとき、人間のGlance and Gazeの行動によって動機付けられている。提案手法は,従来の最先端変圧器よりも一貫した性能を実現することを実証的に実証する。
論文参考訳（メタデータ） (2021-06-04T06:13:47Z)
StyTr^2: Unbiased Image Style Transfer with Transformers [59.34108877969477]
イメージスタイル転送の目的は、オリジナルコンテンツを維持しながら、スタイル参照によってガイドされた芸術的特徴を持つ画像をレンダリングすることである。従来のニューラルスタイルの転送法は通常バイアスを受けており、コンテントリークは、同じ参照画像でスタイル転送プロセスの何回かの実行によって観察することができる。我々は、この重要な問題に対処するために、トランスフォーマーベースのアプローチ、すなわちStyTr2を提案する。
論文参考訳（メタデータ） (2021-05-30T15:57:09Z)
Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文参考訳（メタデータ） (2021-03-22T18:00:13Z)
Incorporating Convolution Designs into Visual Transformers [24.562955955312187]
我々は、低レベル特徴抽出におけるCNNの利点、局所性の向上、長距離依存の確立におけるトランスフォーマーの利点を組み合わせた新しいtextbfConvolution-enhanced image Transformer (CeiT) を提案する。 ImageNetと7つの下流タスクの実験結果は、大量のトレーニングデータや追加のCNN教師を必要とすることなく、従来のトランスフォーマーや最先端CNNと比較してCeiTの有効性と一般化能力を示している。
論文参考訳（メタデータ） (2021-03-22T13:16:12Z)
Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。