論文の概要: SIMformer: Single-Layer Vanilla Transformer Can Learn Free-Space Trajectory Similarity
- arxiv url: http://arxiv.org/abs/2410.14629v1
- Date: Fri, 18 Oct 2024 17:30:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-21 14:23:52.207688
- Title: SIMformer: Single-Layer Vanilla Transformer Can Learn Free-Space Trajectory Similarity
- Title(参考訳): SIMformer:単層バニラトランスフォーマーは、自由空間の軌道類似性を学ぶことができる
- Authors: Chuang Yang, Renhe Jiang, Xiaohang Xu, Chuan Xiao, Kaoru Sezaki,
- Abstract要約: 本稿では,単一層ベニラ変換器エンコーダのみを特徴抽出器として使用する,シンプルで正確かつ高速でスケーラブルなモデルを提案する。
我々のモデルは、次元問題の呪いを著しく軽減し、有効性、効率性、スケーラビリティにおいて最先端の技術を上回ります。
- 参考スコア(独自算出の注目度): 11.354974227479355
- License:
- Abstract: Free-space trajectory similarity calculation, e.g., DTW, Hausdorff, and Frechet, often incur quadratic time complexity, thus learning-based methods have been proposed to accelerate the computation. The core idea is to train an encoder to transform trajectories into representation vectors and then compute vector similarity to approximate the ground truth. However, existing methods face dual challenges of effectiveness and efficiency: 1) they all utilize Euclidean distance to compute representation similarity, which leads to the severe curse of dimensionality issue -- reducing the distinguishability among representations and significantly affecting the accuracy of subsequent similarity search tasks; 2) most of them are trained in triplets manner and often necessitate additional information which downgrades the efficiency; 3) previous studies, while emphasizing the scalability in terms of efficiency, overlooked the deterioration of effectiveness when the dataset size grows. To cope with these issues, we propose a simple, yet accurate, fast, scalable model that only uses a single-layer vanilla transformer encoder as the feature extractor and employs tailored representation similarity functions to approximate various ground truth similarity measures. Extensive experiments demonstrate our model significantly mitigates the curse of dimensionality issue and outperforms the state-of-the-arts in effectiveness, efficiency, and scalability.
- Abstract(参考訳): 自由空間軌道類似性計算 (eg , DTW, Hausdorff, Frechet) はしばしば2次時間複雑性を生じさせるため, 学習に基づく手法が提案されている。
中心となる考え方は、エンコーダを訓練して軌道を表現ベクトルに変換し、それから基底真理を近似するためにベクトル類似性を計算することである。
しかし、既存の手法は、有効性と効率性の2つの課題に直面している。
1) それらすべてがユークリッド距離を用いて表現類似性を計算することにより,次元問題の激しい呪いを招き,表現の識別性を低下させ,その後の類似性検索タスクの精度に大きな影響を及ぼす。
2) 多くは三重奏法で訓練されており,効率を低下させる追加情報を必要とする場合が多い。
3) 従来の研究では, データセットのサイズが大きくなると有効性が低下するのを見落としていた。
これらの問題に対処するために,単層ベニラ変換器エンコーダのみを特徴抽出器として使用し,様々な基底真実類似度を近似するために,表現類似度関数を調整した,シンプルで正確かつ高速でスケーラブルなモデルを提案する。
大規模な実験により、我々のモデルは次元の問題の呪いを著しく軽減し、有効性、効率、拡張性において最先端の技術を上回ります。
関連論文リスト
- WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
深部画像登録は異常な精度と高速な推測を示した。
近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。
本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
論文 参考訳(メタデータ) (2024-07-18T11:51:01Z) - Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。
このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。
本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
論文 参考訳(メタデータ) (2024-07-03T07:54:08Z) - Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。
我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。
適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文 参考訳(メタデータ) (2024-06-24T23:00:58Z) - UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。
我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。
Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
論文 参考訳(メタデータ) (2022-12-08T18:59:57Z) - Contrastive Trajectory Similarity Learning with Dual-Feature Attention [24.445998309807965]
トレイ類似度尺度は、トラジェクトリデータベースにおけるクエリ述語として機能する。
そこで本研究では,TrajCLという学習に基づくトラジェクトリモデリング手法を提案する。
TrajCLは、最先端の軌跡類似度測定よりも一貫して、はるかに正確で高速である。
論文 参考訳(メタデータ) (2022-10-11T05:25:14Z) - ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。
これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。
種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
論文 参考訳(メタデータ) (2022-09-25T13:05:33Z) - CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point
Cloud Learning [81.85951026033787]
この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。
また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。
提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
論文 参考訳(メタデータ) (2022-07-31T21:39:15Z) - Improving Point Cloud Based Place Recognition with Ranking-based Loss
and Large Batch Training [1.116812194101501]
本稿では,識別可能な3Dポイントクラウド記述子を計算するための,シンプルで効果的な学習手法を提案する。
本稿では,画像検索における最近の進歩を取り入れ,異なる平均精度近似に基づく損失関数の修正版を提案する。
論文 参考訳(メタデータ) (2022-03-02T09:29:28Z) - CETransformer: Casual Effect Estimation via Transformer Based
Representation Learning [17.622007687796756]
データ駆動因果効果推定は、選択バイアスと反事実の欠如という2つの大きな課題に直面している。
これら2つの問題に対処するため、既存のアプローチのほとんどは、バランスの取れた表現を学ぶことで選択バイアスを減らす傾向にある。
本稿では,CETransformerモデルを用いて,変換器を用いた表現学習によるカジュアルエフェクト推定を提案する。
論文 参考訳(メタデータ) (2021-07-19T09:39:57Z) - An Unsupervised Learning Method with Convolutional Auto-Encoder for
Vessel Trajectory Similarity Computation [13.003061329076775]
畳み込みオートエンコーダ(CAE)を用いて低次元特徴を自動的に抽出する教師なし学習手法を提案する。
収集された大量の血管軌跡に基づいて、CAEは教師なしの方法で情報的軌跡画像の低次元表現を学習することができる。
提案手法は従来の軌道類似性手法を効率と有効性で大きく上回っている。
論文 参考訳(メタデータ) (2021-01-10T04:42:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。