論文の概要: Rotary Masked Autoencoders are Versatile Learners

• arxiv url: http://arxiv.org/abs/2505.20535v1
• Date: Mon, 26 May 2025 21:45:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.301268
• Title: Rotary Masked Autoencoders are Versatile Learners
• Title（参考訳）: ロータリーマスク付きオートエンコーダは、Versatile Learnerである
• Authors: Uros Zivanovic, Serafina Di Gioia, Andre Scaffidi, Martín de los Rios, Gabriella Contardo, Roberto Trotta,
• Abstract要約: ロータリーマスク付きオートエンコーダ(RoMAE)について紹介する。 RoMAEはMasked Autoencoder(MAE)の拡張であり、多次元連続位置情報による表現学習を可能にする。 本稿では,不規則かつ多変量な時系列,画像,音声など,ロマエの性能について紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Applying Transformers to irregular time-series typically requires specializations to their baseline architecture, which can result in additional computational overhead and increased method complexity. We present the Rotary Masked Autoencoder (RoMAE), which utilizes the popular Rotary Positional Embedding (RoPE) method for continuous positions. RoMAE is an extension to the Masked Autoencoder (MAE) that enables representation learning with multidimensional continuous positional information while avoiding any time-series-specific architectural specializations. We showcase RoMAE's performance on a variety of modalities including irregular and multivariate time-series, images, and audio, demonstrating that RoMAE surpasses specialized time-series architectures on difficult datasets such as the DESC ELAsTiCC Challenge while maintaining MAE's usual performance across other modalities. In addition, we investigate RoMAE's ability to reconstruct the embedded continuous positions, demonstrating that including learned embeddings in the input sequence breaks RoPE's relative position property.
• Abstract（参考訳）: トランスフォーマーを不規則な時系列に適用するには、通常、ベースラインアーキテクチャに特化する必要があるため、計算オーバーヘッドが増大し、メソッドの複雑さが増大する可能性がある。 本稿では,Rotary Masked Autoencoder (RoMAE) について述べる。 RoMAEはMasked Autoencoder(MAE)の拡張であり、時系列固有のアーキテクチャ特化を避けつつ、多次元連続的な位置情報による表現学習を可能にする。 我々は,不規則かつ多変量な時系列,画像,音声など,さまざまなモダリティに対するRoMAEの性能を示すとともに,DEC ELAsTiCC Challengeのような難しいデータセット上で,RoMAEが特別な時系列アーキテクチャを超えながら,MAEの通常の性能を他のモダリティにわたって維持していることを示す。 さらに,RoMAEの連続した位置を再構築する能力について検討し,入力シーケンスに学習された埋め込みを含むと,RoPEの相対的な位置特性が損なわれることを示す。

関連論文リスト

• Rotary Outliers and Rotary Offset Features in Large Language Models [1.9580473532948401]
  回転埋め込みを用いた場合,クエリやキーに現れる特徴やパターンについて検討する。 クエリとキーのモデル間のアウトレーヤを発見し解析し、部分サイクルで回転する機能に見出される可能性が高いことを発見した。
  論文  参考訳（メタデータ） (2025-03-03T18:55:09Z)
• WaveRoRA: Wavelet Rotary Route Attention for Multivariate Time Series Forecasting [4.680374146155483]
  本稿では,時系列データの複雑な時間依存性をモデル化するウェーブレット学習フレームワークを提案する。 ウェーブレット領域は時間と周波数情報を統合し、異なるスケールでの信号の局所特性の分析を可能にする。 回転路注意機構(Rotary Route Attention, RoRA)を提案する。
  論文  参考訳（メタデータ） (2024-10-30T02:36:55Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• UMMAFormer: A Universal Multimodal-adaptive Transformer Framework for Temporal Forgery Localization [16.963092523737593]
  本稿では,時間的フォージェリー・ローカライゼーション(TFL)のための新しいフレームワークを提案し,マルチモーダル適応によるフォルジェリー・セグメントの予測を行う。 提案手法は,Lav-DF,TVIL,Psyndなど,ベンチマークデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-28T08:20:30Z)
• TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders [55.00904795497786]
  トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。 TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。 新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-03-01T08:33:16Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• SatMAE: Pre-training Transformers for Temporal and Multi-Spectral Satellite Imagery [74.82821342249039]
  Masked Autoencoder(MAE)に基づく時間・マルチスペクトル衛星画像の事前学習フレームワークであるSatMAEについて述べる。 時間的情報を活用するために、時間にわたって画像パッチを個別にマスキングする時間的埋め込みを含む。
  論文  参考訳（メタデータ） (2022-07-17T01:35:29Z)
• Improving Video Instance Segmentation via Temporal Pyramid Routing [61.10753640148878]
  Video Instance(VIS)は、ビデオシーケンス内の各インスタンスを検出し、セグメンテーションし、追跡することを目的とした、新しい、本質的にはマルチタスク問題である。 隣接する2つのフレームからなる特徴ピラミッド対から画素レベルのアグリゲーションを条件付きで調整し,実行するための時間ピラミッドルーティング(TPR)戦略を提案する。 我々のアプローチはプラグイン・アンド・プレイモジュールであり、既存のインスタンス・セグメンテーション・メソッドにも容易に適用できます。
  論文  参考訳（メタデータ） (2021-07-28T03:57:12Z)
• RoFormer: Enhanced Transformer with Rotary Position Embedding [9.01819510933327]
  位置情報を効果的に活用するためのRotary Position Embedding(RoPE)という新しい手法を提案する。 RoPEは絶対位置を回転行列でエンコードし、一方、自己アテンションの定式化に明示的な相対位置依存性を組み込む。 様々な長文分類ベンチマークデータセットを用いて、回転位置埋め込み(RoFormer)と呼ばれる拡張変換器の評価を行った。
  論文  参考訳（メタデータ） (2021-04-20T09:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。