論文の概要: TempoFormer: A Transformer for Temporally-aware Representations in Change Detection

• arxiv url: http://arxiv.org/abs/2408.15689v1
• Date: Wed, 28 Aug 2024 10:25:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 16:21:03.622628
• Title: TempoFormer: A Transformer for Temporally-aware Representations in Change Detection
• Title（参考訳）: TempoFormer: 変化検出における時間認識表現のための変換器
• Authors: Talia Tseriotou, Adam Tsakalidis, Maria Liakata,
• Abstract要約: 現在のアプローチは、通常時間的に非依存な事前訓練された表現を通じて、コンテキストをモデル化する。 本稿では,動的表現学習のためのFistタスク非依存型トランスフォーマーと時間認識型モデルであるTempoFormerを紹介する。 本手法はコンテキスト間の動的および内部的力学を共同で訓練し,回転位置埋め込みの時間的変化を新たに導入する。
• 参考スコア（独自算出の注目度）: 12.063146420389371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic representation learning plays a pivotal role in understanding the evolution of linguistic content over time. On this front both context and time dynamics as well as their interplay are of prime importance. Current approaches model context via pre-trained representations, which are typically temporally agnostic. Previous work on modeling context and temporal dynamics has used recurrent methods, which are slow and prone to overfitting. Here we introduce TempoFormer, the fist task-agnostic transformer-based and temporally-aware model for dynamic representation learning. Our approach is jointly trained on inter and intra context dynamics and introduces a novel temporal variation of rotary positional embeddings. The architecture is flexible and can be used as the temporal representation foundation of other models or applied to different transformer-based architectures. We show new SOTA performance on three different real-time change detection tasks.
• Abstract（参考訳）: 動的表現学習は、時間とともに言語内容の進化を理解する上で重要な役割を担っている。 この面では、コンテキストと時間力学、およびそれらの相互作用が重要である。 現在のアプローチは、通常時間的に非依存な事前訓練された表現を通じて、コンテキストをモデル化する。 モデリングコンテキストと時間力学に関するこれまでの研究では、繰り返し手法が使われてきたが、これは遅く、過度に適合する傾向にある。 本稿では,動的表現学習のためのFistタスク非依存型トランスフォーマーと時間認識型モデルであるTempoFormerを紹介する。 本手法はコンテキスト間の動的および内部的力学を共同で訓練し,回転位置埋め込みの時間的変化を新たに導入する。 アーキテクチャは柔軟で、他のモデルの時間的表現基盤として、あるいは異なるトランスフォーマーベースのアーキテクチャに適用することができる。 3つの異なるリアルタイム変化検出タスクに対して新しいSOTA性能を示す。

関連論文リスト

• Enforcing Interpretability in Time Series Transformers: A Concept Bottleneck Framework [2.8470354623829577]
  本研究では,時系列変換器の解釈可能性を実現するための概念ボトルネックモデルに基づくフレームワークを開発する。 我々は、事前定義された解釈可能な概念に似た表現を開発するようモデルに促すために、トレーニング対象を変更する。 モデルの性能はほとんど影響を受けていないが、モデルは解釈可能性を大幅に改善している。
  論文  参考訳（メタデータ） (2024-10-08T14:22:40Z)
• Semantic-Guided Multimodal Sentiment Decoding with Adversarial Temporal-Invariant Learning [22.54577327204281]
  マルチモーダル感情分析は、異なるモダリティから表現を学習し、人間の感情を識別することを目的としている。 既存の作品は、連続した時系列に固有のフレームレベルの冗長性を無視することが多く、ノイズを伴う不完全なモジュラリティ表現をもたらす。 本研究では,時間段階の分布変動を制約し,時間的時間的変動を効果的に捉えた時間的不変学習を提案する。
  論文  参考訳（メタデータ） (2024-08-30T03:28:40Z)
• Equivariant Graph Neural Operator for Modeling 3D Dynamics [148.98826858078556]
  我々は,次のステップの予測ではなく,ダイナミックスを直接トラジェクトリとしてモデル化するために,Equivariant Graph Neural Operator (EGNO)を提案する。 EGNOは3次元力学の時間的進化を明示的に学習し、時間とともに関数として力学を定式化し、それを近似するためにニューラル演算子を学習する。 粒子シミュレーション、人間のモーションキャプチャー、分子動力学を含む複数の領域における総合的な実験は、既存の手法と比較して、EGNOの極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-19T21:50:32Z)
• TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
  TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。 提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。 我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
  論文  参考訳（メタデータ） (2024-01-06T06:26:49Z)
• Latent State Models of Training Dynamics [51.88132043461152]
  異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。 次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。 我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
  論文  参考訳（メタデータ） (2023-08-18T13:20:08Z)
• TimeTuner: Diagnosing Time Representations for Time-Series Forecasting with Counterfactual Explanations [3.8357850372472915]
  本稿では,モデル行動が局所化,定常性,時系列表現の相関とどのように関連しているかをアナリストが理解するために,新しいビジュアル分析フレームワークであるTimeTunerを提案する。 TimeTunerは時系列表現を特徴付けるのに役立ち、機能エンジニアリングのプロセスを導くのに役立ちます。
  論文  参考訳（メタデータ） (2023-07-19T11:40:15Z)
• Cross-Modality Time-Variant Relation Learning for Generating Dynamic Scene Graphs [16.760066844287046]
  動的シーングラフにおける関係の時間的変化をモデル化するために,時間変動型関係対応TRansformer (TR$2$)を提案する。 TR$2$は2つの異なる設定下で従来の最先端メソッドよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-15T10:30:38Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Variational Predictive Routing with Nested Subjective Timescales [1.6114012813668934]
  本稿では,時間的階層に潜む映像の特徴を整理するニューラル推論システムである変動予測ルーティング(PRV)を提案する。 VPRはイベント境界を検出し、時間的特徴を分散させ、データの動的階層に適応し、未来の正確な時間に依存しないロールアウトを生成することができることを示す。
  論文  参考訳（メタデータ） (2021-10-21T16:12:59Z)
• TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
  我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。 我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
  論文  参考訳（メタデータ） (2021-05-17T15:33:25Z)
• Learning Temporal Dynamics from Cycles in Narrated Video [85.89096034281694]
  時が経つにつれて世界がどのように変化するかをモデル化する学習問題に対する自己監督型ソリューションを提案します。 私たちのモデルは、前方および後方の時間を予測するためにモダリティに依存しない関数を学習します。 将来的な動作の予測や画像の時間的順序付けなど,様々なタスクに対して,学習されたダイナミクスモデルを適用する。
  論文  参考訳（メタデータ） (2021-01-07T02:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。