論文の概要: Memory-and-Anticipation Transformer for Online Action Understanding

• arxiv url: http://arxiv.org/abs/2308.07893v1
• Date: Tue, 15 Aug 2023 17:34:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 11:50:59.366838
• Title: Memory-and-Anticipation Transformer for Online Action Understanding
• Title（参考訳）: オンライン行動理解のためのメモリ・アンド・Anticipation Transformer
• Authors: Jiahao Wang, Guo Chen, Yifei Huang, Limin Wang, Tong Lu
• Abstract要約: 本稿では,過去,現在,未来を含む時間構造全体をモデル化する,メモリ予測に基づく新しいパラダイムを提案する。 本稿では,メモリ・アンド・アンティフィケーション・トランスフォーマ(MAT)を提案する。
• 参考スコア（独自算出の注目度）: 52.24561192781971
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most existing forecasting systems are memory-based methods, which attempt to mimic human forecasting ability by employing various memory mechanisms and have progressed in temporal modeling for memory dependency. Nevertheless, an obvious weakness of this paradigm is that it can only model limited historical dependence and can not transcend the past. In this paper, we rethink the temporal dependence of event evolution and propose a novel memory-anticipation-based paradigm to model an entire temporal structure, including the past, present, and future. Based on this idea, we present Memory-and-Anticipation Transformer (MAT), a memory-anticipation-based approach, to address the online action detection and anticipation tasks. In addition, owing to the inherent superiority of MAT, it can process online action detection and anticipation tasks in a unified manner. The proposed MAT model is tested on four challenging benchmarks TVSeries, THUMOS'14, HDD, and EPIC-Kitchens-100, for online action detection and anticipation tasks, and it significantly outperforms all existing methods. Code is available at https://github.com/Echo0125/Memory-and-Anticipation-Transformer.
• Abstract（参考訳）: 既存の予測システムは、様々なメモリ機構を用いて人間の予測能力を模倣するメモリベースの手法であり、メモリ依存の時間的モデリングに進歩している。 それにもかかわらず、このパラダイムの明らかな弱点は、限られた歴史的依存しかモデル化できず、過去を超越できないことである。 本稿では,事象進化の時間的依存性を再考し,過去,現在,未来を含む時間的構造全体をモデル化する新しい記憶予測に基づくパラダイムを提案する。 この考え方に基づき、オンラインの行動検出と予測タスクに対処するために、メモリ予測に基づく手法であるメモリ・アンド・予測トランスフォーマ(mat)を提案する。 さらに、MATの本来の優位性のため、オンラインアクション検出および予測タスクを統一的に処理することができる。 提案したMATモデルは、オンラインアクション検出および予測タスクのために、TVSeries、THUMOS'14、HDD、EPIC-Kitchens-100の4つの挑戦的なベンチマークでテストされ、既存のすべてのメソッドよりも大幅に優れている。 コードはhttps://github.com/Echo0125/Memory-and-Anticipation-Transformerで入手できる。

関連論文リスト

• Predictive Attractor Models [9.947717243638289]
  生成特性が望ましい新しいシーケンスメモリアーキテクチャであるtextitPredictive Attractor Models (PAM) を提案する。 PAMは、皮質小柱の側方抑制を通じて、過去の文脈を一意に表現することで破滅的な忘れを避ける。 PAMは, 生物学的に妥当な枠組みで, ヘビアン可塑性規則による局所計算で訓練されていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T12:25:01Z)
• Treating Brain-inspired Memories as Priors for Diffusion Model to Forecast Multivariate Time Series [16.315066774520524]
  人間の記憶機構からインスピレーションを得て、時間的パターンをよりよく捉えます。 脳にインスパイアされた記憶はセマンティックメモリとエピソードメモリから構成される。 脳にインスパイアされたメモリ拡張拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-27T07:09:40Z)
• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Spatially-Aware Transformer for Embodied Agents [20.498778205143477]
  本稿では,空間情報を含む空間認識変換器モデルの利用について検討する。 メモリ利用効率が向上し,様々な場所中心の下流タスクにおいて精度が向上することが実証された。 また,強化学習に基づくメモリ管理手法であるAdaptive Memory Allocatorを提案する。
  論文  参考訳（メタデータ） (2024-02-23T07:46:30Z)
• EMO: Episodic Memory Optimization for Few-Shot Meta-Learning [69.50380510879697]
  メタ学習のためのエピソード記憶最適化は、EMOと呼ばれ、脳の記憶から過去の学習経験を思い出す人間の能力にインスパイアされている。 EMOは、限られた数の例によって提供される勾配が非形式的である場合でも、パラメータを正しい方向に更新する。 EMOは、ほとんど数ショットの分類ベンチマークでうまくスケールし、最適化ベースのメタラーニング手法の性能を改善している。
  論文  参考訳（メタデータ） (2023-06-08T13:39:08Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Sequence Learning and Consolidation on Loihi using On-chip Plasticity [6.9597705368779925]
  我々は,Loihiチップのオンチップ可塑性能力を用いたニューロモルフィックハードウェアの予測学習モデルを開発した。 我々のモデルは、オンライン予測学習モデルは、オンチップの可塑性を持つニューロモルフィックハードウェアにデプロイできるという概念実証の役割を果たしている。
  論文  参考訳（メタデータ） (2022-05-02T04:18:50Z)
• A-ACT: Action Anticipation through Cycle Transformations [89.83027919085289]
  未来を予測できる人間の能力が、機械学習アルゴリズムにどのように移行できるかを分析するために、一歩後退します。 人間の心理学に関する最近の研究は、発生を予測して、人間の脳が両方のシステムにカウントされていることを説明している。 本研究では,行動予測作業における各システムの影響について検討し,学習フレームワークに統合するためのパラダイムを導入する。
  論文  参考訳（メタデータ） (2022-04-02T21:50:45Z)
• MANTRA: Memory Augmented Networks for Multiple Trajectory Prediction [26.151761714896118]
  メモリ拡張ニューラルネットワークを用いたマルチモーダル軌道予測の問題に対処する。 提案手法は、繰り返しニューラルネットワークを用いて過去と将来の軌道埋め込みを学習し、関連性のある外部メモリを活用して、そのような埋め込みを保存・取得する。 次に、観測過去の条件付きメモリ内未来の符号化を復号して軌道予測を行う。
  論文  参考訳（メタデータ） (2020-06-05T09:49:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。