論文の概要: Enhancing Masked Time-Series Modeling via Dropping Patches

• arxiv url: http://arxiv.org/abs/2412.15315v1
• Date: Thu, 19 Dec 2024 17:21:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:22:01.086280
• Title: Enhancing Masked Time-Series Modeling via Dropping Patches
• Title（参考訳）: 落下パッチによるマスク付き時系列モデリングの強化
• Authors: Tianyu Qiu, Yi Xie, Yun Xiong, Hao Niu, Xiaofeng Gao,
• Abstract要約: 本稿では,時系列のサブシーケンスレベルパッチをランダムにドロップすることで,既存のマスク付き時系列モデリングの強化方法について検討する。 DropPatchと呼ばれる手法が提案され、二乗レベルの利点によって事前学習効率が向上する。 ドメイン内、クロスドメイン、少数ショット学習、コールドスタートといったシナリオでのモデリングには、さらにメリットがある。
• 参考スコア（独自算出の注目度）: 10.715930488118582
• License:
• Abstract: This paper explores how to enhance existing masked time-series modeling by randomly dropping sub-sequence level patches of time series. On this basis, a simple yet effective method named DropPatch is proposed, which has two remarkable advantages: 1) It improves the pre-training efficiency by a square-level advantage; 2) It provides additional advantages for modeling in scenarios such as in-domain, cross-domain, few-shot learning and cold start. This paper conducts comprehensive experiments to verify the effectiveness of the method and analyze its internal mechanism. Empirically, DropPatch strengthens the attention mechanism, reduces information redundancy and serves as an efficient means of data augmentation. Theoretically, it is proved that DropPatch slows down the rate at which the Transformer representations collapse into the rank-1 linear subspace by randomly dropping patches, thus optimizing the quality of the learned representations
• Abstract（参考訳）: 本稿では,時系列のサブシーケンスレベルパッチをランダムにドロップすることで,既存のマスク付き時系列モデリングの強化方法について検討する。 このベースで、DropPatchという名前の単純だが効果的な方法が提案されている。 1)二乗レベルの優位性により事前学習効率を向上する。 2) ドメイン内、クロスドメイン、少数ショット学習、コールドスタートといったシナリオでのモデリングにさらに利点がある。 本稿では,本手法の有効性を検証するための総合的な実験を行い,その内部メカニズムを解析する。 実証的に、DropPatchはアテンションメカニズムを強化し、情報の冗長性を低減し、データ拡張の効率的な手段として機能する。 理論的には、DropPatchは、ランダムにパッチをドロップすることでトランスフォーマー表現がランク-1線型部分空間に崩壊する速度を遅くし、学習された表現の品質を最適化することが証明されている。

関連論文リスト

• Inducing Semi-Structured Sparsity by Masking for Efficient Model Inference in Convolutional Networks [0.0]
  本稿では,コンボリューションカーネルの半構造化空間パターンをマスキング形式で学習する手法を提案する。 この手法はモデル性能を低下させることなく、推論中に2倍以上の畳み込みモデルを加速する。
  論文  参考訳（メタデータ） (2024-11-01T00:53:33Z)
• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
  本稿では,現行手法の有効性を損なう量子拡散モデルの3つの特性を実証的に明らかにする。 重要な時間的情報を保持する層と、ビット幅の低減に敏感な層という、2つの重要なタイプの量子化層を同定する。 提案手法は,3つの高分解能画像生成タスクに対して評価し,様々なビット幅設定で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-02-06T03:39:44Z)
• TPC-ViT: Token Propagation Controller for Efficient Vision Transformer [6.341420717393898]
  ビジョントランス (ViT) は様々なコンピュータビジョンタスクにおいて有望な結果を得た。 この課題に対処するために、段階的なトークン削減を採用する以前のアプローチでは、ひとつのレイヤにおけるトークンの冗長性は、以下のすべてのレイヤにおける冗長性を意味すると仮定されている。 本稿では、2つの異なるトークン分布を組み込んだ新しいトークン伝搬制御器(TPC)を提案する。
  論文  参考訳（メタデータ） (2024-01-03T00:10:33Z)
• Learning to Embed Time Series Patches Independently [5.752266579415516]
  近年,時系列モデリングは時系列の自己教師型表現学習戦略として注目されている。 このようなパッチをキャプチャすることは、時系列表現学習の最適戦略ではないかもしれない、と我々は主張する。 本論文では,1)他のパッチを見ることなく各パッチを自動エンコードするシンプルなパッチ再構築タスク,2)個別に各パッチを埋め込むシンプルなパッチワイド再構築タスクを提案する。
  論文  参考訳（メタデータ） (2023-12-27T06:23:29Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• RealPatch: A Statistical Matching Framework for Model Patching with Real Samples [6.245453620070586]
  RealPatchは、統計マッチングに基づいた、よりシンプルで、より高速で、よりデータ効率の高いデータ拡張のためのフレームワークである。 この結果から,RealPatchは,モデルリークを低減し,高ユーティリティを維持するとともに,データセットリークを効果的に除去できることが示唆された。
  論文  参考訳（メタデータ） (2022-08-03T16:22:30Z)
• Short Range Correlation Transformer for Occluded Person Re-Identification [4.339510167603376]
  PFTと呼ばれる部分的特徴変換器に基づく人物識別フレームワークを提案する。 提案したPFTは3つのモジュールを用いて視覚変換器の効率を向上する。 包括的および包括的再同定データセットに対する実験結果から,提案したPFTネットワークが一貫した性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-01-04T11:12:39Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Patch Slimming for Efficient Vision Transformers [107.21146699082819]
  与えられたネットワーク上で冗長な計算を行うことにより,視覚変換器の効率性について検討する。 我々は、トップダウンパラダイムで無駄なパッチを捨てる、新しいパッチスリム化アプローチを提案する。 ベンチマークによる実験結果から,提案手法は視覚変換器の計算コストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-05T09:46:00Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。