論文の概要: Shifting the Paradigm: A Diffeomorphism Between Time Series Data Manifolds for Achieving Shift-Invariancy in Deep Learning

• arxiv url: http://arxiv.org/abs/2502.19921v1
• Date: Thu, 27 Feb 2025 09:42:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:56:39.776628
• Title: Shifting the Paradigm: A Diffeomorphism Between Time Series Data Manifolds for Achieving Shift-Invariancy in Deep Learning
• Title（参考訳）: パラダイムのシフト: ディープラーニングにおけるシフト不変性を達成するための時系列データマニフォールド間のDiffeomorphism
• Authors: Berken Utku Demirel, Christian Holz,
• Abstract要約: ディープラーニングモデルは、出力の変化を引き起こす入力シフトに敏感である。 我々は高次元データ多様体から同じ次元の別の多様体にサンプルをマッピングする微分可能関数を提案する。
• 参考スコア（独自算出の注目度）: 22.053675805215686
• License:
• Abstract: Deep learning models lack shift invariance, making them sensitive to input shifts that cause changes in output. While recent techniques seek to address this for images, our findings show that these approaches fail to provide shift-invariance in time series, where the data generation mechanism is more challenging due to the interaction of low and high frequencies. Worse, they also decrease performance across several tasks. In this paper, we propose a novel differentiable bijective function that maps samples from their high-dimensional data manifold to another manifold of the same dimension, without any dimensional reduction. Our approach guarantees that samples -- when subjected to random shifts -- are mapped to a unique point in the manifold while preserving all task-relevant information without loss. We theoretically and empirically demonstrate that the proposed transformation guarantees shift-invariance in deep learning models without imposing any limits to the shift. Our experiments on six time series tasks with state-of-the-art methods show that our approach consistently improves the performance while enabling models to achieve complete shift-invariance without modifying or imposing restrictions on the model's topology. The source code is available on \href{https://github.com/eth-siplab/Shifting-the-Paradigm}{GitHub}.
• Abstract（参考訳）: ディープラーニングモデルは変化の不変性を欠き、出力の変化を引き起こす入力シフトに敏感になる。 近年の手法では画像に対してこの問題に対処する試みが試みられているが,これらの手法は,低周波と高周波の相互作用によりデータ生成機構がより困難である時系列におけるシフト不変性を提供しないことを示す。 さらに悪いことに、いくつかのタスクのパフォーマンスも低下します。 本稿では,高次元データ多様体から同一次元の別の多様体へサンプルを写像する微分可能単射関数を提案する。 我々のアプローチは、ランダムなシフトの対象となるサンプルが、失うことなくすべてのタスク関連情報を保存しながら、多様体のユニークな点にマッピングされることを保証する。 提案した変換が、シフトに制限を加えることなく、ディープラーニングモデルのシフト不変性を保証することを理論的かつ実証的に実証する。 最新の手法による6つの時系列タスクに関する実験により,モデルのトポロジに制約を加えることなく,モデルが完全なシフト不変性を達成し,一貫した性能向上を図った。 ソースコードは \href{https://github.com/eth-siplab/Shifting-the-Paradigm}{GitHub} で公開されている。

関連論文リスト

• Navigating Semantic Drift in Task-Agnostic Class-Incremental Learning [51.177789437682954]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、モデルが学習したクラスの知識を維持しつつ、新しいクラスを逐次学習できるようにすることを目的とする。 柔軟性と安定性のバランスをとることは、特にタスクIDが不明な場合には、依然として大きな課題である。 本研究では,平均シフト補償と共分散校正を組み合わせたセマンティックドリフト校正法を提案する。
  論文  参考訳（メタデータ） (2025-02-11T13:57:30Z)
• Tilt your Head: Activating the Hidden Spatial-Invariance of Classifiers [0.7704032792820767]
  ディープニューラルネットワークは、日々の生活の多くの領域に適用されている。 これらは、空間的に変換された入力信号に頑健に対処するなど、依然として必須の能力が欠如している。 本稿では,ニューラルネットの推論過程をエミュレートする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T09:47:29Z)
• A Contrastive Variational Graph Auto-Encoder for Node Clustering [10.52321770126932]
  最先端のクラスタリング手法には多くの課題がある。 既存のVGAEは、推論と生成モデルの相違を考慮していない。 私たちのソリューションには、フィーチャーランダムネスとフィーチャードリフトのトレードオフを制御する2つのメカニズムがあります。
  論文  参考訳（メタデータ） (2023-12-28T05:07:57Z)
• HyperInvariances: Amortizing Invariance Learning [10.189246340672245]
  不変学習は高価で、一般的なニューラルネットワークにはデータ集約的です。 我々は、不変学習を償却する概念を導入する。 このフレームワークは、異なる下流タスクにおける適切な不変性を識別し、同等またはより良いテストパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2022-07-17T21:40:37Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)
• Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples [67.23103682776049]
  画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
  論文  参考訳（メタデータ） (2021-03-04T20:53:06Z)
• Learning disentangled representations via product manifold projection [10.677966716893762]
  そこで本研究では,ある観測セットの根底にある変化の生成因子を解き放つ新しい手法を提案する。 我々の手法は、データ空間の下の(未知の)低次元多様体を、部分多様体の積として明示的にモデル化できるという考えに基づいている。
  論文  参考訳（メタデータ） (2021-03-02T10:59:59Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。