論文の概要: Continuous Invariance Learning

• arxiv url: http://arxiv.org/abs/2310.05348v2
• Date: Tue, 23 Apr 2024 03:24:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 19:55:12.579603
• Title: Continuous Invariance Learning
• Title（参考訳）: 連続的不変学習
• Authors: Yong Lin, Fan Zhou, Lu Tan, Lintao Ma, Jiameng Liu, Yansu He, Yuan Yuan, Yu Liu, James Zhang, Yujiu Yang, Hao Wang,
• Abstract要約: 既存の不変学習手法が連続的なドメイン問題に失敗する可能性があることを示す。 本研究では、連続的なインデックス付きドメイン間で不変な特徴を抽出する連続不変学習(CIL)を提案する。 CILは、すべてのタスクにおいて、強いベースラインを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 37.5006565403112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Invariance learning methods aim to learn invariant features in the hope that they generalize under distributional shifts. Although many tasks are naturally characterized by continuous domains, current invariance learning techniques generally assume categorically indexed domains. For example, auto-scaling in cloud computing often needs a CPU utilization prediction model that generalizes across different times (e.g., time of a day and date of a year), where `time' is a continuous domain index. In this paper, we start by theoretically showing that existing invariance learning methods can fail for continuous domain problems. Specifically, the naive solution of splitting continuous domains into discrete ones ignores the underlying relationship among domains, and therefore potentially leads to suboptimal performance. To address this challenge, we then propose Continuous Invariance Learning (CIL), which extracts invariant features across continuously indexed domains. CIL is a novel adversarial procedure that measures and controls the conditional independence between the labels and continuous domain indices given the extracted features. Our theoretical analysis demonstrates the superiority of CIL over existing invariance learning methods. Empirical results on both synthetic and real-world datasets (including data collected from production systems) show that CIL consistently outperforms strong baselines among all the tasks.
• Abstract（参考訳）: 分散学習法は、分布シフトの下で一般化することを願って不変の特徴を学習することを目的としている。 多くのタスクは自然に連続したドメインによって特徴づけられるが、現在の不変学習技術は一般的に分類的インデックス付きドメインを仮定する。 例えば、クラウドコンピューティングにおける自動スケーリングには、異なる時間(例えば、1日と1年の日付)にわたって一般化するCPU利用予測モデルが必要だ。 本稿では,既存の不変学習手法が連続領域問題に失敗する可能性を理論的に示すことから始める。 具体的には、連続したドメインを離散的なドメインに分割するという単純な解は、ドメイン間の基盤となる関係を無視するので、潜在的に最適以下のパフォーマンスをもたらす。 この課題に対処するために、連続的なインデックス付きドメイン間で不変な特徴を抽出する連続不変学習(Continuous Invariance Learning, CIL)を提案する。 CILは、ラベルと抽出された特徴から連続したドメインインデックスの間の条件付き独立性を測定し、制御する、新しい敵の手順である。 我々の理論解析は、既存の不変学習法よりもCILの方が優れていることを示す。 合成データセットと実世界のデータセット(プロダクションシステムから収集されたデータを含む)の実証的な結果から、CILはすべてのタスクにおいて強いベースラインを一貫して上回っていることが分かる。

関連論文リスト

• Algorithmic Fairness Generalization under Covariate and Dependence Shifts Simultaneously [28.24666589680547]
  公平かつ不変な分類器の学習を目的とした,単純かつ効果的な手法を提案する。 モデルを用いて様々な合成データドメインを拡張することにより、ソースドメインの公平かつ不変な分類器を学習する。 この分類器は未知の対象領域に一般化することができ、モデル予測と公平性の懸念の両方を維持できる。
  論文  参考訳（メタデータ） (2023-11-23T05:52:00Z)
• Multi-Domain Causal Representation Learning via Weak Distributional Invariances [27.72497122405241]
  因果表現学習は因果機械学習研究における行動の中心として現れてきた。 このような不変性を組み込んだオートエンコーダは、他の部分から異なる設定で安定なラテントの集合を確実に特定できることを示す。
  論文  参考訳（メタデータ） (2023-10-04T14:41:41Z)
• DIVERSIFY: A General Framework for Time Series Out-of-distribution Detection and Generalization [58.704753031608625]
  時系列は、機械学習研究における最も困難なモダリティの1つである。 時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。 時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
  論文  参考訳（メタデータ） (2023-08-04T12:27:11Z)
• Generalized Representations Learning for Time Series Classification [28.230863650758447]
  時間的複雑性は時系列分類における未知の潜在分布に起因していると主張する。 本研究では,ジェスチャー認識,音声コマンド認識,ウェアラブルストレスと感情検出,センサによる人間の活動認識に関する実験を行う。
  論文  参考訳（メタデータ） (2022-09-15T03:36:31Z)
• Domain Generalization via Selective Consistency Regularization for Time Series Classification [16.338176636365752]
  ドメイン一般化手法は、限られた数のソースドメインからのデータで、ドメインシフトに頑健なモデルを学習することを目的としている。 本稿では,ソースドメイン間の予測一貫性を選択的に適用する表現学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-16T01:57:35Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Improving Out-of-Distribution Robustness via Selective Augmentation [61.147630193060856]
  機械学習アルゴリズムは、トレーニングとテスト例が同じ分布から引き出されると仮定する。 分散シフトは現実世界のアプリケーションでは一般的な問題であり、テスト時にモデルが劇的に悪化する可能性がある。 LISAと呼ばれる選択的な拡張によって不変関数を学習するミックスアップ方式を提案する。
  論文  参考訳（メタデータ） (2022-01-02T05:58:33Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。