論文の概要: Leveraging Time Irreversibility with Order-Contrastive Pre-training

• arxiv url: http://arxiv.org/abs/2111.02599v1
• Date: Thu, 4 Nov 2021 02:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-05 15:30:12.036258
• Title: Leveraging Time Irreversibility with Order-Contrastive Pre-training
• Title（参考訳）: 順序コントラスト事前学習による時間不可逆性の改善
• Authors: Monica Agrawal, Hunter Lang, Michael Offin, Lior Gazit, David Sontag
• Abstract要約: 時系列データに基づく自己教師付き事前学習のための「順序コントラスト」手法について検討する。 本研究では,順序コントラスト事前学習で学習した表現の下流誤差に対する有限サンプル保証を証明した。 この結果から,特定の分布クラスや下流タスクのために設計された事前学習手法が,自己指導型学習の性能を向上させることが示唆された。
• 参考スコア（独自算出の注目度）: 3.1848820580333737
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label-scarce, high-dimensional domains such as healthcare present a challenge for modern machine learning techniques. To overcome the difficulties posed by a lack of labeled data, we explore an "order-contrastive" method for self-supervised pre-training on longitudinal data. We sample pairs of time segments, switch the order for half of them, and train a model to predict whether a given pair is in the correct order. Intuitively, the ordering task allows the model to attend to the least time-reversible features (for example, features that indicate progression of a chronic disease). The same features are often useful for downstream tasks of interest. To quantify this, we study a simple theoretical setting where we prove a finite-sample guarantee for the downstream error of a representation learned with order-contrastive pre-training. Empirically, in synthetic and longitudinal healthcare settings, we demonstrate the effectiveness of order-contrastive pre-training in the small-data regime over supervised learning and other self-supervised pre-training baselines. Our results indicate that pre-training methods designed for particular classes of distributions and downstream tasks can improve the performance of self-supervised learning.
• Abstract（参考訳）: 医療のようなラベルの少ない高次元ドメインは、現代の機械学習技術に挑戦している。 ラベル付きデータの欠如による難しさを克服するため,縦型データを用いた自己教師付き事前学習のための「順序コントラスト」手法を提案する。 時間セグメントのペアをサンプリングし、その半数の順序を切り替え、与えられたペアが正しい順序にあるかどうかを予測するためにモデルを訓練する。 直感的には、注文タスクはモデルが最小の時間反転可能な特徴(例えば、慢性疾患の進行を示す特徴)に従うことを可能にする。 同じ機能は、しばしば下流の関心のあるタスクに役立ちます。 これを定量化するため,我々は,順序整合事前学習で学習した表現の下流誤差に対する有限サンプル保証を証明した。 人工的および縦断的な医療環境では、教師付き学習やその他の自己監督型事前訓練ベースラインよりも、小規模データ体制における秩序コントラスト事前訓練の有効性を実証する。 この結果から,特定の分布クラスや下流タスクのために設計された事前学習手法が,自己指導型学習の性能を向上させることが示唆された。

関連論文リスト

• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Task Agnostic Representation Consolidation: a Self-supervised based Continual Learning Approach [14.674494335647841]
  本稿では,タスク非依存およびタスク特化学習に介入するCLのための2段階学習パラダイムを提案する。 我々のトレーニングパラダイムは、メモリや正規化に基づくアプローチに簡単に追加できることを示します。
  論文  参考訳（メタデータ） (2022-07-13T15:16:51Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Weakly-supervised Temporal Path Representation Learning with Contrastive Curriculum Learning -- Extended Version [35.86394282979721]
  時間的情報、例えば出発時刻を含む時間的パス(TP)は、そのようなアプリケーションを可能にするために基本的なものである。 i) 教師付き手法ではトレーニング時に大量のタスク固有のラベルを必要とするため、既存の手法では目標達成に失敗し、得られたTPRを他のタスクに一般化することができない。 本稿では,時間的経路の空間的情報と時間的情報の両方をTPRにエンコードするWakly Supervised Contrastive (WSC)学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-03-30T07:36:20Z)
• Self-supervised driven consistency training for annotation efficient histopathology image analysis [13.005873872821066]
  大きなラベル付きデータセットでニューラルネットワークをトレーニングすることは、計算病理学において依然として支配的なパラダイムである。 本研究では,非教師付き表現学習のための強力な監視信号を学ぶために,ヒストロジ全体スライディング画像の背景となる多段階的文脈的手がかりを利用する自己教師付きプレテキストタスクを提案する。 また,タスク固有の未ラベルデータとの予測整合性に基づいて,事前学習した表現を下流タスクに効果的に転送することを学ぶ教師による半教師付き一貫性パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T19:46:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。