論文の概要: Robust Disentanglement of a Few Factors at a Time
- arxiv url: http://arxiv.org/abs/2010.13527v1
- Date: Mon, 26 Oct 2020 12:34:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 17:46:41.333449
- Title: Robust Disentanglement of a Few Factors at a Time
- Title(参考訳): 一度にいくつかの要因のロバストな絡み合い
- Authors: Benjamin Estermann, Markus Marks, Mehmet Fatih Yanik
- Abstract要約: 変分オートエンコーダ(VAE)の整合性向上のための人口ベーストレーニング(PBT)を導入する。
PBT-VAEトレーニングでは、教師なしのモデルスコアとしてUnsupervised Disentanglement Ranking (UDR)を使用し、この方法でトレーニングされたモデルが、生成因子のサブセットのみを一貫して切り離す傾向を示す。
複数のデータセットとメトリクスをまたいで、最先端の教師なしのアンハンジメント性能とロバストネスを著しく改善したことを示す。
- 参考スコア(独自算出の注目度): 5.156484100374058
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Disentanglement is at the forefront of unsupervised learning, as disentangled
representations of data improve generalization, interpretability, and
performance in downstream tasks. Current unsupervised approaches remain
inapplicable for real-world datasets since they are highly variable in their
performance and fail to reach levels of disentanglement of (semi-)supervised
approaches. We introduce population-based training (PBT) for improving
consistency in training variational autoencoders (VAEs) and demonstrate the
validity of this approach in a supervised setting (PBT-VAE). We then use
Unsupervised Disentanglement Ranking (UDR) as an unsupervised heuristic to
score models in our PBT-VAE training and show how models trained this way tend
to consistently disentangle only a subset of the generative factors. Building
on top of this observation we introduce the recursive rPU-VAE approach. We
train the model until convergence, remove the learned factors from the dataset
and reiterate. In doing so, we can label subsets of the dataset with the
learned factors and consecutively use these labels to train one model that
fully disentangles the whole dataset. With this approach, we show striking
improvement in state-of-the-art unsupervised disentanglement performance and
robustness across multiple datasets and metrics.
- Abstract(参考訳): 乱れは教師なし学習の最前線にあり、データの乱れの表現は、下流タスクの一般化、解釈可能性、パフォーマンスを改善する。
現在の教師なしのアプローチは、パフォーマンスが非常に可変であり、(セミ-)教師付きアプローチのアンタングルレベルに到達できないため、現実のデータセットには適用できない。
本稿では,変分オートエンコーダ(VAE)の整合性を向上させるための集団ベーストレーニング(PBT)を導入し,教師付き環境(PBT-VAE)におけるこのアプローチの有効性を実証する。
PBT-VAEトレーニングでは、教師なしのヒューリスティックとしてUnsupervised Disentanglement Ranking (UDR)を使用し、この方法でトレーニングされたモデルが、生成因子のサブセットのみを一貫して切り離す傾向を示す。
この観測に基づいて、再帰的 rPU-VAE アプローチを導入する。
モデルの収束までトレーニングし、学習した要素をデータセットから取り除き、繰り返します。
そうすることで、データセットのサブセットに学習した要素をラベル付けし、これらのラベルを連続して使用して、データセット全体を完全に分離するモデルをトレーニングできます。
このアプローチにより、複数のデータセットやメトリクス間で、最先端の教師なしのアンタングルメント性能とロバストネスが大幅に向上することを示す。
関連論文リスト
- Minusformer: Improving Time Series Forecasting by Progressively Learning
Residuals [15.815842882043734]
我々は,情報集約機構を付加と減算から再構築することで,バニラ変圧器を改修する。
本稿では,原モデルの各ブロックに補助出力分岐を組み込んで,最終的な予測に導くハイウェイを構築する。
提案手法は既存の最先端手法よりも優れており,各データセットの平均性能は11.9%向上した。
論文 参考訳(メタデータ) (2024-02-04T03:54:31Z) - Dynamic Sub-graph Distillation for Robust Semi-supervised Continual
Learning [52.046037471678005]
半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。
半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
論文 参考訳(メタデータ) (2023-12-27T04:40:12Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T07:45:53Z) - ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。
ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。
ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-16T21:51:04Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - Confidence-Guided Data Augmentation for Deep Semi-Supervised Training [0.9968241071319184]
特徴空間の最も困難な領域からの学習を強調する半教師付き学習設定のための新しいデータ拡張手法を提案する。
CIFAR-100とSTL-10の2つのベンチマークRGBデータセットを用いて実験を行い、提案手法が精度とロバスト性の観点から分類性能を向上させることを示す。
論文 参考訳(メタデータ) (2022-09-16T21:23:19Z) - Uncertainty in Contrastive Learning: On the Predictability of Downstream
Performance [7.411571833582691]
このような表現の不確実性は、単一のデータポイントに対して有意義な方法で定量化できるかどうかを考察する。
埋め込み空間におけるトレーニングデータの分布を直接推定することにより,この目標を達成することができることを示す。
論文 参考訳(メタデータ) (2022-07-19T15:44:59Z) - Self-Supervised Models are Continual Learners [79.70541692930108]
本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。
我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
論文 参考訳(メタデータ) (2021-12-08T10:39:13Z) - Self-Supervised Pre-Training for Transformer-Based Person
Re-Identification [54.55281692768765]
トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する
ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。
この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
論文 参考訳(メタデータ) (2021-11-23T18:59:08Z) - RIO: Rotation-equivariance supervised learning of robust inertial
odometry [8.943918790444272]
慣性オドメトリーモデルを訓練するための自己スーパーバイザとして回転等価性を導入する。
これにより、ロバストなモデルをトレーニングするための大量のラベル付きデータへの依存を減らすことができる。
そこで本研究では,慣性オドメトリーの非表示データへの一般化性を高めるために,適応型テストタイムトレーニングを提案する。
論文 参考訳(メタデータ) (2021-11-23T06:49:40Z) - Self-Supervised Contrastive Learning for Unsupervised Phoneme
Segmentation [37.054709598792165]
このモデルは畳み込みニューラルネットワークであり、生波形上で直接動作する。
ノイズコントラスト推定原理を用いて信号のスペクトル変化を同定する。
テスト時には、モデル出力にピーク検出アルゴリズムを適用して最終境界を生成する。
論文 参考訳(メタデータ) (2020-07-27T12:10:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。