Fugu-MT 論文翻訳(概要): GUESS: Generative Uncertainty Ensemble for Self Supervision

論文の概要: GUESS: Generative Uncertainty Ensemble for Self Supervision

arxiv url: http://arxiv.org/abs/2412.02896v1
Date: Tue, 03 Dec 2024 22:59:23 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-05 15:09:23.770785
Title: GUESS: Generative Uncertainty Ensemble for Self Supervision
Title（参考訳）: GUESS: 自己監督のための生成的不確実性アンサンブル
Authors: Salman Mohamadi, Gianfranco Doretto, Donald A. Adjeroh,
Abstract要約: 自己教師付き学習(SSL)フレームワークは、プレテキストタスクと、ラベルのないデータから有用な汎用機能を学ぶことを目的としたロス関数で構成されている。あらゆる種類のデータ拡張に対する不変性の意図しないあるいは決定的な強制は、一般的に非効率であるだけでなく、下流のタスクのパフォーマンスに有害な可能性がある。我々は、制御された不確実性注入、新しいアーキテクチャ、新しい損失関数からなる擬似白化フレームワークであるGUESSを導入する。
参考スコア（独自算出の注目度）: 6.963971634605796
License:
Abstract: Self-supervised learning (SSL) frameworks consist of pretext task, and loss function aiming to learn useful general features from unlabeled data. The basic idea of most SSL baselines revolves around enforcing the invariance to a variety of data augmentations via the loss function. However, one main issue is that, inattentive or deterministic enforcement of the invariance to any kind of data augmentation is generally not only inefficient, but also potentially detrimental to performance on the downstream tasks. In this work, we investigate the issue from the viewpoint of uncertainty in invariance representation. Uncertainty representation is fairly under-explored in the design of SSL architectures as well as loss functions. We incorporate uncertainty representation in both loss function as well as architecture design aiming for more data-dependent invariance enforcement. The former is represented in the form of data-derived uncertainty in SSL loss function resulting in a generative-discriminative loss function. The latter is achieved by feeding slightly different distorted versions of samples to the ensemble aiming for learning better and more robust representation. Specifically, building upon the recent methods that use hard and soft whitening (a.k.a redundancy reduction), we introduce a new approach GUESS, a pseudo-whitening framework, composed of controlled uncertainty injection, a new architecture, and a new loss function. We include detailed results and ablation analysis establishing GUESS as a new baseline.
Abstract（参考訳）: 自己教師付き学習(SSL)フレームワークは、プレテキストタスクと、ラベルのないデータから有用な汎用機能を学ぶことを目的としたロス関数で構成されている。ほとんどのSSLベースラインの基本的な考え方は、ロス関数を介してさまざまなデータ拡張に不変性を強制することを中心に展開されている。しかし、主な問題は、いかなる種類のデータ拡張に対する不変性も決定論的に強制することは、一般的に非効率であるだけでなく、下流のタスクのパフォーマンスに有害である可能性があることである。本研究では,不均一表現の不確実性の観点から問題を考察する。不確実性表現は、SSLアーキテクチャや損失関数の設計において、かなり過小評価されている。損失関数とアーキテクチャ設計の両方に不確実性表現を取り入れ、よりデータ依存の不変性を実現する。前者は、SSL損失関数におけるデータ由来の不確実性の形で表現され、生成的識別的損失関数をもたらす。後者は、より優れた、より堅牢な表現を学ぶことを目的とした、わずかに異なる歪んだサンプルをアンサンブルに供給することで達成される。具体的には、ハードおよびソフトな白化(すなわち冗長性の低減)を用いる最近の手法に基づいて、制御不確実性注入と新しいアーキテクチャ、新しい損失関数からなる擬似白化フレームワークであるGUESSを導入する。我々はGUESSを新たなベースラインとして確立した詳細な結果とアブレーション分析を含む。

関連論文リスト

EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification [1.3778851745408134]
経験的リスク最小化フレームワーク内で損失関数を結合する新しいアンサンブル手法,すなわちEnsLossを提案する。まず、損失のCC条件を損失導関数に変換し、明示的な損失関数の必要性を回避した。理論的には、我々のアプローチの統計的一貫性を確立し、その利点に関する洞察を提供する。
論文参考訳（メタデータ） (2024-09-02T02:40:42Z)
Smooth Pseudo-Labeling [4.1569253650826195]
半教師付き学習(SSL)における実りある方法は擬似ラベル(PL)である PLは、関連する損失関数が誘導体に不連続性を持つという重要な欠点に悩まされており、ラベルが極めて少ない場合に性能が不安定になる。ラベル付き画像がデータセット全体からランダムに選択され、データセットの頻度に比例する各クラスの表現を含まない新しいベンチマークを導入する。
論文参考訳（メタデータ） (2024-05-23T08:33:07Z)
Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文参考訳（メタデータ） (2024-01-12T12:51:12Z)
Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。 Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
論文参考訳（メタデータ） (2023-03-21T09:07:15Z)
Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
論文参考訳（メタデータ） (2022-09-29T17:59:55Z)
Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
論文参考訳（メタデータ） (2021-10-20T14:23:54Z)
Ensemble of Loss Functions to Improve Generalizability of Deep Metric Learning methods [0.609170287691728]
本稿では,共有機能抽出器上に構築された異なる損失を結合する新しい手法を提案する。我々は,従来のゼロショットラーニング(ZSL)設定において,マシンビジョン領域から一般的なデータセットについて評価を行った。
論文参考訳（メタデータ） (2021-07-02T15:19:46Z)
Continual Learning for Fake Audio Detection [62.54860236190694]
本論文では,連続学習に基づく手法である忘れずに偽物を検出することで,モデルに新たなスプーフィング攻撃をインクリメンタルに学習させる手法を提案する。 ASVspoof 2019データセットで実験が行われる。
論文参考訳（メタデータ） (2021-04-15T07:57:05Z)
Second-Moment Loss: A Novel Regression Objective for Improved Uncertainties [7.766663822644739]
不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
論文参考訳（メタデータ） (2020-12-23T14:17:33Z)
Adaptive Weighted Discriminator for Training Generative Adversarial Networks [11.68198403603969]
本稿では,実物と偽物の重み付けを取り入れた新たな識別器損失関数群を提案する。本手法は実部と偽部の合計である損失を持つ任意の判別器モデルに適用できる可能性がある。
論文参考訳（メタデータ） (2020-12-05T23:55:42Z)
Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。