Fugu-MT 論文翻訳(概要): Self-Supervised Learning with an Information Maximization Criterion

論文の概要: Self-Supervised Learning with an Information Maximization Criterion

arxiv url: http://arxiv.org/abs/2209.07999v1
Date: Fri, 16 Sep 2022 15:26:19 GMT
ステータス: 処理完了
システム内更新日: 2022-09-19 11:39:09.347697
Title: Self-Supervised Learning with an Information Maximization Criterion
Title（参考訳）: 情報最大化基準による自己指導型学習
Authors: Serdar Ozsoy, Shadi Hamdan, Sercan \"O. Arik, Deniz Yuret, Alper T. Erdogan
Abstract要約: 同じ入力の代替表現間の情報の直接的な適用は、崩壊問題を自然に解決する、と我々は主張する。本稿では,2次統計に基づく相互情報尺度を用いた自己教師型学習手法CorInfoMaxを提案する。 CorInfoMaxは、最先端のSSLアプローチと比較して、より良い、あるいは競争力のあるパフォーマンスを達成している。
参考スコア（独自算出の注目度）: 5.214806886230471
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-supervised learning allows AI systems to learn effective representations from large amounts of data using tasks that do not require costly labeling. Mode collapse, i.e., the model producing identical representations for all inputs, is a central problem to many self-supervised learning approaches, making self-supervised tasks, such as matching distorted variants of the inputs, ineffective. In this article, we argue that a straightforward application of information maximization among alternative latent representations of the same input naturally solves the collapse problem and achieves competitive empirical results. We propose a self-supervised learning method, CorInfoMax, that uses a second-order statistics-based mutual information measure that reflects the level of correlation among its arguments. Maximizing this correlative information measure between alternative representations of the same input serves two purposes: (1) it avoids the collapse problem by generating feature vectors with non-degenerate covariances; (2) it establishes relevance among alternative representations by increasing the linear dependence among them. An approximation of the proposed information maximization objective simplifies to a Euclidean distance-based objective function regularized by the log-determinant of the feature covariance matrix. The regularization term acts as a natural barrier against feature space degeneracy. Consequently, beyond avoiding complete output collapse to a single point, the proposed approach also prevents dimensional collapse by encouraging the spread of information across the whole feature space. Numerical experiments demonstrate that CorInfoMax achieves better or competitive performance results relative to the state-of-the-art SSL approaches.
Abstract（参考訳）: 自己教師付き学習により、AIシステムは、高価なラベル付けを必要としないタスクを使用して、大量のデータから効果的な表現を学ぶことができる。全ての入力に対して同じ表現を生成するモデルであるモード崩壊は、多くの自己教師付き学習アプローチにおいて中心的な問題であり、入力の歪んだ変種をマッチングするような自己教師付きタスクを非効率にする。本稿では、同じ入力の他の潜在表現間の情報最大化の簡単な適用が、崩壊問題を自然に解決し、競合的な経験的結果をもたらすことを論じる。本稿では,議論間の相関関係を反映した2次統計に基づく相互情報尺度を用いた自己教師型学習手法CorInfoMaxを提案する。同一入力のオルタナティブ表現間のこの相関情報測度を最大化することは、(1)非退化共分散特徴ベクトルの生成による崩壊問題を回避すること、(2)それらの線形依存性を増大させることにより、代替表現間の関連性を確立することである。提案した情報最大化目標の近似は、特徴共分散行列の対数行列で正規化されたユークリッド距離に基づく目的関数に単純化する。正規化項は特徴空間の縮退に対する自然な障壁として機能する。その結果, 単一点への完全出力崩壊を回避するだけでなく, 特徴空間全体に情報の拡散を促すことにより, 次元的崩壊を防止できることがわかった。 CorInfoMaxは、最先端のSSLアプローチと比較して、より良い、あるいは競争力のあるパフォーマンスを達成している。

関連論文リスト

Causal Feature Selection via Transfer Entropy [59.999594949050596]
因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
論文参考訳（メタデータ） (2023-10-17T08:04:45Z)
Nonlinear Feature Aggregation: Two Algorithms driven by Theory [45.3190496371625]
現実世界の機械学習アプリケーションは、膨大な機能によって特徴付けられ、計算やメモリの問題を引き起こす。一般集約関数を用いて特徴量の非線形変換を集約する次元還元アルゴリズム(NonLinCFA)を提案する。また、アルゴリズムを合成および実世界のデータセット上でテストし、回帰および分類タスクを実行し、競合性能を示す。
論文参考訳（メタデータ） (2023-06-19T19:57:33Z)
Efficient Alternating Minimization Solvers for Wyner Multi-View Unsupervised Learning [0.0]
本稿では,計算効率のよい解法の開発を可能にする2つの新しい定式化法を提案する。提案した解法は, 計算効率, 理論的収束保証, ビュー数による局所最小値複雑性, 最先端技術と比較して, 例外的な精度を提供する。
論文参考訳（メタデータ） (2023-03-28T10:17:51Z)
Robust Direct Learning for Causal Data Fusion [14.462235940634969]
我々は、他のニュアンス関数から処理効果を分離するマルチソースデータを統合するためのフレームワークを提供する。また,半パラメトリック効率理論の理論的洞察に基づく因果情報認識重み付け関数を提案する。
論文参考訳（メタデータ） (2022-11-01T03:33:22Z)
HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction [60.80849503639896]
非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。 2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
論文参考訳（メタデータ） (2022-05-04T17:56:48Z)
Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation [70.2166826794421]
本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
論文参考訳（メタデータ） (2022-03-05T17:36:17Z)
Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文参考訳（メタデータ） (2021-12-12T06:11:16Z)
Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文参考訳（メタデータ） (2021-08-11T21:17:02Z)
Integrating Information Theory and Adversarial Learning for Cross-modal Retrieval [19.600581093189362]
マルチメディアコミュニティでは,クロスモーダル検索における視覚データとテキストデータのマッチングが広く研究されている。シャノン情報理論と対比学習の統合を提案する。ギャップの観点からは,モダリティ分類と情報エントロピーを相反的に統合する。
論文参考訳（メタデータ） (2021-04-11T11:04:55Z)
Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。