論文の概要: What shapes the loss landscape of self-supervised learning?
- arxiv url: http://arxiv.org/abs/2210.00638v1
- Date: Sun, 2 Oct 2022 21:46:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 17:28:20.855199
- Title: What shapes the loss landscape of self-supervised learning?
- Title（参考訳）: 自己教師型学習の損失状況はどのようなものか?
- Authors: Liu Ziyin, Ekdeep Singh Lubana, Masahito Ueda, Hidenori Tanaka
- Abstract要約: 表現の完全的・次元的崩壊防止は、近年、自己教師型学習(SSL)の設計原則となっている。
線形モデルに対するSSLロスランドスケープを徹底的に解析することで、回答を提供する。
SSLランドスケープを解析的に抽出可能な理論を導出し,崩壊現象の配列を正確に把握し,その原因を明らかにする。
- 参考スコア（独自算出の注目度）: 10.896567381206715
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prevention of complete and dimensional collapse of representations has
recently become a design principle for self-supervised learning (SSL). However,
questions remain in our theoretical understanding: When do those collapses
occur? What are the mechanisms and causes? We provide answers to these
questions by thoroughly analyzing SSL loss landscapes for a linear model. We
derive an analytically tractable theory of SSL landscape and show that it
accurately captures an array of collapse phenomena and identifies their causes.
Finally, we leverage the interpretability afforded by the analytical theory to
understand how dimensional collapse can be beneficial and what affects the
robustness of SSL against data imbalance.
- Abstract（参考訳）: 近年,表現の完全的・次元的崩壊防止は,自己教師型学習(SSL)の設計原則となっている。
しかし、理論的な理解には疑問が残っている: これらの崩壊はいつ起こるのか?
メカニズムと原因は何ですか?
線形モデルに対するSSLロスランドスケープを徹底的に解析することにより,これらの質問に答える。
SSLランドスケープを解析的に抽出可能な理論を導出し,崩壊現象の配列を正確に把握し,その原因を明らかにする。
最後に, 解析理論によって得られる解釈可能性を活用し, 次元崩壊がいかに有用か, データ不均衡に対するSSLの堅牢性に影響を与えるかを理解する。
関連論文リスト
- On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - MoCa: Measuring Human-Language Model Alignment on Causal and Moral
Judgment Tasks [49.60689355674541]
認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。
この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。
大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
論文 参考訳（メタデータ） (2023-10-30T15:57:32Z) - An Embarrassingly Simple Backdoor Attack on Self-supervised Learning [52.28670953101126]
自己教師付き学習(SSL)は、ラベルに頼ることなく、複雑なデータの高品質な表現を学習することができる。
SSLのバックドア攻撃に対する脆弱性について検討する。
論文 参考訳（メタデータ） (2022-10-13T20:39:21Z) - Imbalance Trouble: Revisiting Neural-Collapse Geometry [27.21274327569783]
本稿では, 神経崩壊現象の不変性として, Simplex-Encoded-Labels Interpolation (SELI) を導入する。
我々は,UFMのクロスエントロピー損失と正規化の消失を証明した。
我々はSELI幾何への収束を確かめる合成データセットと実データセットについて実験を行った。
論文 参考訳（メタデータ） (2022-08-10T18:10:59Z) - How Does SimSiam Avoid Collapse Without Negative Samples? A Unified
Understanding with Self-supervised Contrastive Learning [79.94590011183446]
自己教師学習の崩壊を避けるために、コントラスト損失は広く使用されるが、多くの負のサンプルを必要とすることが多い。
最近の研究は、崩壊を避けるために最小限の単純なシムセ法(SimSiam)を提供することによって大きな注目を集めている。
論文 参考訳（メタデータ） (2022-03-30T12:46:31Z) - Limitations of Neural Collapse for Understanding Generalization in Deep
Learning [25.48346719747956]
パパヤン、ハン、ドノホの最近の研究は興味深い「ニューラル崩壊」現象を示した。
私たちのモチベーションは、この研究プログラムの上限を研究することです。
論文 参考訳（メタデータ） (2022-02-17T00:20:12Z) - Understanding self-supervised Learning Dynamics without Contrastive
Pairs [72.1743263777693]
自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。
BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。
単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
論文 参考訳（メタデータ） (2021-02-12T22:57:28Z) - Dependency Decomposition and a Reject Option for Explainable Models [4.94950858749529]
近年のディープラーニングモデルは様々な推論タスクにおいて非常によく機能する。
最近の進歩は特徴を視覚化し、入力の属性を記述する方法を提供します。
本稿では, 目的の画像分類出力に対する確率分布に関する依存性を初めて解析する。
論文 参考訳（メタデータ） (2020-12-11T17:39:33Z) - Long-Tailed Classification by Keeping the Good and Removing the Bad
Momentum Causal Effect [95.37587481952487]
長い尾の分類は、大規模なディープラーニングの鍵である。
既存の手法は主に、基本的な理論を欠いた再重み付け/再サンプリングに基づいている。
本稿では,従来の手法の理由を解明するだけでなく,新たな原理的解を導出する因果推論の枠組みを確立する。
論文 参考訳（メタデータ） (2020-09-28T00:32:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。