論文の概要: Feature diversity in self-supervised learning

• arxiv url: http://arxiv.org/abs/2209.01275v1
• Date: Fri, 2 Sep 2022 21:34:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 12:38:24.011627
• Title: Feature diversity in self-supervised learning
• Title（参考訳）: 自己教師型学習における特徴多様性
• Authors: Pranshu Malviya, Arjun Vaithilingam Sudhakar
• Abstract要約: CNNモデルを用いた自己教師型学習の文脈において,これらの要因が全体的な一般化性能に与える影響について検討した。 最後のレイヤがトレーニングを通じて最も多様化していることが分かりました。 モデルのテストエラーはエポックの増加に伴って減少するが、その多様性は低下する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many studies on scaling laws consider basic factors such as model size, model shape, dataset size, and compute power. These factors are easily tunable and represent the fundamental elements of any machine learning setup. But researchers have also employed more complex factors to estimate the test error and generalization performance with high predictability. These factors are generally specific to the domain or application. For example, feature diversity was primarily used for promoting syn-to-real transfer by Chen et al. (2021). With numerous scaling factors defined in previous works, it would be interesting to investigate how these factors may affect overall generalization performance in the context of self-supervised learning with CNN models. How do individual factors promote generalization, which includes varying depth, width, or the number of training epochs with early stopping? For example, does higher feature diversity result in higher accuracy held in complex settings other than a syn-to-real transfer? How do these factors depend on each other? We found that the last layer is the most diversified throughout the training. However, while the model's test error decreases with increasing epochs, its diversity drops. We also discovered that diversity is directly related to model width.
• Abstract（参考訳）: スケーリング法則に関する多くの研究は、モデルサイズ、モデル形状、データセットサイズ、計算能力などの基本的な要素を考察している。 これらの要素は簡単に調整でき、あらゆる機械学習セットアップの基本要素を表す。 しかし、研究者はより複雑な因子を用いて、高い予測可能性でテストエラーと一般化性能を推定している。 これらの要素は一般的にドメインやアプリケーションに特化します。 例えば、ChenらによるSyn-to-real Transfer(2021)の促進に特徴多様性が主に用いられた。 これらの要因がCNNモデルを用いた自己教師型学習の文脈における全体的な一般化性能にどのように影響するかは、これまでの研究で定義された多くのスケーリング要因で興味深い。 異なる深さ、幅、早期停止を伴う訓練エポックの数など、個々の要因が一般化を促進するにはどうすればよいか? 例えば、機能多様性が高ければ、syn-to-real転送以外の複雑な設定で高い精度が得られるのでしょうか? これらの要因は相互にどのように依存するのか? トレーニング中,最終層が最も多様化していることが分かりました。 しかしながら、モデルのテストエラーはエポックの増加とともに減少するが、その多様性は低下する。 また,多様性はモデル幅に直接関係していることが判明した。

関連論文リスト

• C-Disentanglement: Discovering Causally-Independent Generative Factors under an Inductive Bias of Confounder [35.09708249850816]
  我々は,共同設立者の帰納的バイアスを明示する最初のフレームワークである,C-Disentanglement(C-Disentanglement)というフレームワークを紹介した。 我々は、合成データセットと実世界のデータセットの両方について広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-26T11:44:42Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Causality Inspired Representation Learning for Domain Generalization [47.574964496891404]
  本稿では、ドメイン一般化問題を形式化する一般的な構造因果モデルを提案する。 我々の目標は、入力から因果因子を抽出し、不変因果機構を再構築することである。 理想的な因果因子は、非因果的要因から分離され、共同独立であり、分類に十分な因果的要因である。
  論文  参考訳（メタデータ） (2022-03-27T08:08:33Z)
• Visual Representation Learning Does Not Generalize Strongly Within the Same Domain [41.66817277929783]
  我々は、17の教師なし、弱弱教師付き、完全教師付き表現学習アプローチが、単純なデータセットの変動の生成要因を正しく推測するかどうかを検証した。 2000以上のモデルをトレーニングし、テストし、それらすべてが、監視信号やアーキテクチャバイアスに関係なく、基盤となるメカニズムを学ぶのに苦労していることを観察します。
  論文  参考訳（メタデータ） (2021-07-17T11:24:18Z)
• Systematic Evaluation of Causal Discovery in Visual Model Based Reinforcement Learning [76.00395335702572]
  AIと因果関係の中心的な目標は、抽象表現と因果構造を共同で発見することである。 因果誘導を研究するための既存の環境は、複雑なタスク固有の因果グラフを持つため、この目的には適していない。 本研究の目的は,高次変数の学習表現と因果構造の研究を促進することである。
  論文  参考訳（メタデータ） (2021-07-02T05:44:56Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)
• What Should Not Be Contrastive in Contrastive Learning [110.14159883496859]
  本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。 我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。 我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
  論文  参考訳（メタデータ） (2020-08-13T03:02:32Z)
• Be Like Water: Robustness to Extraneous Variables Via Adaptive Feature Normalization [17.829013101192295]
  外部変数は特定のタスクに無関係な変数であるが、利用可能なデータの分布に大きな影響を及ぼす変数である。 このような変数の存在は、ディープラーニングモデルの性能を低下させる可能性があることを示す。 我々は,例えば正規化のように,推測中に特徴統計量を適応的に推定することが,この問題に対処することを示す。
  論文  参考訳（メタデータ） (2020-02-10T18:47:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。