論文の概要: Visual Representation Learning Does Not Generalize Strongly Within the Same Domain

• arxiv url: http://arxiv.org/abs/2107.08221v1
• Date: Sat, 17 Jul 2021 11:24:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 07:01:00.432996
• Title: Visual Representation Learning Does Not Generalize Strongly Within the Same Domain
• Title（参考訳）: 視覚表現学習は、同じドメイン内で強く一般化しない
• Authors: Lukas Schott, Julius von K\"ugelgen, Frederik Tr\"auble, Peter Gehler, Chris Russell, Matthias Bethge, Bernhard Sch\"olkopf, Francesco Locatello, Wieland Brendel
• Abstract要約: 我々は、17の教師なし、弱弱教師付き、完全教師付き表現学習アプローチが、単純なデータセットの変動の生成要因を正しく推測するかどうかを検証した。 2000以上のモデルをトレーニングし、テストし、それらすべてが、監視信号やアーキテクチャバイアスに関係なく、基盤となるメカニズムを学ぶのに苦労していることを観察します。
• 参考スコア（独自算出の注目度）: 41.66817277929783
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An important component for generalization in machine learning is to uncover underlying latent factors of variation as well as the mechanism through which each factor acts in the world. In this paper, we test whether 17 unsupervised, weakly supervised, and fully supervised representation learning approaches correctly infer the generative factors of variation in simple datasets (dSprites, Shapes3D, MPI3D). In contrast to prior robustness work that introduces novel factors of variation during test time, such as blur or other (un)structured noise, we here recompose, interpolate, or extrapolate only existing factors of variation from the training data set (e.g., small and medium-sized objects during training and large objects during testing). Models that learn the correct mechanism should be able to generalize to this benchmark. In total, we train and test 2000+ models and observe that all of them struggle to learn the underlying mechanism regardless of supervision signal and architectural bias. Moreover, the generalization capabilities of all tested models drop significantly as we move from artificial datasets towards more realistic real-world datasets. Despite their inability to identify the correct mechanism, the models are quite modular as their ability to infer other in-distribution factors remains fairly stable, providing only a single factor is out-of-distribution. These results point to an important yet understudied problem of learning mechanistic models of observations that can facilitate generalization.
• Abstract（参考訳）: 機械学習における一般化の重要な要素は、変動の潜在要因と、各要因が世界に作用するメカニズムを明らかにすることである。 本稿では,単純なデータセット(dsprites, shapes3d, mpi3d)の変動生成要因を正確に推定する17の教師なし,弱い教師付き,完全に教師なし表現学習手法を検証した。 ブラーやその他の(非構造的な)ノイズのようなテスト時間に変化の新たな要因を導入する以前のロバストネス作業とは対照的に、トレーニングデータセット(例えば、トレーニング中の中小オブジェクトやテスト中の大型オブジェクト)から既存の変化の要因のみを再構成、補間、または外挿する。 正しいメカニズムを学ぶモデルは、このベンチマークに一般化できるべきである。 総じて、2000以上のモデルをトレーニングし、テストし、それらすべてが、監視信号やアーキテクチャバイアスに関わらず、基盤となるメカニズムを学ぶのに苦労していることを観察します。 さらに、すべてのテストされたモデルの一般化能力は、人工データセットからより現実的な現実世界データセットに移行するにつれて大幅に低下します。 正しいメカニズムを特定できないにもかかわらず、モデルはかなりモジュール化されており、他の分配要因を推測する能力はかなり安定であり、単一因子のみが分布外である。 これらの結果は、一般化を促進する観察の機械論的モデルを学ぶという重要かつ未熟な問題を示している。

関連論文リスト

• Robust Computer Vision in an Ever-Changing World: A Survey of Techniques for Tackling Distribution Shifts [20.17397328893533]
  AIアプリケーションは、ますます一般大衆に注目を集めている。 コンピュータビジョンモデルに関する理論的な仮定と、それらのモデルが現実世界に展開する際に直面する現実との間には、顕著なギャップがある。 このギャップの重要な理由の1つは、分散シフトとして知られる難しい問題である。
  論文  参考訳（メタデータ） (2023-12-03T23:40:12Z)
• Interpreting and generalizing deep learning in physics-based problems with functional linear models [1.1440052544554358]
  解釈可能性は非常に重要であり、物理システムのモデリングにしばしば望まれる。 固体力学,流体力学,輸送の試験例を報告する。 本研究は,科学機械学習における解釈可能な表現の重要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2023-07-10T14:01:29Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Towards Understanding How Data Augmentation Works with Imbalanced Data [17.478900028887537]
  本稿では,データ拡張が3つの異なる分類器,畳み込みニューラルネットワーク,サポートベクトルマシン,ロジスティック回帰モデルに与える影響について検討する。 本研究は,不均衡データに適用した場合,モデル重み,サポートベクトル,特徴選択に大きな変化が生じることを示す。 DAはデータの分散を促進することによって機能し、機械学習モデルがデータの変化とラベルを関連付けることができる、という仮説を立てる。
  論文  参考訳（メタデータ） (2023-04-12T15:01:22Z)
• Feature diversity in self-supervised learning [0.0]
  CNNモデルを用いた自己教師型学習の文脈において,これらの要因が全体的な一般化性能に与える影響について検討した。 最後のレイヤがトレーニングを通じて最も多様化していることが分かりました。 モデルのテストエラーはエポックの増加に伴って減少するが、その多様性は低下する。
  論文  参考訳（メタデータ） (2022-09-02T21:34:11Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Nonlinear Invariant Risk Minimization: A Causal Approach [5.63479133344366]
  非線形環境下での分布外一般化を可能にする学習パラダイムを提案する。 我々は、非常に単純な変換までデータ表現の識別性を示す。 合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-02-24T15:38:41Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。