論文の概要: The simplicity bubble effect as a zemblanitous phenomenon in learning systems

• arxiv url: http://arxiv.org/abs/2304.10681v1
• Date: Fri, 21 Apr 2023 00:02:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 16:15:44.454629
• Title: The simplicity bubble effect as a zemblanitous phenomenon in learning systems
• Title（参考訳）: 学習システムにおけるゼムラニタス現象としての単純気泡効果
• Authors: Felipe S. Abrah\~ao, Ricardo P. Cavassane, Michael Winter, Itala M. L. D'Ottaviano
• Abstract要約: 我々は、法則のような宇宙に関する形式的な知識に、あまりにも過度な情報-tends-to-behave-like-very-little-information'現象を拡張します。 上述の天井には, 公式な知識が, ゼムラニタスな発見の可能性をさらに減らすことができない天井がある, という主張がある。
• 参考スコア（独自算出の注目度）: 0.44241702149260353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ubiquity of Big Data and machine learning in society evinces the need of further investigation of their fundamental limitations. In this paper, we extend the ``too-much-information-tends-to-behave-like-very-little-information'' phenomenon to formal knowledge about lawlike universes and arbitrary collections of computably generated datasets. This gives rise to the simplicity bubble problem, which refers to a learning algorithm equipped with a formal theory that can be deceived by a dataset to find a locally optimal model which it deems to be the global one. However, the actual high-complexity globally optimal model unpredictably diverges from the found low-complexity local optimum. Zemblanity is defined by an undesirable but expected finding that reveals an underlying problem or negative consequence in a given model or theory, which is in principle predictable in case the formal theory contains sufficient information. Therefore, we argue that there is a ceiling above which formal knowledge cannot further decrease the probability of zemblanitous findings, should the randomly generated data made available to the learning algorithm and formal theory be sufficiently large in comparison to their joint complexity.
• Abstract（参考訳）: 社会におけるビッグデータと機械学習の普及は、その基本的な限界についてさらなる調査の必要性を浮き彫りにしている。 本稿では,法則的宇宙に関する形式的知識や計算可能なデータセットの任意の収集に,<to-much-information-tends-to-behave-like-very-little-information'現象を拡張した。 これは、データセットによって騙されることができる形式理論を備えた学習アルゴリズムを指して、それがグローバルなものであるとみなす局所最適モデルを見つけるという、単純さのバブル問題を引き起こす。 しかし、実際の高複素度大域的最適モデルは、見いだされた低複素度局所最適化から予測不可能に分岐する。 ゼムラン性(zemblanity)は、与えられたモデルや理論の根底にある問題や負の結果を明らかにする望ましくないが期待できる発見によって定義される。 そこで本稿では, 学習アルゴリズムで得られたランダムに生成したデータと形式理論が, 結合複雑性と比較して十分に大きい場合, 公式知識は, ゼムラニアスな発見の確率をさらに下げることができない天井があることを論じる。

関連論文リスト

• Hardness of Learning Neural Networks under the Manifold Hypothesis [3.2635082758250693]
  多様体仮説は、高次元データが低次元多様体上または近辺にあると仮定する。 多様体仮説に基づく学習の難しさについて検討する。 データ多様体の体積に関する追加の仮定は、これらの基本的な制限を緩和することを示します。
  論文  参考訳（メタデータ） (2024-06-03T15:50:32Z)
• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
  本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。 系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。 この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
  論文  参考訳（メタデータ） (2024-03-25T03:18:39Z)
• Neural Causal Abstractions [63.21695740637627]
  我々は、変数とそのドメインをクラスタリングすることで、因果抽象化の新しいファミリーを開発する。 本稿では,ニューラルネットワークモデルを用いて,そのような抽象化が現実的に学習可能であることを示す。 本実験は、画像データを含む高次元設定に因果推論をスケールする方法を記述し、その理論を支持する。
  論文  参考訳（メタデータ） (2024-01-05T02:00:27Z)
• The No Free Lunch Theorem, Kolmogorov Complexity, and the Role of Inductive Biases in Machine Learning [80.1018596899899]
  ニューラルネットワークモデルは、Kolmogorov複雑性を使って形式化された、同じ好みを共有している、と我々は主張する。 実験の結果、事前訓練された言語モデルでも、低複雑さのシーケンスを生成するのが好まれることがわかった。 これらの観察は、ますます小さな機械学習モデルで異なるように見える問題を統一する深層学習の傾向を正当化する。
  論文  参考訳（メタデータ） (2023-04-11T17:22:22Z)
• Principled Knowledge Extrapolation with GANs [92.62635018136476]
  我々は,知識外挿の新たな視点から,対実合成を研究する。 本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。 提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
  論文  参考訳（メタデータ） (2022-05-21T08:39:42Z)
• A Simplicity Bubble Problem in Formal-Theoretic Learning Systems [1.7996150751268578]
  機械学習への現在のアプローチは、十分に大きなデータセットによって、自然または人工的に常に騙され得ることを示す。 本稿では,この誤認現象を回避するための枠組みと追加の経験的条件について論じる。
  論文  参考訳（メタデータ） (2021-12-22T23:44:47Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Parsimonious Inference [0.0]
  parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。 提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
  論文  参考訳（メタデータ） (2021-03-03T04:13:14Z)
• Random thoughts about Complexity, Data and Models [0.0]
  データサイエンスと機械学習は、過去10年間強く成長してきた。 我々は「データとモデル」の微妙な関係について検討する。 アルゴリズム複雑性とアルゴリズム学習の関係性を評価する上での鍵となる課題は、圧縮性、決定性、予測可能性の概念である。
  論文  参考訳（メタデータ） (2020-04-16T14:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。