論文の概要: The simplicity bubble effect as a zemblanitous phenomenon in learning
systems
- arxiv url: http://arxiv.org/abs/2304.10681v1
- Date: Fri, 21 Apr 2023 00:02:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 16:15:44.454629
- Title: The simplicity bubble effect as a zemblanitous phenomenon in learning
systems
- Title(参考訳): 学習システムにおけるゼムラニタス現象としての単純気泡効果
- Authors: Felipe S. Abrah\~ao, Ricardo P. Cavassane, Michael Winter, Itala M. L.
D'Ottaviano
- Abstract要約: 我々は、法則のような宇宙に関する形式的な知識に、あまりにも過度な情報-tends-to-behave-like-very-little-information'現象を拡張します。
上述の天井には, 公式な知識が, ゼムラニタスな発見の可能性をさらに減らすことができない天井がある, という主張がある。
- 参考スコア(独自算出の注目度): 0.44241702149260353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ubiquity of Big Data and machine learning in society evinces the need of
further investigation of their fundamental limitations. In this paper, we
extend the
``too-much-information-tends-to-behave-like-very-little-information''
phenomenon to formal knowledge about lawlike universes and arbitrary
collections of computably generated datasets. This gives rise to the simplicity
bubble problem, which refers to a learning algorithm equipped with a formal
theory that can be deceived by a dataset to find a locally optimal model which
it deems to be the global one. However, the actual high-complexity globally
optimal model unpredictably diverges from the found low-complexity local
optimum. Zemblanity is defined by an undesirable but expected finding that
reveals an underlying problem or negative consequence in a given model or
theory, which is in principle predictable in case the formal theory contains
sufficient information. Therefore, we argue that there is a ceiling above which
formal knowledge cannot further decrease the probability of zemblanitous
findings, should the randomly generated data made available to the learning
algorithm and formal theory be sufficiently large in comparison to their joint
complexity.
- Abstract(参考訳): 社会におけるビッグデータと機械学習の普及は、その基本的な限界についてさらなる調査の必要性を浮き彫りにしている。
本稿では,法則的宇宙に関する形式的知識や計算可能なデータセットの任意の収集に,<to-much-information-tends-to-behave-like-very-little-information'現象を拡張した。
これは、データセットによって騙されることができる形式理論を備えた学習アルゴリズムを指して、それがグローバルなものであるとみなす局所最適モデルを見つけるという、単純さのバブル問題を引き起こす。
しかし、実際の高複素度大域的最適モデルは、見いだされた低複素度局所最適化から予測不可能に分岐する。
ゼムラン性(zemblanity)は、与えられたモデルや理論の根底にある問題や負の結果を明らかにする望ましくないが期待できる発見によって定義される。
そこで本稿では, 学習アルゴリズムで得られたランダムに生成したデータと形式理論が, 結合複雑性と比較して十分に大きい場合, 公式知識は, ゼムラニアスな発見の確率をさらに下げることができない天井があることを論じる。
関連論文リスト
- Open-world Machine Learning: A Review and New Outlooks [83.6401132743407]
本稿では,新たなオープンワールド機械学習パラダイムを包括的に紹介することを目的としている。
研究者がそれぞれの分野でより強力なAIシステムを構築するのを支援し、人工知能の開発を促進することを目的としている。
論文 参考訳(メタデータ) (2024-03-04T06:25:26Z) - The Computational Complexity of Concise Hypersphere Classification [49.57441416941195]
本稿では,二元データに対する超球分類問題の複雑性理論による最初の研究である。
パラメータ化複雑性のパラダイムを用いて、入力データに存在する可能性のある構造特性の影響を分析する。
論文 参考訳(メタデータ) (2023-12-12T09:33:03Z) - The No Free Lunch Theorem, Kolmogorov Complexity, and the Role of
Inductive Biases in Machine Learning [49.39804522506397]
ニューラルネットワークモデルは、Kolmogorov複雑性を使って形式化された、同じ好みを共有している、と我々は主張する。
実験の結果、事前訓練された言語モデルでも、低複雑さのシーケンスを生成するのが好まれることがわかった。
これらの観察は、ますます小さな機械学習モデルで異なるように見える問題を統一する深層学習の傾向を正当化する。
論文 参考訳(メタデータ) (2023-04-11T17:22:22Z) - Principled Knowledge Extrapolation with GANs [92.62635018136476]
我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
論文 参考訳(メタデータ) (2022-05-21T08:39:42Z) - Causal Reasoning Meets Visual Representation Learning: A Prospective
Study [117.08431221482638]
解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。
人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。
本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
論文 参考訳(メタデータ) (2022-04-26T02:22:28Z) - A Simplicity Bubble Problem in Formal-Theoretic Learning Systems [1.7996150751268578]
機械学習への現在のアプローチは、十分に大きなデータセットによって、自然または人工的に常に騙され得ることを示す。
本稿では,この誤認現象を回避するための枠組みと追加の経験的条件について論じる。
論文 参考訳(メタデータ) (2021-12-22T23:44:47Z) - Topologically Regularized Data Embeddings [22.222311627054875]
本稿では,新たにトポロジ的損失の集合を導入し,その利用法を,データ埋め込みを自然に特定したモデルを表現するために,トポロジカルに正規化する方法として提案する。
このアプローチの有用性と汎用性を強調した合成データおよび実データの実験を含む。
論文 参考訳(メタデータ) (2021-10-18T11:25:47Z) - Parsimonious Inference [0.0]
parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。
提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
論文 参考訳(メタデータ) (2021-03-03T04:13:14Z) - When is Memorization of Irrelevant Training Data Necessary for
High-Accuracy Learning? [53.523017945443115]
我々は,十分な精度のトレーニングアルゴリズムが,予測モデルにおいて,そのトレーニング例の大規模サブセットに関する情報を本質的にすべてエンコードしなければならない自然予測問題を記述する。
私たちの結果は、トレーニングアルゴリズムや学習に使用されるモデルのクラスに依存しません。
論文 参考訳(メタデータ) (2020-12-11T15:25:14Z) - Random thoughts about Complexity, Data and Models [0.0]
データサイエンスと機械学習は、過去10年間強く成長してきた。
我々は「データとモデル」の微妙な関係について検討する。
アルゴリズム複雑性とアルゴリズム学習の関係性を評価する上での鍵となる課題は、圧縮性、決定性、予測可能性の概念である。
論文 参考訳(メタデータ) (2020-04-16T14:27:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。