論文の概要: A Simplicity Bubble Problem in Formal-Theoretic Learning Systems
- arxiv url: http://arxiv.org/abs/2112.12275v2
- Date: Tue, 25 Apr 2023 15:14:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-27 04:15:21.848769
- Title: A Simplicity Bubble Problem in Formal-Theoretic Learning Systems
- Title（参考訳）: 形式理論学習システムにおける単純気泡問題
- Authors: Felipe S. Abrah\~ao, Hector Zenil, Fabio Porto, Michael Winter, Klaus
Wehmuth, Itala M. L. D'Ottaviano
- Abstract要約: 機械学習への現在のアプローチは、十分に大きなデータセットによって、自然または人工的に常に騙され得ることを示す。
本稿では,この誤認現象を回避するための枠組みと追加の経験的条件について論じる。
- 参考スコア（独自算出の注目度）: 1.7996150751268578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When mining large datasets in order to predict new data, limitations of the
principles behind statistical machine learning pose a serious challenge not
only to the Big Data deluge, but also to the traditional assumptions that data
generating processes are biased toward low algorithmic complexity. Even when
one assumes an underlying algorithmic-informational bias toward simplicity in
finite dataset generators, we show that current approaches to machine learning
(including deep learning, or any formal-theoretic hybrid mix of top-down AI and
statistical machine learning approaches), can always be deceived, naturally or
artificially, by sufficiently large datasets. In particular, we demonstrate
that, for every learning algorithm (with or without access to a formal theory),
there is a sufficiently large dataset size above which the algorithmic
probability of an unpredictable deceiver is an upper bound (up to a
multiplicative constant that only depends on the learning algorithm) for the
algorithmic probability of any other larger dataset. In other words, very large
and complex datasets can deceive learning algorithms into a ``simplicity
bubble'' as likely as any other particular non-deceiving dataset. These
deceiving datasets guarantee that any prediction effected by the learning
algorithm will unpredictably diverge from the high-algorithmic-complexity
globally optimal solution while converging toward the
low-algorithmic-complexity locally optimal solution, although the latter is
deemed a global one by the learning algorithm. We discuss the framework and
additional empirical conditions to be met in order to circumvent this deceptive
phenomenon, moving away from statistical machine learning towards a stronger
type of machine learning based on, and motivated by, the intrinsic power of
algorithmic information theory and computability theory.
- Abstract（参考訳）: 新しいデータを予測するために大規模なデータセットをマイニングする場合、統計機械学習の背後にある原則の限界は、ビッグデータの崩壊だけでなく、データ生成プロセスがアルゴリズムの複雑さの低さに偏っているという従来の仮定にも深刻な課題をもたらす。
有限データセット生成器における単純さに対するアルゴリズム的情報バイアスを仮定しても、機械学習に対する現在のアプローチ(ディープラーニングや、トップダウンaiと統計的機械学習のあらゆる形式的ハイブリッドを含む)は、十分大きなデータセットによって、常に、自然に、あるいは人工的に、欺くことができる。
特に、全ての学習アルゴリズム(形式理論にアクセスできるか否かに関わらず)に対して、予測不可能な十進法のアルゴリズム確率が、他の大きなデータセットのアルゴリズム確率の上限(学習アルゴリズムにのみ依存する乗算定数まで)であるような十分に大きなデータセットサイズが存在することを実証する。
言い換えれば、非常に大きく複雑なデータセットは、学習アルゴリズムを他の特定の非知覚データセットと同様に‘simplicity bubble’’に認識することができる。
これらの決定データセットは、学習アルゴリズムによって影響される予測が、学習アルゴリズムによってグローバルなものと見なされるにもかかわらず、低アルゴリズム-複雑度局所最適解に向かって収束しながら、高アルゴリズム-複雑度グローバルな最適解から予測不可能に分岐することを保証する。
アルゴリズム情報理論と計算可能性理論の持つ本質的な力に基づく、より強力な機械学習へと、統計的な機械学習から脱却し、この偽りの現象を回避するために、満たすべき枠組みと追加の経験的条件について議論する。
関連論文リスト
- Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Learning to Bound Counterfactual Inference in Structural Causal Models
from Observational and Randomised Data [64.96984404868411]
我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。
新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。
反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
論文 参考訳（メタデータ） (2022-12-06T12:42:11Z) - Information bottleneck theory of high-dimensional regression: relevancy,
efficiency and optimality [6.700873164609009]
オーバーフィッティングは機械学習における中心的な課題であるが、多くの大きなニューラルネットワークは容易にトレーニング損失をゼロにする。
トレーニングデータのノイズを符号化する適合モデルのビットとして定義される残差情報による過度適合の定量化を行う。
論文 参考訳（メタデータ） (2022-08-08T00:09:12Z) - A Survey of Learning on Small Data: Generalization, Optimization, and
Challenge [101.27154181792567]
ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。
この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。
効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
論文 参考訳（メタデータ） (2022-07-29T02:34:19Z) - Parsimonious Inference [0.0]
parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。
提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
論文 参考訳（メタデータ） (2021-03-03T04:13:14Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Comparative Analysis of Extreme Verification Latency Learning Algorithms [3.3439097577935213]
本稿では、EVLアルゴリズムのいくつかの弱点と強みを指摘するための総合的な調査と比較分析を行う。
この研究は、この分野の既存のアルゴリズムのレビューを研究コミュニティに提供するための、非常に最初の取り組みである。
論文 参考訳（メタデータ） (2020-11-26T16:34:56Z) - Optimization for Supervised Machine Learning: Randomized Algorithms for
Data and Parameters [10.279748604797911]
機械学習とデータサイエンスの主な問題は、最適化問題として日常的にモデル化され、最適化アルゴリズムによって解決される。
データ量の増加と、これらの不条件最適化タスクを定式化するために使用される統計モデルのサイズと複雑さにより、これらの課題に対処できる新しい効率的なアルゴリズムが必要である。
この論文では,これらの課題をそれぞれ異なる方法で処理する。ビッグデータ問題に効率的に対処するために,各イテレーションでトレーニングデータの小さなランダムサブセットのみを検査する新しい手法を開発する。
大きなモデル問題に対処するために、イテレーション毎に更新されるメソッドを開発します。
論文 参考訳（メタデータ） (2020-08-26T21:15:18Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。