論文の概要: Random thoughts about Complexity, Data and Models
- arxiv url: http://arxiv.org/abs/2005.04729v1
- Date: Thu, 16 Apr 2020 14:27:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-12 22:13:46.419756
- Title: Random thoughts about Complexity, Data and Models
- Title（参考訳）: 複雑性、データ、モデルに関するランダムな考え
- Authors: Hykel Hosni and Angelo Vulpiani
- Abstract要約: データサイエンスと機械学習は、過去10年間強く成長してきた。
我々は「データとモデル」の微妙な関係について検討する。
アルゴリズム複雑性とアルゴリズム学習の関係性を評価する上での鍵となる課題は、圧縮性、決定性、予測可能性の概念である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data Science and Machine learning have been growing strong for the past
decade. We argue that to make the most of this exciting field we should resist
the temptation of assuming that forecasting can be reduced to brute-force data
analytics. This owes to the fact that modelling, as we illustrate below,
requires mastering the art of selecting relevant variables. More specifically,
we investigate the subtle relation between "data and models" by focussing on
the role played by algorithmic complexity, which contributed to making
mathematically rigorous the long-standing idea that to understand empirical
phenomena is to describe the rules which generate the data in terms which are
"simpler" than the data itself.
A key issue for the appraisal of the relation between algorithmic complexity
and algorithmic learning is to do with a much needed clarification on the
related but distinct concepts of compressibility, determinism and
predictability. To this end we will illustrate that the evolution law of a
chaotic system is compressibile, but a generic initial condition for it is not,
making the time series generated by chaotic systems incompressible in general.
Hence knowledge of the rules which govern an empirical phenomenon are not
sufficient for predicting its outcomes. In turn this implies that there is more
to understanding phenomena than learning -- even from data alone -- such rules.
This can be achieved only in those cases when we are capable of "good
modelling".
Clearly, the very idea of algorithmic complexity rests on Turing's seminal
analysis of computation. This motivates our remarks on this extremely telling
example of analogy-based abstract modelling which is nonetheless heavily
informed by empirical facts.
- Abstract（参考訳）: データサイエンスと機械学習は、過去10年間強く成長してきた。
このエキサイティングな分野を最大限に活用するには、予測を力強いデータ分析に還元できるという誘惑に抵抗すべきだ、と私たちは主張している。
これは、以下に示すようにモデリングには関連する変数を選択する技術を習得する必要があるという事実に起因しています。
より具体的には、アルゴリズムの複雑さが果たす役割に注目して「データとモデル」間の微妙な関係を考察し、経験的現象を理解するための数学的に厳密な考え方は、データ自身よりも「シンプル」な用語でデータを生成する規則を記述することに貢献した。
アルゴリズム複雑性とアルゴリズム学習の関係性を評価する上で重要な課題は、圧縮性、決定性、予測可能性に関する、非常に必要不可欠な概念を明確にすることである。
この目的のために、カオス系の進化法則は圧縮可能であるが、それに対する一般的な初期条件はそうではないことを述べ、カオス系によって生成される時系列は一般には圧縮不可能である。
したがって、経験的現象を支配する規則の知識は、その結果を予測するには不十分である。
逆にこれは、データのみから学ぶことよりも、現象を理解することの方が重要であることを意味します。
これは、“優れたモデリング”が可能な場合にのみ実現できます。
明らかに、アルゴリズムの複雑さの考え方はチューリングの計算の素解析に依拠している。
このことは、類推に基づく抽象モデリングの極めて顕著な例について、我々の発言を動機付けている。
関連論文リスト
- Identifiable Causal Representation Learning: Unsupervised, Multi-View, and Multi-Environment [10.814585613336778]
因果表現学習は、機械学習のコアとなる強みと因果性を組み合わせることを目的としている。
この論文は、CRLが直接の監督なしに何が可能であるかを調査し、理論的基礎に寄与する。
論文 参考訳（メタデータ） (2024-06-19T09:14:40Z) - A Simple Generative Model of Logical Reasoning and Statistical Learning [0.6853165736531939]
統計的学習と論理的推論は、AIの2つの主要な分野であり、人間のようなマシンインテリジェンスに統一されることが期待されている。
本稿では、論理的推論と統計的学習の単純なベイズモデルを提案する。
我々は、形式論理におけるその満足度の観点から、データがどのように象徴的知識を引き起こすかをモデル化する。
論文 参考訳（メタデータ） (2023-05-18T16:34:51Z) - A simplicity bubble problem and zemblanity in digitally intermediated societies [1.4380443010065829]
社会におけるビッグデータと機械学習の普遍性について論じる。
以上の結果から, 公式な知識だけでは, 迷走神経所見の可能性がさらに低下しない天井があることが示唆された。
論文 参考訳（メタデータ） (2023-04-21T00:02:15Z) - The No Free Lunch Theorem, Kolmogorov Complexity, and the Role of Inductive Biases in Machine Learning [80.1018596899899]
ニューラルネットワークモデルは、Kolmogorov複雑性を使って形式化された、同じ好みを共有している、と我々は主張する。
実験の結果、事前訓練された言語モデルでも、低複雑さのシーケンスを生成するのが好まれることがわかった。
これらの観察は、ますます小さな機械学習モデルで異なるように見える問題を統一する深層学習の傾向を正当化する。
論文 参考訳（メタデータ） (2023-04-11T17:22:22Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳（メタデータ） (2022-05-25T17:37:08Z) - Principled Knowledge Extrapolation with GANs [92.62635018136476]
我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
論文 参考訳（メタデータ） (2022-05-21T08:39:42Z) - A Simplicity Bubble Problem in Formal-Theoretic Learning Systems [1.7996150751268578]
機械学習への現在のアプローチは、十分に大きなデータセットによって、自然または人工的に常に騙され得ることを示す。
本稿では,この誤認現象を回避するための枠組みと追加の経験的条件について論じる。
論文 参考訳（メタデータ） (2021-12-22T23:44:47Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳（メタデータ） (2021-07-02T01:55:18Z) - Parsimonious Inference [0.0]
parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。
提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
論文 参考訳（メタデータ） (2021-03-03T04:13:14Z) - Causal Expectation-Maximisation [70.45873402967297]
ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。
我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。
我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
論文 参考訳（メタデータ） (2020-11-04T10:25:13Z) - Learning Causal Models Online [103.87959747047158]
予測モデルは、予測を行うためにデータの急激な相関に依存することができる。
強い一般化を達成するための一つの解決策は、モデルに因果構造を組み込むことである。
本稿では,突発的特徴を継続的に検出・除去するオンラインアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-12T20:49:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。