論文の概要: Is Complexity an Illusion?

• arxiv url: http://arxiv.org/abs/2404.07227v3
• Date: Sun, 28 Apr 2024 10:44:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 22:46:19.348678
• Title: Is Complexity an Illusion?
• Title（参考訳）: 複雑さはIllusionか?
• Authors: Michael Timothy Bennett,
• Abstract要約: すべての制約は、弱さに関係なく、同じくらい単純な形を取ることができる。 もし関数が形式の有限部分集合で表されるなら、単純さと一般化の間に相関関係を強制することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simplicity is held by many to be the key to general intelligence. Simpler models tend to "generalise", identifying the cause or generator of data with greater sample efficiency. The implications of the correlation between simplicity and generalisation extend far beyond computer science, addressing questions of physics and even biology. Yet simplicity is a property of form, while generalisation is of function. In interactive settings, any correlation between the two depends on interpretation. In theory there could be no correlation and yet in practice, there is. Previous theoretical work showed generalisation to be a consequence of "weak" constraints on implied by function, not form. Experiments demonstrated choosing weak constraints over simple forms yielded a 110-500% improvement in generalisation rate. Here we show that all constraints can take equally simple forms, regardless of weakness. However if forms are spatially extended, then function is represented using a finite subset of forms. If function is represented using a finite subset of forms, then we can force a correlation between simplicity and generalisation by making weak constraints take simple forms. If function determined by a goal directed process (e.g. natural selection), then efficiency demands weak constraints take simple forms. Complexity has no causal influence on generalisation, but appears to due to confounding.
• Abstract（参考訳）: 単純さは一般知能の鍵となると多くの人々が抱いている。 より単純なモデルは"一般化"する傾向があり、より優れたサンプル効率でデータの原因や生成元を特定する。 単純さと一般化の相関関係はコンピュータ科学をはるかに超え、物理学や生物学の問題にも対処している。 しかし、単純性は形式の性質であり、一般化は機能的である。 対話的な設定では、両者の相関は解釈に依存する。 理論的には相関はあり得ないが、実際には相関がある。 これまでの理論的研究は、一般化は形式ではなく関数によって暗示される「弱」制約の結果であることを示した。 単純形式に対する弱い制約を選択する実験では、一般化率が110-500%向上した。 ここでは、弱さに関係なく、すべての制約が等しく単純であることを示す。 しかし、形式が空間的に拡張された場合、関数は形式の有限部分集合で表される。 もし関数が形式の有限部分集合で表されるなら、弱制約を単純形式にすることで、単純性と一般化の間の相関を強制することができる。 目的指向のプロセス(例えば自然選択)によって決定される関数の場合、効率性は弱い制約を要求するが、単純な形式を取る。 複雑性は一般化に因果的な影響はないが、欠点があるように見える。

関連論文リスト

• Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
  本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。 系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。 この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
  論文  参考訳（メタデータ） (2024-03-25T03:18:39Z)
• Discovering modular solutions that generalize compositionally [55.46688816816882]
  実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく可能であることを示す。 さらに, 有限データからのメタラーニングにより, 多くの複雑な環境において, 構成を一般化するモジュラーポリシが発見可能であることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-22T16:33:50Z)
• On the Complexity of Bayesian Generalization [141.21610899086392]
  我々は、多様かつ自然な視覚スペクトルにおいて、概念一般化を大規模に考える。 問題空間が大きくなると、2つのモードが研究され、$complexity$が多様になる。
  論文  参考訳（メタデータ） (2022-11-20T17:21:37Z)
• Unifying local and global model explanations by functional decomposition of low dimensional structures [0.0]
  回帰関数や分類関数のグローバルな説明を主成分と相互作用成分の和に分解して考える。 ここで、qは分解に存在する相互作用の最高位を表す。
  論文  参考訳（メタデータ） (2022-08-12T07:38:53Z)
• On the Generalization Mystery in Deep Learning [15.2292571922932]
  2つの質問に対する答えは、トレーニング中の異なる例の勾配の相互作用にあると論じる。 我々は、コヒーレンスに対する計算が容易で解釈可能な計量を用いて、この議論を定式化する。 この理論は、なぜいくつかの例が他の例よりも早く確実に学習されるのかなど、ディープラーニングの他の多くの現象についても説明している。
  論文  参考訳（メタデータ） (2022-03-18T16:09:53Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)
• Random thoughts about Complexity, Data and Models [0.0]
  データサイエンスと機械学習は、過去10年間強く成長してきた。 我々は「データとモデル」の微妙な関係について検討する。 アルゴリズム複雑性とアルゴリズム学習の関係性を評価する上での鍵となる課題は、圧縮性、決定性、予測可能性の概念である。
  論文  参考訳（メタデータ） (2020-04-16T14:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。