論文の概要: Is Complexity an Illusion?

• arxiv url: http://arxiv.org/abs/2404.07227v2
• Date: Fri, 12 Apr 2024 09:08:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 16:54:09.443972
• Title: Is Complexity an Illusion?
• Title（参考訳）: 複雑さはIllusionか?
• Authors: Michael Timothy Bennett,
• Abstract要約: 一般化は、形式ではなく関数によって示される「弱」制約の結果である。 単純形式に対する弱い制約を選択する実験では、一般化率が110-500%向上した。 空間的および時間的に拡張された抽象層の文脈では、効率性の要求された弱い制約は単純な形式を取り、単純さは一般化と相関する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simplicity is held by many to be the key to general intelligence. Simpler models tend to "generalise", identifying the cause or generator of data with greater sample efficiency. The implications of the correlation between simplicity and generalisation extend far beyond computer science, addressing questions of physics and even biology. Yet simplicity is a property of form, while generalisation is of function. In interactive settings, any correlation between the two depends on interpretation. In theory there could be no correlation and yet in practice, there is. Previous theoretical work showed generalisation to be a consequence of "weak" constraints implied by function, not form. Experiments demonstrated choosing weak constraints over simple forms yielded a 110-500% improvement in generalisation rate. Here we measure the complexity of weak constraints, and show that if one does not presuppose an abstraction layer, then all have equal complexity. However, in the context of a spatially and temporally extended abstraction layer, efficiency demands weak constraints take simple forms, and simplicity becomes correlated with generalisation. Simplicity has no causal influence on generalisation, but appears to due to confounding.
• Abstract（参考訳）: 単純さは一般知能の鍵となると多くの人々が抱いている。 より単純なモデルは"一般化"する傾向があり、より優れたサンプル効率でデータの原因や生成元を特定する。 単純さと一般化の相関関係はコンピュータ科学をはるかに超え、物理学や生物学の問題にも対処している。 しかし、単純性は形式の性質であり、一般化は機能的である。 対話的な設定では、両者の相関は解釈に依存する。 理論的には相関はあり得ないが、実際には相関がある。 以前の理論的研究は、一般化は形式ではなく関数によって示される「弱」制約の結果であることを示した。 単純形式に対する弱い制約を選択する実験では、一般化率が110-500%向上した。 ここでは、弱い制約の複雑さを測定し、抽象層を前提としないなら、すべて同じ複雑さを持つことを示す。 しかし、空間的・時間的に拡張された抽象層の文脈では、効率性の強い制約は単純な形式をとり、単純さは一般化と相関する。 単純さは一般化に因果的な影響はないが、欠点があるように見える。

関連論文リスト

• Understanding Simplicity Bias towards Compositional Mappings via Learning Dynamics [20.720113883193765]
  異なる視点から構成写像の特異性について検討する。 この性質は、そのような写像を持つモデルがうまく一般化できる理由を説明する。 単純性バイアスは通常、勾配降下によるニューラルネットワークトレーニングの本質的な特性を示す。
  論文  参考訳（メタデータ） (2024-09-15T06:37:12Z)
• Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
  本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。 系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。 この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
  論文  参考訳（メタデータ） (2024-03-25T03:18:39Z)
• Discovering modular solutions that generalize compositionally [55.46688816816882]
  実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく可能であることを示す。 さらに, 有限データからのメタラーニングにより, 多くの複雑な環境において, 構成を一般化するモジュラーポリシが発見可能であることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-22T16:33:50Z)
• On the Complexity of Bayesian Generalization [141.21610899086392]
  我々は、多様かつ自然な視覚スペクトルにおいて、概念一般化を大規模に考える。 問題空間が大きくなると、2つのモードが研究され、$complexity$が多様になる。
  論文  参考訳（メタデータ） (2022-11-20T17:21:37Z)
• Unifying local and global model explanations by functional decomposition of low dimensional structures [0.0]
  回帰関数や分類関数のグローバルな説明を主成分と相互作用成分の和に分解して考える。 ここで、qは分解に存在する相互作用の最高位を表す。
  論文  参考訳（メタデータ） (2022-08-12T07:38:53Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)
• Random thoughts about Complexity, Data and Models [0.0]
  データサイエンスと機械学習は、過去10年間強く成長してきた。 我々は「データとモデル」の微妙な関係について検討する。 アルゴリズム複雑性とアルゴリズム学習の関係性を評価する上での鍵となる課題は、圧縮性、決定性、予測可能性の概念である。
  論文  参考訳（メタデータ） (2020-04-16T14:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。