論文の概要: Understanding Generalization Requires Universal Induction

• arxiv url: http://arxiv.org/abs/2609.34458v1
• Date: Mon, 28 Sep 2026 07:15:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 13:25:38.923205
• Title: Understanding Generalization Requires Universal Induction
• Title（参考訳）: 一般化を理解するには普遍的帰納が必要である
• Abstract要約: No Free Lunch (NFL)定理は、ある環境においてチャンスを負かす学習者が他の環境を過小評価することを強制するものではない。 ショートプログラムへのバイアスを選択すると、Solomonoffインダクション(SI)が生まれ、そのパフォーマンスは計算可能なすべての学習者と競合する。 アルゴリズムは相対化SIを、そのコードにデータに関する追加情報が含まれている程度にしか予測できず、そのような情報を生成するアルゴリズムは存在しない。
• 参考スコア（独自算出の注目度）: 22.152424346437012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classical statistical theory is insufficient to explain the successes of general-purpose AI models, because it depends on handcrafted inductive biases that it cannot justify. No Free Lunch (NFL) theorems force any learner that beats chance on some environments to underperform on others. We might hope that past experience informs which environments to expect, but NFL applies equally to meta-learning. Thus, any method that makes meaningful predictions necessarily begins with an inductive bias external to the data. Choosing to bias toward short programs yields Solomonoff induction (SI), whose performance is competitive against all computable learners - albeit up to "constants" that become large when comparing against specialized methods that exploit background information. We therefore relativize SI to an information vantage point, biasing toward short programs with access to all preexisting information. This reframes the inductive bias: instead of seeking some absolute notion of simplicity, we favor accessibility with respect to our vantage point. An algorithm can only outpredict the relativized SI to the extent that its code contains additional information about the data, and no algorithm can generate such information. While SI is incomputable and hence not a practical algorithm, it provides a formal optimum for inference in the limit of infinite compute, and there is evidence to suggest that frontier AI systems roughly approximate it. Thus, the only known answer to meta-NFL is rooted in algorithmic information theory, which we should expect to play a fundamental role in explaining the generalization behavior of modern (and future) AI systems.
• Abstract（参考訳）: 古典統計学は、汎用AIモデルの成功を説明するには不十分である。 No Free Lunch (NFL)定理は、ある環境においてチャンスを負かす学習者が他の環境を過小評価することを強制するものではない。 過去の経験がどの環境に期待できるかを知らせてくれることを期待しているかもしれませんが、NFLはメタラーニングにも同じように適用できます。 したがって、有意義な予測を行う方法は、必ずしもデータ外部の帰納バイアスから始まる。 短いプログラムへのバイアスを選択することで、Solomonoffインジェクション(SI)が生まれ、そのパフォーマンスは計算可能なすべての学習者に対して競争力を持つ。 したがって、SIを情報バンテージポイントに相対化し、既存のすべての情報にアクセス可能なショートプログラムに偏りが生じる。 単純さという絶対的な概念を追求する代わりに、私たちは、有利な点に関してアクセシビリティを好んでいます。 アルゴリズムは相対化SIを、そのコードにデータに関する追加情報が含まれている程度にしか予測できず、そのような情報を生成するアルゴリズムは存在しない。 SIは計算不可能であり、実用的なアルゴリズムではないが、無限計算の極限における推論の正式な最適化を提供しており、フロンティアAIシステムがほぼ近似することを示唆する証拠がある。 したがって、メタNFLに対する唯一の既知の答えは、アルゴリズム情報理論に根ざしており、現代の(そして将来の)AIシステムの一般化の振る舞いを説明する上で、基本的な役割を果たすことを期待する。

関連論文リスト

• The FIL Hypothesis: Inductive Biases Help with Kernel Engineering [88.25617363280156]
  計算とデータでスケールする汎用的手法は、最終的には人間の知識を組み込んだ方法よりも優れている。 フィードバック情報ループ(FIL)の期間という,新しい,重要なスケーリングの次元を観察することで,この原則を再考する。 科学と物理の世界における未来のAI応用には、本質的に数時間から数週間にわたるFILが関与する、と私たちは主張する。
  論文  参考訳（メタデータ） (2026-06-29T15:16:33Z)
• AI Agents as Universal Task Solvers [94.49762121230042]
  我々は,過去のデータを用いて,普遍的な解法が達成できる最適なスピードアップが,アルゴリズム情報と密接な関係があることを示す。 我々は、推論モデルをスケールする際に最適化する重要な量は時間であり、学習における重要な役割は、これまでは間接的にのみ考慮されてきたと論じている。
  論文  参考訳（メタデータ） (2025-10-14T02:17:54Z)
• How can we trust opaque systems? Criteria for robust explanations in XAI [0.0]
  ディープラーニング(DL)アルゴリズムは、日常生活や科学研究においてユビキタスになりつつある。 DLシステムが提供するデータの特徴や、最終的に正しいアウトプットを予測するのにどのように成功するのかは、一般の人々や研究者にはよく分かっていない。 信頼できる説明に必要な基準は、アルゴリズムの予測がベースとしている関連するプロセスを反映すべきであるということである。
  論文  参考訳（メタデータ） (2025-08-18T04:38:55Z)
• Beyond Statistical Learning: Exact Learning Is Essential for General Intelligence [59.07578850674114]
  音の誘惑的推論は、一般知能の必然的に望ましい側面である。 もっとも先進的なフロンティアシステムでさえ、定期的かつ一貫して容易に解決可能な推論タスクに干渉していることは、よく文書化されている。 彼らの不健全な振る舞いは、彼らの発展を支えている統計的学習のアプローチの結果である、と我々は主張する。
  論文  参考訳（メタデータ） (2025-06-30T14:37:50Z)
• Principled Knowledge Extrapolation with GANs [92.62635018136476]
  我々は,知識外挿の新たな視点から,対実合成を研究する。 本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。 提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
  論文  参考訳（メタデータ） (2022-05-21T08:39:42Z)
• The no-free-lunch theorems of supervised learning [0.0]
  no-free-lunch定理は、あらゆる可能な機械学習アルゴリズムが正当性を欠いているという懐疑的な結論を促進する。 多くの標準学習アルゴリズムはモデルに依存して理解されるべきである。
  論文  参考訳（メタデータ） (2022-02-09T15:24:30Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• The Information Bottleneck Problem and Its Applications in Machine Learning [53.57797720793437]
  近年,機械学習システムの推論能力が急上昇し,社会の様々な側面において重要な役割を担っている。 情報ボトルネック(IB)理論は、ディープラーニング(DL)システムを分析するための大胆な情報理論パラダイムとして登場した。 本チュートリアルでは,この抽象原理の情報理論的起源と最近のDLへの影響について考察する。
  論文  参考訳（メタデータ） (2020-04-30T16:48:51Z)
• Random thoughts about Complexity, Data and Models [0.0]
  データサイエンスと機械学習は、過去10年間強く成長してきた。 我々は「データとモデル」の微妙な関係について検討する。 アルゴリズム複雑性とアルゴリズム学習の関係性を評価する上での鍵となる課題は、圧縮性、決定性、予測可能性の概念である。
  論文  参考訳（メタデータ） (2020-04-16T14:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。