論文の概要: Benign interpolation and Occam's razor

• arxiv url: http://arxiv.org/abs/2608.03386v1
• Date: Tue, 04 Aug 2026 09:34:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.114781
• Title: Benign interpolation and Occam's razor
• Title（参考訳）: 良性補間とOccam's razor
• Abstract要約: 最新のディープラーニング手法は、トレーニングデータを完璧に適合させたとしても、うまく一般化できることを示す。 この新しいシンプルさへのアピールは説明的ギャップを生み出すと我々は主張する。 一般化への証明可能な接続を欠いたのは、かつての作業を行う「単純さ」(simplicity) という名前であり、実体的で議論の余地のない仮定を、よく知られた方法論の原則の適用のように見せかける。
• 参考スコア（独自算出の注目度）: 0.688204255655161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contemporary deep learning methods generalize well even when they fit their training data perfectly, a phenomenon known as benign interpolation. This phenomenon cannot be accounted for by classical statistical learning theory and has prompted a range of attempted new explanations in the statistics and machine learning literature. A common feature of these new proposals is an appeal to a simplicity preference among interpolating models, often presented as a form of Occam's razor. We clarify this debate for a philosophical audience and argue that this new appeal to simplicity creates an explanatory gap. The classical theory offers theorems which connect the simplicity of model classes to good generalization, thus underwriting methodological simplicity norms. The new accounts instead appeal to properties of individual models, which they interpret as a kind of simplicity. Lacking a provable connection to generalization, it is the name "simplicity" that does the work a theorem used to do, making a substantive and unargued assumption look like the application of a familiar methodological principle.
• Abstract（参考訳）: 現代のディープラーニング手法は、訓練データを完璧に適合させたとしても、良性補間として知られる現象をうまく一般化する。 この現象は古典的な統計学習理論では説明できないため、統計学や機械学習の文献で様々な新しい説明が試みられている。 これらの新しい提案の共通の特徴は、補間モデル間の単純さの好みに訴えることであり、しばしばオッカムのカミソリの一形態として提示される。 哲学的観衆に対してこの議論を明確にし、この新たなシンプルさへのアピールが説明的ギャップを生んでいると論じる。 古典理論は、モデルクラスの単純さを良い一般化に結びつける定理を提供し、したがって方法論的単純ノルムを下記する。 新しいアカウントは個々のモデルの性質にアピールするものであり、それは一種の単純さだと解釈している。 一般化への証明可能な接続を欠くのは、「単純性」(simplicity) という名前で、定理として使われる作業を行い、実体的かつ議論の余地のない仮定を、よく知られた方法論の原理の応用のように見せる。

関連論文リスト

• Statistical learning theory and Occam's razor: Regularization [0.913755431537592]
  オッカムのカミソリは、帰納的推論において単純さを優先するように指示しており、科学哲学と機械学習の両方において多くの精査を集めている。 理論的な信頼性と「何を見ればいいのか」の保証から利益を得るには、適当に単純さを優先しなければならないと私は主張する。 これは真理の正当性であり、純粋に実践的な原則に陥ることもなく、本質が単純であるという存在論的前提にも当てはまらない。
  論文  参考訳（メタデータ） (2026-08-04T09:17:42Z)
• Information-Theoretic Framework for Understanding Modern Machine-Learning [4.435094091999926]
  本稿では,学習をログ損失下での普遍的な予測とみなす情報理論フレームワークを提案する。 成功するアーキテクチャは幅広い複雑さの範囲を持ち、高度に過度にパラメータ化されたモデルクラスでの学習を可能にしている、と我々は主張する。 この枠組みは、誘導バイアスの役割、降下勾配の効果、および平坦なミニマのような現象に光を当てている。
  論文  参考訳（メタデータ） (2025-06-09T11:32:31Z)
• Deep Learning is Not So Mysterious or Different [54.5330466151362]
  我々は、異常な一般化行動はニューラルネットワークとは異なるものではないと主張している。 我々はこれらの現象を説明する上で重要な統一原理として、軟性誘導バイアスを提示する。 また、ディープラーニングが、表現学習の能力など、他の方法と相対的に異なる点を強調します。
  論文  参考訳（メタデータ） (2025-03-03T22:56:04Z)
• Sheaf theory: from deep geometry to deep learning [0.3749861135832073]
  本稿では,深層学習,データサイエンス,計算機科学におけるせん断理論の適用について概説する。 理論研究者と実践者の両方が共有する層理論の直観と動機について述べる。 そこで本研究では,任意の有限集合上でのせん断コホモロジーを計算するための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-02-21T14:00:25Z)
• Toward Understanding In-context vs. In-weight Learning [50.24035812301655]
  本研究は,文脈内学習の出現と消失を引き起こす簡易な分布特性を同定する。 そして、この研究を完全な大規模言語モデルに拡張し、自然言語プロンプトの様々なコレクションの微調整が、文脈内および重み付き学習の振る舞いをいかに引き出すかを示す。
  論文  参考訳（メタデータ） (2024-10-30T14:09:00Z)
• Sequential Representation Learning via Static-Dynamic Conditional Disentanglement [58.19137637859017]
  本稿では,ビデオ中の時間非依存要因と時間変化要因を分離することに着目し,逐次的データ内での自己教師付き不整合表現学習について検討する。 本稿では,静的/動的変数間の因果関係を明示的に考慮し,それらの因子間の通常の独立性仮定を破る新しいモデルを提案する。 実験により、提案手法は、シーンのダイナミックスが内容に影響されるシナリオにおいて、従来の複雑な最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-10T17:04:39Z)
• Distributional Associations vs In-Context Reasoning: A Study of Feed-forward and Attention Layers [49.80959223722325]
  本研究では,大規模言語モデルにおけるフィードフォワード層とアテンション層との区別について検討する。 フィードフォワード層はビッグラムのような単純な分布関係を学習する傾向があり、注意層は文脈内推論にフォーカスする。
  論文  参考訳（メタデータ） (2024-06-05T08:51:08Z)
• Statistical learning theory and Occam's razor: The core argument [1.6317061277457001]
  本稿では,統計的学習理論から得られる単純さの核となる議論を精査する。 これは、経験的リスク最小化の方法に関する理論の中心的な学習保証に基づいて構築されている。
  論文  参考訳（メタデータ） (2023-12-21T13:40:31Z)
• Learning with Explanation Constraints [91.23736536228485]
  我々は、説明がモデルの学習をどのように改善するかを分析するための学習理論フレームワークを提供する。 我々は,多数の合成および実世界の実験に対して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T15:06:47Z)
• The unstable formula theorem revisited via algorithms [18.557423328068122]
  既存の学習モデルのギャップに対応するために,確率的最終補正(PEC)と呼ばれる新しい統計学習モデルを導入する。 このモデルの観点からLittlestone(stable)クラスを特徴付けます。 頻繁な定義の観点からリトルストーンクラスの特徴づけを得るため、多くの既存近似アルゴリズムに共通する点を強調する同値定理を構築した。
  論文  参考訳（メタデータ） (2022-12-09T18:53:34Z)
• General Rough Modeling of Cluster Analysis [0.0]
  このアプローチの本質は簡潔に説明され、例によって支持されます。 クラスタリングを解析するための新しい一般的な粗い手法が発明され、より明確な概念と汚染のない証明がもたらされる。
  論文  参考訳（メタデータ） (2021-06-02T20:54:10Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。