論文の概要: Principled Out-of-Distribution Generalization via Simplicity

• arxiv url: http://arxiv.org/abs/2505.22622v1
• Date: Wed, 28 May 2025 17:44:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.770415
• Title: Principled Out-of-Distribution Generalization via Simplicity
• Title（参考訳）: 単純性による分散の原理的一般化
• Authors: Jiawei Ge, Amanda Wang, Shange Tang, Chi Jin,
• Abstract要約: 画像生成における拡散モデルの合成一般化能力について検討する。 我々は,事前定義された簡易度を用いて定量化した簡易度によるOOD一般化の理論的枠組みを開発する。 我々は、真の、一般化可能な、単純なモデルを学ぶための、最初の鋭いサンプル複雑性を保証する。
• 参考スコア（独自算出の注目度）: 16.17883058788714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern foundation models exhibit remarkable out-of-distribution (OOD) generalization, solving tasks far beyond the support of their training data. However, the theoretical principles underpinning this phenomenon remain elusive. This paper investigates this problem by examining the compositional generalization abilities of diffusion models in image generation. Our analysis reveals that while neural network architectures are expressive enough to represent a wide range of models -- including many with undesirable behavior on OOD inputs -- the true, generalizable model that aligns with human expectations typically corresponds to the simplest among those consistent with the training data. Motivated by this observation, we develop a theoretical framework for OOD generalization via simplicity, quantified using a predefined simplicity metric. We analyze two key regimes: (1) the constant-gap setting, where the true model is strictly simpler than all spurious alternatives by a fixed gap, and (2) the vanishing-gap setting, where the fixed gap is replaced by a smoothness condition ensuring that models close in simplicity to the true model yield similar predictions. For both regimes, we study the regularized maximum likelihood estimator and establish the first sharp sample complexity guarantees for learning the true, generalizable, simple model.
• Abstract（参考訳）: 現代の基礎モデルは、卓越したアウト・オブ・ディストリビューション(OOD)の一般化を示し、彼らのトレーニングデータのサポートをはるかに超越したタスクを解決している。 しかし、この現象の根底にある理論原理はいまだ解明されていない。 本稿では,画像生成における拡散モデルの合成一般化能力について検討する。 我々の分析によると、ニューラルネットワークアーキテクチャは、OOD入力において望ましくない振る舞いを持つ多くのモデルを含む、幅広いモデルを表現するのに十分な表現力を持っている。 本研究は, 簡易化によるOOD一般化の理論的枠組みを構築し, 事前定義された簡易化指標を用いて定量化する。 1 つの重要な条件を解析する:(1) 真のモデルがすべての刺激的な代替品よりも厳密に単純化された定数ギャップ設定、(2) 固定されたギャップが滑らかな条件に置き換えられ、モデルが真のモデルに近づくと、同様の予測が得られる。 両局とも、正規化極大推定器について検討し、真で一般化可能な単純なモデルを学ぶための最初の急激な標本複雑性保証を確立する。

関連論文リスト

• Physics-Informed Diffusion Models [0.0]
  生成モデルと偏微分方程式の充足を統一する枠組みを提案する。 本手法は,流体流動ケーススタディにおける従来の研究と比較して,残差を最大2桁まで低減する。
  論文  参考訳（メタデータ） (2024-03-21T13:52:55Z)
• Interpretability Illusions in the Generalization of Simplified Models [30.124082589662574]
  ディープラーニングシステムを研究する一般的な方法は、単純化されたモデル表現を使用することである。 このアプローチは、これらの単純化の結果が元のモデルに忠実であると仮定する。 単純化された表現がトレーニングセットの完全なモデルを正確に近似できたとしても、モデルの挙動を正確に把握できない可能性があることを示す。
  論文  参考訳（メタデータ） (2023-12-06T18:25:53Z)
• Mitigating Simplicity Bias in Deep Learning for Improved OOD Generalization and Robustness [5.976013616522926]
  モデルに対して,より多様な機能セットを使用して予測を行うように促すフレームワークを提案する。 まず、簡単なモデルを訓練し、その上で条件付き相互情報を規則化し、最終的なモデルを得る。 様々な問題設定や実世界のアプリケーションにおいて,このフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-09T21:19:39Z)
• A Mathematical Framework for Learning Probability Distributions [0.0]
  生成的モデリングと密度推定は 近年 非常にポピュラーな話題になっています 本論文は、すべての有名なモデルを単純な原理に基づいて導出できる数学的枠組みを提供する。 特に,これらのモデルが訓練中に暗黙的な正規化を楽しむことを証明し,早期停止時の一般化誤差が次元性の呪いを避ける。
  論文  参考訳（メタデータ） (2022-12-22T04:41:45Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。