論文の概要: Into the danger zone: stable extrapolation in high-dimensional function and operator learning

• arxiv url: http://arxiv.org/abs/2609.36709v2
• Date: Sat, 03 Oct 2026 21:02:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 04:43:28.419978
• Title: Into the danger zone: stable extrapolation in high-dimensional function and operator learning
• Title（参考訳）: 危険地帯へ:高次元関数の安定外挿と演算子学習
• Abstract要約: アウト・オブ・ディストリビューション(OOD)は機械学習における中心的な課題である。 既存の理論は、トレーニングとテスト分布の相違を測定する付加的な罰によってテストエラーを制御する。 我々は、OOD誤差が代数的速度で収束する正則函数と作用素の類を同定する。
• 参考スコア（独自算出の注目度）: 3.6777052815434534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-distribution (OOD) generalization is a central challenge in scientific machine learning. We study regression problems in which the test distribution differs from the training distribution and ask: under what assumptions on the target function or operator is stable extrapolation possible, and how far beyond the training domain can one extrapolate? Existing theory controls the test error through additive penalties measuring the discrepancy between the training and test distributions. Such guarantees show robustness to small distribution shifts, but can be very pessimistic in comparison to OOD performance observed empirically. We identify classes of holomorphic functions and operators for which the OOD generalization error converges at algebraic rates even in the presence of large distribution shifts. This phenomenon stems from the increasing smoothness of higher-index coordinates, leading to what we term a `blessing of high dimensionality'. For learning with either polynomials, deep neural networks or deep neural operators, we derive explicit rates for arbitrary test measures supported on suitable domains and quantify how the admissible domain depends on the underlying regularity of the function or operator. Our extrapolation guarantees are independent of the test distribution, depending only on its support. We also present a series of numerical experiments across a range of functions and operators that support the main theoretical findings.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)の一般化は、科学機械学習における中心的な課題である。 対象関数や演算子のどの仮定が安定な外挿が可能か,また,トレーニング領域からどれ程の距離が外挿可能か,など,テスト分布がトレーニング分布と異なる回帰問題について検討する。 既存の理論は、トレーニングとテスト分布の相違を測定する付加的な罰によってテストエラーを制御する。 このような保証は、小さな分布シフトに対して堅牢性を示すが、経験的に観察されたOODのパフォーマンスと比較して非常に悲観的である。 我々は、大きな分布シフトが存在する場合でも、OOD一般化誤差が代数速度で収束する正則函数と作用素のクラスを同定する。 この現象は高次元座標の滑らかさの増加に起因し、「高次元の恵み」と呼ばれるものへと繋がる。 多項式、ディープニューラルネットワークまたはディープニューラル演算子を用いて学習するために、適切なドメインでサポートされている任意のテスト測度に対して明示的なレートを導出し、許容領域が関数や演算子の根底にある正則性に依存するかを定量化する。 私たちの外挿保証は、そのサポートにのみ依存して、テストディストリビューションから独立しています。 また,本研究の主な理論的知見を裏付ける関数や演算子について,一連の数値実験を行った。

関連論文リスト

• On the Sample Complexity of Learning for Blind Inverse Problems [8.091533689145908]
  ブラインド逆問題(Blind inverse problem)は、フォワード作用素が部分的にあるいは完全に未知な多くの実験的な設定で生じる。 データ駆動型アプローチは、強い経験的性能と適応性を示す、視覚的逆問題に対処するために提案されている。 線形最小平均正方形推定器の簡易かつ洞察力に富んだフレームワークにおいて、視覚的逆問題における学習に光を当てた。
  論文  参考訳（メタデータ） (2025-12-29T11:53:37Z)
• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Covariate Shift in High-Dimensional Random Feature Regression [44.13449065077103]
  共変量シフトは、堅牢な機械学習モデルの開発において重要な障害である。 現代の機械学習の文脈における理論的理解を示す。
  論文  参考訳（メタデータ） (2021-11-16T05:23:28Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。