論文の概要: Separating Geometry from Probability in the Analysis of Generalization

• arxiv url: http://arxiv.org/abs/2604.19560v1
• Date: Tue, 21 Apr 2026 15:13:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.837233
• Title: Separating Geometry from Probability in the Analysis of Generalization
• Title（参考訳）: 一般化解析における確率からの幾何学の分離
• Authors: Maxim Raginsky, Benjamin Recht,
• Abstract要約: 機械学習の目標は、まだ見ていないデータの予測エラーを最小限に抑えるモデルを見つけることである。 従来の一般化の分析では、イン・オブ・サンプルのデータとアウト・オブ・サンプルのデータの両方が無限の人口から引き出されると仮定している。 本稿では,最適化問題の解の感度解析のレンズによる一般化の代替的視点を提案する。
• 参考スコア（独自算出の注目度）: 9.246885575234275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of machine learning is to find models that minimize prediction error on data that has not yet been seen. Its operational paradigm assumes access to a dataset $S$ and articulates a scheme for evaluating how well a given model performs on an arbitrary sample. The sample can be $S$ (in which case we speak of ``in-sample'' performance) or some entirely new $S'$ (in which case we speak of ``out-of-sample'' performance). Traditional analysis of generalization assumes that both in- and out-of-sample data are i.i.d.\ draws from an infinite population. However, these probabilistic assumptions cannot be verified even in principle. This paper presents an alternative view of generalization through the lens of sensitivity analysis of solutions of optimization problems to perturbations in the problem data. Under this framework, generalization bounds are obtained by purely deterministic means and take the form of variational principles that relate in-sample and out-of-sample evaluations through an error term that quantifies how close out-of-sample data are to in-sample data. Statistical assumptions can then be used \textit{ex post} to characterize the situations when this error term is small (either on average or with high probability).
• Abstract（参考訳）: 機械学習の目標は、まだ見ていないデータの予測エラーを最小限に抑えるモデルを見つけることである。 その運用パラダイムはデータセットへのアクセスを$S$と仮定し、任意のサンプル上でのモデルの性能を評価するためのスキームを明示する。 サンプルは$S$(`in-sample'のパフォーマンスを話す場合)、または全く新しい$S'$(`out-of-sample'パフォーマンスを話す場合)である。 従来の一般化の分析では、イン・オブ・サンプルとアウト・オブ・サンプルのデータの両方が無限の人口から引き出されると仮定している。 しかし、これらの確率論的仮定は原理上も検証できない。 本稿では,問題データの摂動に対する最適化問題の解の感度解析のレンズによる一般化の代替的視点を提案する。 この枠組みの下では、一般化境界は純粋に決定論的手段によって獲得され、サンプル内およびサンプル外評価に関連する変分原理の形式を、サンプル内データとサンプル内データの近さを定量化するエラー項によって得る。 統計的仮定は「textit{ex post}」を使用して、このエラー項が小さい場合(平均または高い確率で)を特徴付けることができる。

関連論文リスト

• Optimal Algorithms for Augmented Testing of Discrete Distributions [25.818433126197036]
  予測器は3つのプロパティテストタスクすべてに必要なサンプル数を実際に削減できることを示す。 我々のアルゴリズムの重要な利点は、予測の精度への適応性である。 アルゴリズムによって達成されるサンプルの複雑さの改善は、情報理論的に最適であることを示すために、より低い境界を提供する。
  論文  参考訳（メタデータ） (2024-12-01T21:31:22Z)
• Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning [12.947265104477237]
  データから因果関係を抽出することは、科学的発見、治療介入、伝達学習における根本的な問題である。 本稿では,複数の環境における回帰モデルにおける非パラメトリック不変性と因果学習に対処するアルゴリズムを提案する。 提案したFocused Adrial Invariant Regularizationフレームワークは、逆検定により回帰モデルを予測不変解へ向ける革新的なミニマックス最適化手法を利用する。
  論文  参考訳（メタデータ） (2024-05-07T23:37:40Z)
• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• BRIO: Bringing Order to Abstractive Summarization [107.97378285293507]
  非決定論的分布を前提とした新しい学習パラダイムを提案する。 提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-03-31T05:19:38Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Least Squares Estimation Using Sketched Data with Heteroskedastic Errors [0.0]
  ランダムなプロジェクションによってスケッチされたデータを用いた推定は、エラーがホモスケダスティックであるかのように振る舞うことを示す。 楽器関連性の第一段階Fテストを含む推論は、スケッチスキームが適切に選択された場合の完全なサンプルケースよりも簡単である。
  論文  参考訳（メタデータ） (2020-07-15T15:58:27Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)
• Error bounds in estimating the out-of-sample prediction error using leave-one-out cross validation in high-dimensions [19.439945058410203]
  高次元状態におけるサンプル外リスク推定の問題について検討する。 広範囲にわたる経験的証拠は、アウト・ワン・アウト・クロス・バリデーションの正確さを裏付ける。 この理論の技術的利点の1つは、拡張可能な近似LOに関する最近の文献から得られたいくつかの結果を明確化し、接続することができることである。
  論文  参考訳（メタデータ） (2020-03-03T20:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。