論文の概要: A Note on High-Probability versus In-Expectation Guarantees of Generalization Bounds in Machine Learning

• arxiv url: http://arxiv.org/abs/2010.02576v1
• Date: Tue, 6 Oct 2020 09:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:44:02.770900
• Title: A Note on High-Probability versus In-Expectation Guarantees of Generalization Bounds in Machine Learning
• Title（参考訳）: 機械学習における一般化境界の高確率とIn-Expectation Guaranteeについての一考察
• Authors: Alexander Mey
• Abstract要約: 統計的機械学習理論は、しばしば機械学習モデルの一般化を保証するよう試みる。 機械学習モデルのパフォーマンスに関する声明は、サンプリングプロセスを考慮する必要がある。 1つのステートメントを別のステートメントに変換する方法を示します。
• 参考スコア（独自算出の注目度）: 95.48744259567837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Statistical machine learning theory often tries to give generalization guarantees of machine learning models. Those models naturally underlie some fluctuation, as they are based on a data sample. If we were unlucky, and gathered a sample that is not representative of the underlying distribution, one cannot expect to construct a reliable machine learning model. Following that, statements made about the performance of machine learning models have to take the sampling process into account. The two common approaches for that are to generate statements that hold either in high-probability, or in-expectation, over the random sampling process. In this short note we show how one may transform one statement to another. As a technical novelty we address the case of unbounded loss function, where we use a fairly new assumption, called the witness condition.
• Abstract（参考訳）: 統計的機械学習理論は、しばしば機械学習モデルの一般化を保証する。 これらのモデルは、データサンプルに基づいているため、自然にゆらぎを伴います。 運が悪く、基礎となる分布を代表していないサンプルを収集すれば、信頼できる機械学習モデルを構築することは期待できない。 その後、機械学習モデルの性能に関する声明は、サンプリングプロセスを考慮に入れなければならない。 そのための2つの一般的なアプローチは、ランダムサンプリングプロセス上で、高い確率、または観測中の文を生成することである。 この短い注記では、あるステートメントを別のステートメントに変換する方法を示します。 技術的新奇性として、我々は未有界損失関数の場合に対処し、そこでは証人条件と呼ばれるかなり新しい仮定を用いる。

関連論文リスト

• Estimating the Probabilities of Rare Outputs in Language Models [8.585890569162267]
  小型変圧器言語モデルからのargmaxサンプリングの文脈における低確率推定について検討した。 その結果、重要サンプリングはアクティベーション外挿より優れるが、どちらもナイーブサンプリングより優れていることがわかった。 低確率推定のための新しい手法は、最悪の場合の性能についてより強力な保証を提供するために必要である、と我々は主張する。
  論文  参考訳（メタデータ） (2024-10-17T04:31:18Z)
• Fair Generalized Linear Mixed Models [0.0]
  機械学習の公正性は、データとモデルの不正確さのバイアスが差別的な決定に結びつかないことを保証することを目的としている。 両問題を同時に処理できるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-15T11:42:41Z)
• SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed Semi-Supervised Learning [49.94607673097326]
  ラベルなしデータの分散に関する前提を前提としない、高度に適応可能なフレームワークをSimProとして提案する。 我々のフレームワークは確率モデルに基づいており、期待最大化アルゴリズムを革新的に洗練する。 本手法は,様々なベンチマークやデータ分散シナリオにまたがる一貫した最先端性能を示す。
  論文  参考訳（メタデータ） (2024-02-21T03:39:04Z)
• User-defined Event Sampling and Uncertainty Quantification in Diffusion Models for Physical Dynamical Systems [49.75149094527068]
  拡散モデルを用いて予測を行い,カオス力学系に対する不確かさの定量化が可能であることを示す。 本研究では,雑音レベルが低下するにつれて真の分布に収束する条件付きスコア関数の確率的近似法を開発する。 推論時に非線形ユーザ定義イベントを条件付きでサンプリングすることができ、分布の尾部からサンプリングした場合でもデータ統計と一致させることができる。
  論文  参考訳（メタデータ） (2023-06-13T03:42:03Z)
• Missing Value Knockoffs [0.0]
  最近導入された model-x knockoffs というフレームワークは、幅広いモデルに対してそれを提供するが、値の欠如のあるデータセットはサポートされていない。 提案手法では, 既存のノックオフサンプリングを, 欠落した値の存在下で再利用できることを示す。 また、ノックオフを共同で計算し、サンプリングすることで、計算の複雑さを軽減できることを示す。
  論文  参考訳（メタデータ） (2022-02-26T04:05:31Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Identifying Wrongly Predicted Samples: A Method for Active Learning [6.976600214375139]
  本稿では,不確実性を超えた単純なサンプル選択基準を提案する。 予測されたサンプルを正しく識別するために、最先端の結果とより良いレートを示す。
  論文  参考訳（メタデータ） (2020-10-14T09:00:42Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Query Training: Learning a Worse Model to Infer Better Marginals in Undirected Graphical Models with Hidden Variables [11.985433487639403]
  確率的グラフィカルモデル(PGM)は、柔軟な方法でクエリできる知識のコンパクトな表現を提供する。 我々は,PGMを学習するメカニズムであるクエリトレーニング(QT)を導入し,それと組み合わせる近似推論アルゴリズムに最適化する。 実験により,QTを用いて隠れ変数を持つ8連結グリッドマルコフランダム場を学習できることが実証された。
  論文  参考訳（メタデータ） (2020-06-11T20:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。