論文の概要: Comparing Corrupted Constrained Learning Problems

• arxiv url: http://arxiv.org/abs/2608.25745v1
• Date: Wed, 26 Aug 2026 12:54:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.831336
• Title: Comparing Corrupted Constrained Learning Problems
• Title（参考訳）: 故障した制約付き学習問題の比較
• Abstract要約: 統計学における主要な結果はデータ処理の不等式であり、元々はブラックウェル (1951) によって証明され、後にデグルート (1962) によって統計的不確実性の観点から改良された。 機械学習において、この結果は情報ボトルネック原理やいくつかの特徴学習技術といった応用の基盤となる。 本稿では、従来のデータ処理の不等式がそのような設定で保持できないことを示す単純な逆例を示す。
• 参考スコア（独自算出の注目度）: 5.887969742827489
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A key result in statistics is the data processing inequality, originally proved by Blackwell (1951) and later refined by DeGroot (1962) in terms of statistical uncertainty. It states that the Bayes risk of a statistical experiment obtained by stochastically modifying another experiment cannot be lower than the Bayes risk of the original experiment, regardless of the loss function or prior chosen. In machine learning, this result underlies applications such as the information bottleneck principle and some feature learning techniques. However, machine learning problems are constrained learning problems: the model class used does not include all measurable functions. We present a simple counterexample showing that the classical data processing inequality fails to hold in such a setting. Hence, we formulate a generalized data processing inequality, requiring the constrained Bayes risk of a joint distribution (with respect to a loss function and a constrained hypothesis class) to lower bound the constrained Bayes risk on the stochastically modified distribution, regardless of the choice of distribution. We show this inequality to be equivalent to a set containment condition on a specific function set induced by the loss and model class, called the superprediction set. Finally, we derive sufficient conditions for this containment.
• Abstract（参考訳）: 統計学における重要な結果はデータ処理の不等式であり、元々はブラックウェル (1951) によって証明され、後にデグルート (1962) によって統計的不確実性の観点から改良された。 統計的に他の実験を統計的に修正した統計実験のベイズリスクは、損失関数や先行選択に関係なく、元の実験のベイズリスクよりも低いものではない。 機械学習において、この結果は情報ボトルネック原理やいくつかの特徴学習技術といった応用の基盤となる。 しかし、機械学習の問題は制約付き学習の問題であり、使用されるモデルクラスにはすべての可測関数が含まれていない。 本稿では、従来のデータ処理の不等式がそのような設定で保持できないことを示す単純な逆例を示す。 したがって、一般化されたデータ処理の不等式を定式化し、(損失関数や制約された仮説クラスに関して)結合分布の制約されたベイズリスクを、分布の選択にかかわらず確率的に修正された分布に下限することを要求する。 この不等式は、損失とモデルクラスによって誘導される特定の関数集合上の集合包含条件と等価であることを示す。 最後に、この封じ込めに十分な条件を導出する。

関連論文リスト

• VAE-Inf: A statistically interpretable generative paradigm for imbalanced classification [8.677199689027772]
  生成的モデリングと識別的分類のギャップを埋める2段階の枠組みを提案する。 推論のために、自然な仮説テストの解釈を受け入れるプロジェクションベースのスコアを導入する。 様々な実世界のベンチマークの実験は、我々のフレームワークが他のアプローチと競合する性能を達成していることを示している。
  論文  参考訳（メタデータ） (2026-04-28T07:50:56Z)
• When three experiments are better than two: Avoiding intractable correlated aleatoric uncertainty by leveraging a novel bias--variance tradeoff [1.1609229408259252]
  実世界の実験シナリオは、ヘテロスケダティックなアレタリックな不確実性の存在によって特徴づけられる。 実験ラウンド間のバイアスを直接低減する新しいアクティブラーニング戦略を提案する。
  論文  参考訳（メタデータ） (2025-09-04T16:23:54Z)
• Prediction-Powered Causal Inferences [59.98498488132307]
  予測型因果推論(PPCI)に焦点をあてる まず, 条件付きキャリブレーションにより, 人口レベルでの有効なPPCIが保証されることを示す。 次に、実験間での十分な表現制約伝達の妥当性を導入する。
  論文  参考訳（メタデータ） (2025-02-10T10:52:17Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Non-Asymptotic Performance of Social Machine Learning Under Limited Data [45.48644055449902]
  本稿では,社会機械学習フレームワークに関連付けられた誤りの確率について検討する。 これは、ラベルのないデータのストリームを分散的に分類する問題に対処する。
  論文  参考訳（メタデータ） (2023-06-15T17:42:14Z)
• Bounding Counterfactuals under Selection Bias [60.55840896782637]
  本稿では,識別不能なクエリと識別不能なクエリの両方に対処するアルゴリズムを提案する。 選択バイアスによって引き起こされる欠如にもかかわらず、利用可能なデータの可能性は無限であることを示す。
  論文  参考訳（メタデータ） (2022-07-26T10:33:10Z)
• Diversify and Disambiguate: Learning From Underspecified Data [76.67228314592904]
  DivDisは、テストディストリビューションからラベルのないデータを活用することで、タスクに対するさまざまな仮説のコレクションを学ぶフレームワークである。 我々はDivDisが画像分類や自然言語処理問題において頑健な特徴を用いた仮説を見つける能力を示す。
  論文  参考訳（メタデータ） (2022-02-07T18:59:06Z)
• Shift Happens: Adjusting Classifiers [2.8682942808330703]
  ブレアスコアやログロス(クロスエントロピー)のような適切なスコアリングルールによって測定される期待損失を最小限に抑えることは、確率的分類器を訓練する際の共通の目的である。 本稿では,全ての予測を平均予測とクラス分布に等化させる手法を提案する。 実際に、クラス分布が概ね知られている場合、シフトの量やクラス分布が知られている精度に応じて、損失が減少することがしばしばあることを実験によって実証した。
  論文  参考訳（メタデータ） (2021-11-03T21:27:27Z)
• Bayesian analysis of the prevalence bias: learning and predicting from imbalanced data [10.659348599372944]
  本稿では,モデル学習のための理論的および計算的枠組みと,有病率バイアスの存在下での予測について述べる。 原則的なトレーニング損失の代替として,要約曲線から操作点を選択することで,テスト時の手順を補完するものだ。 バックプロパゲーションを用いた(深い)学習の現在のパラダイムにシームレスに統合され、ベイズモデルと自然に結合する。
  論文  参考訳（メタデータ） (2021-07-31T14:36:33Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• The Nyström method for convex loss functions [15.389608666270817]
  仮説空間は与えられたヒルベルト空間内のランダム部分空間からなる古典的経験的リスク計算の拡張について検討する。 ランダムな部分空間を使うことは自然に計算上の利点をもたらすが、重要な問題は学習精度を損なうかどうかである。
  論文  参考訳（メタデータ） (2020-06-17T17:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。