論文の概要: Bayes-Sufficient Representations in Supervised Learning

• arxiv url: http://arxiv.org/abs/2606.04045v1
• Date: Tue, 02 Jun 2026 07:13:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.262599
• Title: Bayes-Sufficient Representations in Supervised Learning
• Title（参考訳）: 教師付き学習におけるベイズ十分表現
• Authors: Vasileios Sevetlidis,
• Abstract要約: この研究は、固定された教師付き決定問題にどのような関係があるのかを問う。 表現は、ある予測ヘッドがベイズ最適作用則を実装するためにそれを利用することができれば、共同分布と損失に対してベイズ十分であると定義される。 固定教師付き問題の場合、分布と損失はベイズ作用を決定、ベイズ作用は商を決定、商はベイズ最適予測に必要な最小情報を決定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation learning is often described as preserving the information in an input that is relevant for prediction. This work asks what relevance means for a fixed supervised decision problem. A representation is defined to be Bayes-sufficient for a joint distribution and loss if some prediction head can use it to implement a Bayes-optimal action rule. This makes the target information loss-dependent. In the almost-surely unique Bayes-action case, the relevant object is a Bayes quotient, which identifies inputs that require the same Bayes-optimal action. A representation is sufficient when it refines this quotient, and Bayes-minimal when it is informationally equivalent to it. The framework connects naturally to property elicitation: zero-one loss requires the Bayes class, squared loss the conditional mean, Brier loss the conditional probability in binary prediction, and log loss or strictly proper scoring rules the predictive distribution. Controlled finite experiments, learned neural bottleneck experiments, and a real-data iNaturalist taxonomic refinement experiment illustrate the distinction between sufficiency, minimality, and retained non-required information. For a fixed supervised problem, the distribution and the loss determine the Bayes action, the Bayes action determines the quotient, and the quotient determines the minimal information required for Bayes-optimal prediction.
• Abstract（参考訳）: 表現学習はしばしば、予測に関連する入力の情報を保存するものとして記述される。 この研究は、固定された教師付き決定問題にどのような関係があるのかを問う。 表現は、ある予測ヘッドがベイズ最適作用則を実装するためにそれを利用することができれば、共同分布と損失に対してベイズ十分であると定義される。 これにより、ターゲット情報が損失依存となる。 ほぼ確実にユニークなベイズ作用の場合、関連する対象はベイズ商(Bayes quotient)であり、同じベイズ最適作用を必要とする入力を特定する。 表現はこの商を洗練させるのに十分であり、ベイズ極小は情報的に同値である。 ゼロ1の損失にはベイズ類、条件平均の2乗損失、2進予測における条件確率の2乗損失、ログ損失または厳密な適切なスコアリング規則が求められる。 有限実験、学習された神経ボトルネック実験、および実データiNaturalistの分類学的洗練実験は、十分性、最小性、および要求されない情報の保持の区別を示す。 固定教師付き問題の場合、分布と損失はベイズ作用を決定、ベイズ作用は商を決定、商はベイズ最適予測に必要な最小情報を決定する。

関連論文リスト

• Classification Error Bound for Low Bayes Error Conditions in Machine Learning [50.25063912757367]
  機械学習における誤りミスマッチとKulback-Leibler分散の関係について検討する。 多くの機械学習タスクにおける低モデルに基づく分類誤差の最近の観測により、低ベイズ誤差条件に対する分類誤差の線形近似を提案する。
  論文  参考訳（メタデータ） (2025-01-27T11:57:21Z)
• Scoring Rules and Calibration for Imprecise Probabilities [7.289672463326423]
  我々は、適切なスコアリングルールとキャリブレーションが2つの異なるゴールを果たすと主張している。 本稿では,機械学習の実践における理論的洞察,特に分布ロバスト性における損失関数の選択に関する微妙な落とし穴を例示する。
  論文  参考訳（メタデータ） (2024-10-30T13:29:47Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Optimal partition of feature using Bayesian classifier [0.0]
  ネイブベイズでは、特定の特徴は独立特徴と呼ばれ、分類を予測する際に条件付き相関や依存を持たない。 本研究では,Naive Bayes法がもたらす課題を克服する手法として,Comonotone-Independence (CIBer)を提案する。
  論文  参考訳（メタデータ） (2023-04-27T21:19:06Z)
• Is the Performance of My Deep Network Too Good to Be True? A Direct Approach to Estimating the Bayes Error in Binary Classification [86.32752788233913]
  分類問題において、ベイズ誤差は、最先端の性能を持つ分類器を評価するための基準として用いられる。 我々はベイズ誤差推定器を提案する。そこでは,クラスの不確かさを示すラベルの平均値のみを評価できる。 我々の柔軟なアプローチは、弱い教師付きデータであってもベイズ誤差を推定できる。
  論文  参考訳（メタデータ） (2022-02-01T13:22:26Z)
• A Bayesian Framework for Information-Theoretic Probing [51.98576673620385]
  我々は、探索は相互情報を近似するものとみなすべきであると論じる。 これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。 本稿では,ベイズ的相互情報(Bayesian mutual information)と呼ぶものを測定するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-09-08T18:08:36Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Estimation and Applications of Quantiles in Deep Binary Classification [0.0]
  チェック損失に基づく量子回帰は統計学において広く使われている推論パラダイムである。 二項分類設定におけるチェック損失の類似について考察する。 我々は、予測が信頼できるかどうかを判断するために使用できる個別信頼度スコアを開発する。
  論文  参考訳（メタデータ） (2021-02-09T07:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。