論文の概要: Loss-Shift Transfer via Bayes Quotients
- arxiv url: http://arxiv.org/abs/2606.13178v1
- Date: Thu, 11 Jun 2026 10:46:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.735166
- Title: Loss-Shift Transfer via Bayes Quotients
- Title(参考訳): ベイズ・クオシエントによる損失シフト伝達
- Authors: Vasileios Sevetlidis,
- Abstract要約: 損失は(X)内のどの情報がベイズ関連であるかを決定する。
したがって、2つの損失は同じ合同法則の下でも異なる表現を必要とする(P(X,Y))。
制御された、学習された、合成画像および実画像設定の実験は、予測された効果を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transfer learning is usually studied as a consequence of distribution shift. This paper identifies an orthogonal failure mode in which the data distribution is fixed and the loss changes. This setting is called \emph{loss shift}. A loss determines which information in \(X\) is Bayes-relevant, and two losses may therefore require different representations even under the same joint law \(P(X,Y)\). The idea is formalized using Bayes quotients, which allow losses to be ordered by refinement. In the Bayes-quotient formulation, strict refinement gives an immediate qualitative obstruction. A source-minimal representation for a coarser loss is insufficient for a strictly finer target loss. For finite-output log loss, this obstruction becomes an exact quantitative identity. The excess risk is the conditional information about \(Y\) discarded by the representation. Experiments in controlled, learned, synthetic-image, and real-image settings show the predicted effect, i.e., classification-equivalent representations can have different optimal log-loss performance under a fixed data distribution.
- Abstract(参考訳): 伝達学習は通常、分布シフトの結果として研究される。
本稿では,データ分布が固定され,損失が変化する直交障害モードを特定する。
この設定は \emph{loss shift} と呼ばれる。
損失は、(X\) のどの情報がベイズ関連であるかを決定し、2つの損失は、同じ合同法則 \(P(X,Y)\ の下でも異なる表現を必要とする。
この考え方はベイズ商を用いて定式化され、改良によって損失を発注することができる。
ベイズ商の定式化において、厳密な洗練は即時定性的妨害を与える。
より厳密な目標損失に対しては、粗い損失に対するソース最小表現が不十分である。
有限出力のログ損失の場合、この障害は正確な量的同一性となる。
過剰リスクは、表現によって捨てられた \(Y\) に関する条件情報である。
制御された、学習された、合成画像および実画像設定の実験は、予測された効果を示す。
関連論文リスト
- Bayes-Sufficient Representations in Supervised Learning [0.0]
この研究は、固定された教師付き決定問題にどのような関係があるのかを問う。
表現は、ある予測ヘッドがベイズ最適作用則を実装するためにそれを利用することができれば、共同分布と損失に対してベイズ十分であると定義される。
固定教師付き問題の場合、分布と損失はベイズ作用を決定、ベイズ作用は商を決定、商はベイズ最適予測に必要な最小情報を決定する。
論文 参考訳(メタデータ) (2026-06-02T07:13:31Z) - Bias-variance decompositions: the exclusive privilege of Bregman divergences [1.4383187348276911]
認識不能者の同一性を満たす連続的非負の損失関数について検討する。
$g$-Bregman の発散は、変数の可逆変化を通じて標準的なブレグマン発散に変換することができる。
論文 参考訳(メタデータ) (2025-01-30T18:52:44Z) - EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification [1.3778851745408134]
経験的リスク最小化フレームワーク内で損失関数を結合する新しいアンサンブル手法,すなわちEnsLossを提案する。
まず、損失のCC条件を損失導関数に変換し、明示的な損失関数の必要性を回避した。
理論的には、我々のアプローチの統計的一貫性を確立し、その利点に関する洞察を提供する。
論文 参考訳(メタデータ) (2024-09-02T02:40:42Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳(メタデータ) (2024-05-29T01:32:17Z) - Robust T-Loss for Medical Image Segmentation [56.524774292536264]
本稿では,医用画像分割のための新しいロバストな損失関数T-Lossを提案する。
提案した損失は、Student-t分布の負のログ類似度に基づいており、データ内の外れ値の処理を効果的に行うことができる。
実験の結果,T-Lossは2つの医療データセットのダイススコアにおいて従来の損失関数よりも優れていた。
論文 参考訳(メタデータ) (2023-06-01T14:49:40Z) - Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。
これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。
これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
論文 参考訳(メタデータ) (2023-04-14T17:58:23Z) - What can we learn about a generated image corrupting its latent
representation? [57.1841740328509]
GANのボトルネックにおける潜在表現に基づいて画像品質を予測できるという仮説を考察する。
遅延表現を雑音で破壊し、複数の出力を生成することでこれを実現できる。
論文 参考訳(メタデータ) (2022-10-12T14:40:32Z) - Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。
クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。
我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
論文 参考訳(メタデータ) (2021-07-31T09:40:23Z) - Supervised Learning: No Loss No Cry [51.07683542418145]
教師付き学習は最小化するために損失関数の仕様を必要とする。
本稿では,Kakade et al. (2011)のSLIsotronアルゴリズムを新しいレンズで再検討する。
損失を学習するための原則的な手順をいかに提供するかを示す。
論文 参考訳(メタデータ) (2020-02-10T05:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。