論文の概要: Trained Model in Supervised Deep Learning is a Conditional Risk
Minimizer
- arxiv url: http://arxiv.org/abs/2202.03674v1
- Date: Tue, 8 Feb 2022 06:39:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-09 14:09:35.807112
- Title: Trained Model in Supervised Deep Learning is a Conditional Risk
Minimizer
- Title(参考訳): 教師付き深層学習における訓練モデル : 条件付きリスク最小化器
- Authors: Yutong Xie, Dufan Wu, Bin Dong and Quanzheng Li
- Abstract要約: 教師付き深層学習における訓練モデルが各入力の条件付きリスクを最小限に抑えることを実証する。
ラベルが難易度が高いが条件付きリスク最小化器として書ける場合,本来の教師付き学習問題の等価な形式が証明される。
Theorem 2.2に基づいて画像超解像の不確かさを推定し、画像Netデータセットを用いて検証する手法を提案する。
- 参考スコア(独自算出の注目度): 18.949764733700288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We proved that a trained model in supervised deep learning minimizes the
conditional risk for each input (Theorem 2.1). This property provided insights
into the behavior of trained models and established a connection between
supervised and unsupervised learning in some cases. In addition, when the
labels are intractable but can be written as a conditional risk minimizer, we
proved an equivalent form of the original supervised learning problem with
accessible labels (Theorem 2.2). We demonstrated that many existing works, such
as Noise2Score, Noise2Noise and score function estimation can be explained by
our theorem. Moreover, we derived a property of classification problem with
noisy labels using Theorem 2.1 and validated it using MNIST dataset.
Furthermore, We proposed a method to estimate uncertainty in image
super-resolution based on Theorem 2.2 and validated it using ImageNet dataset.
Our code is available on github.
- Abstract(参考訳): 教師付き深層学習における訓練モデルが各入力の条件付きリスクを最小限に抑えることを実証した(Theorem 2.1)。
この特性は、訓練されたモデルの振る舞いに関する洞察を与え、場合によっては教師なし学習と教師なし学習のつながりを確立した。
また,ラベルが難解であるが,条件付きリスク最小化として書ける場合,ラベルがアクセス可能な元の教師付き学習問題と同等の形式であることが証明された(theorem 2.2)。
本研究では,この定理により,ノイズ2score,ノイズ2noise,スコア関数推定など既存の著作物の多くを説明できることを実証した。
さらに, Theorem 2.1 を用いて雑音ラベルを用いた分類問題を抽出し, MNIST データセットを用いて検証した。
さらに,Theorem 2.2に基づいて画像超解像の不確かさを推定する手法を提案し,画像Netデータセットを用いて検証した。
コードはgithubから入手できます。
関連論文リスト
- Symmetric Q-learning: Reducing Skewness of Bellman Error in Online
Reinforcement Learning [55.75959755058356]
深層強化学習では、状態や行動の質を評価するために、価値関数を推定することが不可欠である。
最近の研究では、値関数を訓練する際の誤差分布はベルマン作用素の特性のためにしばしば歪むことが示唆されている。
そこで我々は,ゼロ平均分布から発生する合成ノイズを目標値に加え,ガウス誤差分布を生成するSymmetric Q-learning法を提案する。
論文 参考訳(メタデータ) (2024-03-12T14:49:19Z) - Estimating Fr\'echet bounds for validating programmatic weak supervision [50.13475056199486]
我々は、ある変数が連続的に評価される(おそらく高次元の)分布クラス上のFr'echeの境界を推定する手法を開発する。
プログラム弱監督(PWS)を訓練した機械学習(ML)モデルの性能を評価することで,アルゴリズムの有用性を実証する。
論文 参考訳(メタデータ) (2023-12-07T07:15:11Z) - Supervised learning with probabilistic morphisms and kernel mean
embeddings [0.0]
本稿では,教師あり学習における2つのアプローチを統一した教師あり学習モデルを提案する。
統計的学習理論において無視されてきた2つの測定可能性問題に対処する。
不正な問題を解くために,Vapnik-Stefanuykの正規化手法の変種を提案する。
論文 参考訳(メタデータ) (2023-05-10T17:54:21Z) - Label Noise-Robust Learning using a Confidence-Based Sieving Strategy [15.997774467236352]
ラベルノイズを伴うタスクの学習では、オーバーフィッティングに対するモデルの堅牢性を改善することが重要な課題である。
サンプルをノイズのあるラベルで識別し、モデルを学習するのを防ぐことは、この課題に対処するための有望なアプローチである。
本研究では, 信頼度誤差と呼ばれる新しい判別基準と, クリーンサンプルとノイズサンプルを効果的に識別するためのCONFESと呼ばれるシービング戦略を提案する。
論文 参考訳(メタデータ) (2022-10-11T10:47:28Z) - Debugging using Orthogonal Gradient Descent [7.766921168069532]
部分的に欠陥があるトレーニングされたモデルを考えると、モデルをスクラッチからトレーニングすることなく、その振る舞いを修正できますか?
言い換えれば、ニューラルネットワークは、数学的モデルと標準的なコンピュータコードのバグに対処する方法に似ていますか?
論文 参考訳(メタデータ) (2022-06-17T00:03:54Z) - VulBERTa: Simplified Source Code Pre-Training for Vulnerability
Detection [1.256413718364189]
VulBERTaは、ソースコードのセキュリティ脆弱性を検出するためのディープラーニングアプローチである。
当社のアプローチでは,オープンソースのC/C++プロジェクトの実世界のコードに対して,独自のトークン化パイプラインを備えたRoBERTaモデルを事前トレーニングする。
複数のデータセットにまたがるバイナリおよびマルチクラス脆弱性検出タスクに対するアプローチを評価する。
論文 参考訳(メタデータ) (2022-05-25T00:56:43Z) - Robust Face Anti-Spoofing with Dual Probabilistic Modeling [49.14353429234298]
本稿では、DPM-LQ(ラベル品質認識学習)とDPM-DQ(データ品質認識学習)という2つの専用モジュールを備えたDPM(Dual Probabilistic Modeling)という統合フレームワークを提案する。
DPM-LQは、ノイズのあるセマンティックラベルの分布に過度に適合することなく、ロバストな特徴表現を生成することができる。
DPM-DQは、その品質分布に基づいてノイズデータの予測信頼度を補正することにより、推論中のFalse Reject'およびFalse Accept'からデータノイズを除去することができる。
論文 参考訳(メタデータ) (2022-04-27T03:44:18Z) - Learning Robust Output Control Barrier Functions from Safe Expert
Demonstrations [50.37808220291108]
まず,安全性を保証する手段として,ロバスト出力制御バリア関数(ROCBF)を提案する。
次に、安全なシステム動作を示す専門家による実証からROCBFを学習するための最適化問題を定式化する。
我々は,自律走行シミュレータCARLAのアルゴリズムを実証的に検証し,RGBカメラ画像から安全な制御法を学習する方法を実証する。
論文 参考訳(メタデータ) (2021-11-18T23:21:00Z) - Elucidating Noisy Data via Uncertainty-Aware Robust Learning [9.711326718689495]
提案手法は,汚れたデータセットからクリーンなターゲット分布を学習することができる。
我々は,2種類の予測不確かさを区別できる混合専門家モデルを活用する。
汚職パターン推定の性能を評価するための新しい検証手法を提案する。
論文 参考訳(メタデータ) (2021-11-02T14:44:50Z) - Robustness of Accuracy Metric and its Inspirations in Learning with
Noisy Labels [51.66448070984615]
十分な数の雑音サンプルに対してトレーニング精度を最大化すると,ほぼ最適な分類器が得られることを示す。
検証のために、ノイズの多い検証セットが信頼できることを証明し、モデル選択のクリティカルな要求に対処する。
理論結果に動機づけられて,ノイズラベルをトレーニングしたモデルの特徴付けを行い,ノイズ検証セットの有用性を検証する。
論文 参考訳(メタデータ) (2020-12-08T03:37:47Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。