論文の概要: Trained Model in Supervised Deep Learning is a Conditional Risk Minimizer

• arxiv url: http://arxiv.org/abs/2202.03674v1
• Date: Tue, 8 Feb 2022 06:39:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 14:09:35.807112
• Title: Trained Model in Supervised Deep Learning is a Conditional Risk Minimizer
• Title（参考訳）: 教師付き深層学習における訓練モデル : 条件付きリスク最小化器
• Authors: Yutong Xie, Dufan Wu, Bin Dong and Quanzheng Li
• Abstract要約: 教師付き深層学習における訓練モデルが各入力の条件付きリスクを最小限に抑えることを実証する。 ラベルが難易度が高いが条件付きリスク最小化器として書ける場合,本来の教師付き学習問題の等価な形式が証明される。 Theorem 2.2に基づいて画像超解像の不確かさを推定し、画像Netデータセットを用いて検証する手法を提案する。
• 参考スコア（独自算出の注目度）: 18.949764733700288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We proved that a trained model in supervised deep learning minimizes the conditional risk for each input (Theorem 2.1). This property provided insights into the behavior of trained models and established a connection between supervised and unsupervised learning in some cases. In addition, when the labels are intractable but can be written as a conditional risk minimizer, we proved an equivalent form of the original supervised learning problem with accessible labels (Theorem 2.2). We demonstrated that many existing works, such as Noise2Score, Noise2Noise and score function estimation can be explained by our theorem. Moreover, we derived a property of classification problem with noisy labels using Theorem 2.1 and validated it using MNIST dataset. Furthermore, We proposed a method to estimate uncertainty in image super-resolution based on Theorem 2.2 and validated it using ImageNet dataset. Our code is available on github.
• Abstract（参考訳）: 教師付き深層学習における訓練モデルが各入力の条件付きリスクを最小限に抑えることを実証した(Theorem 2.1)。 この特性は、訓練されたモデルの振る舞いに関する洞察を与え、場合によっては教師なし学習と教師なし学習のつながりを確立した。 また,ラベルが難解であるが,条件付きリスク最小化として書ける場合,ラベルがアクセス可能な元の教師付き学習問題と同等の形式であることが証明された(theorem 2.2)。 本研究では,この定理により,ノイズ2score,ノイズ2noise,スコア関数推定など既存の著作物の多くを説明できることを実証した。 さらに, Theorem 2.1 を用いて雑音ラベルを用いた分類問題を抽出し, MNIST データセットを用いて検証した。 さらに,Theorem 2.2に基づいて画像超解像の不確かさを推定する手法を提案し,画像Netデータセットを用いて検証した。 コードはgithubから入手できます。

関連論文リスト

• Learning from Noisy Labels via Conditional Distributionally Robust Optimization [5.85767711644773]
  クラウドソーシングは、大規模なデータセットをラベル付けするための実用的なソリューションとして現れました。 これは、様々なレベルの専門知識を持つアノテータからのノイズの多いラベルによって、正確なモデルを学習する上で大きな課題となる。
  論文  参考訳（メタデータ） (2024-11-26T05:03:26Z)
• UNSURE: Unknown Noise level Stein's Unbiased Risk Estimator [12.289101615816595]
  ノイズの多いデータのみから学習できる画像再構成のための自己教師付き学習法が数多く提案されている。 我々は、SUREに基づく新しいアプローチを提案するが、標準のSUREとは異なり、ノイズレベルに関する知識は必要ない。
  論文  参考訳（メタデータ） (2024-09-03T15:26:51Z)
• Error Detection and Constraint Recovery in Hierarchical Multi-Label Classification without Prior Knowledge [2.0007789979629784]
  本稿では,機械学習モデルの障害モードに関する説明可能なルールを学習可能なEDR(Error Detection Rules)に基づくアプローチを提案する。 提案手法は,機械学習の誤りの検出や制約の回復に有効であり,耐雑音性があり,複数のデータセット上でのニューロシンボリックモデルの知識源として機能することを示す。
  論文  参考訳（メタデータ） (2024-07-21T15:12:19Z)
• FullCert: Deterministic End-to-End Certification for Training and Inference of Neural Networks [62.897993591443594]
  FullCertは、音と決定論的境界を持つ最初のエンドツーエンドの認証器である。 2つのデータセットに対してFullCertの有効性を実験的に示す。
  論文  参考訳（メタデータ） (2024-06-17T13:23:52Z)
• Symmetric Q-learning: Reducing Skewness of Bellman Error in Online Reinforcement Learning [55.75959755058356]
  深層強化学習では、状態や行動の質を評価するために、価値関数を推定することが不可欠である。 最近の研究では、値関数を訓練する際の誤差分布はベルマン作用素の特性のためにしばしば歪むことが示唆されている。 そこで我々は,ゼロ平均分布から発生する合成ノイズを目標値に加え,ガウス誤差分布を生成するSymmetric Q-learning法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T14:49:19Z)
• Debugging using Orthogonal Gradient Descent [7.766921168069532]
  部分的に欠陥があるトレーニングされたモデルを考えると、モデルをスクラッチからトレーニングすることなく、その振る舞いを修正できますか? 言い換えれば、ニューラルネットワークは、数学的モデルと標準的なコンピュータコードのバグに対処する方法に似ていますか?
  論文  参考訳（メタデータ） (2022-06-17T00:03:54Z)
• VulBERTa: Simplified Source Code Pre-Training for Vulnerability Detection [1.256413718364189]
  VulBERTaは、ソースコードのセキュリティ脆弱性を検出するためのディープラーニングアプローチである。 当社のアプローチでは,オープンソースのC/C++プロジェクトの実世界のコードに対して,独自のトークン化パイプラインを備えたRoBERTaモデルを事前トレーニングする。 複数のデータセットにまたがるバイナリおよびマルチクラス脆弱性検出タスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2022-05-25T00:56:43Z)
• Robust Face Anti-Spoofing with Dual Probabilistic Modeling [49.14353429234298]
  本稿では、DPM-LQ(ラベル品質認識学習)とDPM-DQ(データ品質認識学習)という2つの専用モジュールを備えたDPM(Dual Probabilistic Modeling)という統合フレームワークを提案する。 DPM-LQは、ノイズのあるセマンティックラベルの分布に過度に適合することなく、ロバストな特徴表現を生成することができる。 DPM-DQは、その品質分布に基づいてノイズデータの予測信頼度を補正することにより、推論中のFalse Reject'およびFalse Accept'からデータノイズを除去することができる。
  論文  参考訳（メタデータ） (2022-04-27T03:44:18Z)
• Learning Robust Output Control Barrier Functions from Safe Expert Demonstrations [50.37808220291108]
  本稿では,専門家によるデモンストレーションの部分的な観察から,安全な出力フィードバック制御法を考察する。 まず,安全性を保証する手段として,ロバスト出力制御バリア関数(ROCBF)を提案する。 次に、安全なシステム動作を示す専門家による実証からROCBFを学習するための最適化問題を定式化する。
  論文  参考訳（メタデータ） (2021-11-18T23:21:00Z)
• Robustness of Accuracy Metric and its Inspirations in Learning with Noisy Labels [51.66448070984615]
  十分な数の雑音サンプルに対してトレーニング精度を最大化すると,ほぼ最適な分類器が得られることを示す。 検証のために、ノイズの多い検証セットが信頼できることを証明し、モデル選択のクリティカルな要求に対処する。 理論結果に動機づけられて,ノイズラベルをトレーニングしたモデルの特徴付けを行い,ノイズ検証セットの有用性を検証する。
  論文  参考訳（メタデータ） (2020-12-08T03:37:47Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。