論文の概要: Is it the model or the metric -- On robustness measures of deeplearning models

• arxiv url: http://arxiv.org/abs/2412.09795v1
• Date: Fri, 13 Dec 2024 02:26:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:03:45.446501
• Title: Is it the model or the metric -- On robustness measures of deeplearning models
• Title（参考訳）: モデルかメトリックか -- ディープラーニングモデルの堅牢性測定について
• Authors: Zhijin Lyu, Yutong Jin, Sneha Das,
• Abstract要約: ディープフェイク検出の文脈におけるロバスト精度(RA)の正当性について再検討する。 本稿では, RAとRRの比較を行い, モデル間の類似のRAにもかかわらず, モデルが異なる許容レベル(摂動レベル)でRRが変化することを示した。
• 参考スコア（独自算出の注目度）: 2.8169948004297565
• License:
• Abstract: Determining the robustness of deep learning models is an established and ongoing challenge within automated decision-making systems. With the advent and success of techniques that enable advanced deep learning (DL), these models are being used in widespread applications, including high-stake ones like healthcare, education, border-control. Therefore, it is critical to understand the limitations of these models and predict their regions of failures, in order to create the necessary guardrails for their successful and safe deployment. In this work, we revisit robustness, specifically investigating the sufficiency of robust accuracy (RA), within the context of deepfake detection. We present robust ratio (RR) as a complementary metric, that can quantify the changes to the normalized or probability outcomes under input perturbation. We present a comparison of RA and RR and demonstrate that despite similar RA between models, the models show varying RR under different tolerance (perturbation) levels.
• Abstract（参考訳）: ディープラーニングモデルの堅牢性を決定することは、自動意思決定システムにおいて確立され、進行中の課題である。 高度なディープラーニング(DL)を実現するテクニックの出現と成功により、これらのモデルは医療、教育、国境管理など、広く応用されている。 したがって、これらのモデルの限界を理解し、それらの障害領域を予測することは、その成功と安全なデプロイメントに必要なガードレールを作成するために不可欠である。 本研究は, ディープフェイク検出の文脈におけるロバスト性の再検討, 特にロバスト精度(RA)の十分性について検討する。 我々は、入力摂動下での正規化あるいは確率結果の変化を定量化できる相補的計量としてロバスト比(RR)を提示する。 本稿では, RAとRRの比較を行い, モデル間の類似したRAにもかかわらず, モデルが異なる許容レベル(摂動レベル)でRRが変化することを示した。

関連論文リスト

• Towards Trustworthy Web Attack Detection: An Uncertainty-Aware Ensemble Deep Kernel Learning Model [4.791983040541727]
  本稿では,Web攻撃を検出するために,不確実性を意識したEnsemble Deep Kernel Learning(UEDKL)モデルを提案する。 提案したUEDKLは、ディープカーネル学習モデルを用いて、通常のHTTPリクエストと異なるタイプのWeb攻撃を区別する。 BDCIとSRBHデータセットの実験により、提案したUEDKLフレームワークは、Web攻撃検出性能と不確実性推定品質の両方に大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-10-10T08:47:55Z)
• Is Difficulty Calibration All We Need? Towards More Practical Membership Inference Attacks [16.064233621959538]
  我々は,textbfRe-levertextbfA を直接 textbfRe-levertextbfA を用いて mtextbfItigate the error in textbfDifficulty calibration を提案する。
  論文  参考訳（メタデータ） (2024-08-31T11:59:42Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• An Ambiguity Measure for Recognizing the Unknowns in Deep Learning [0.0]
  深層ニューラルネットワークの学習範囲から, 深部ニューラルネットワークの理解について検討する。 任意のモデルに対する入力のあいまいさを定量化する尺度を提案する。
  論文  参考訳（メタデータ） (2023-12-11T02:57:12Z)
• Lightweight, Uncertainty-Aware Conformalized Visual Odometry [2.429910016019183]
  データ駆動型ビジュアルオドメトリー(VO)は、自律エッジロボティクスにとって重要なサブルーチンである。 昆虫スケールドローンや外科ロボットのような最先端ロボットデバイスは、VOの予測の不確実性を推定する計算的に効率的な枠組みを欠いている。 本稿では,共形推論(CI)を利用してVOの不確実な帯域を抽出する,新しい,軽量で統計的に堅牢なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T20:37:55Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Adversarial robustness for latent models: Revisiting the robust-standard accuracies tradeoff [12.386462516398472]
  標準的なテストの精度を落とすために、しばしば逆行訓練が観察される。 本稿では、このトレードオフは、データが低次元構造を楽しむ場合に緩和されると論じる。 周囲次元に対する多様体次元が減少するにつれて、標準精度とロバスト精度の両方に関してほぼ最適に近いモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-10-22T17:58:27Z)
• SafeAMC: Adversarial training for robust modulation recognition models [53.391095789289736]
  通信システムには、Deep Neural Networks(DNN)モデルに依存する変調認識など、多くのタスクがある。 これらのモデルは、逆方向の摂動、すなわち、誤分類を引き起こすために作られた知覚不能な付加音に影響を受けやすいことが示されている。 本稿では,自動変調認識モデルのロバスト性を高めるために,逆方向の摂動を伴うモデルを微調整する逆方向トレーニングを提案する。
  論文  参考訳（メタデータ） (2021-05-28T11:29:04Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。