論文の概要: Quality at the Tail

• arxiv url: http://arxiv.org/abs/2212.13925v1
• Date: Sun, 25 Dec 2022 14:49:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 14:15:13.136479
• Title: Quality at the Tail
• Title（参考訳）: 尾の質
• Authors: Zhengxin Yang and Wanling Gao and Chunjie Luo and Lei Wang and Jianfeng Zhan
• Abstract要約: 実用応用における最先端と実用の推論品質は、長い尾の分布を持つ。 私たちはこの必須要件と課題を特徴付けるために、新しい用語であるテールクオリティ(tail quality)を作りました。 本稿では,実シナリオにおける最先端・最先端のアルゴリズムやシステム利用の失敗の原因を明らかにする。
• 参考スコア（独自算出の注目度）: 5.986172260563731
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Practical applications employing deep learning must guarantee inference quality. However, we found that the inference quality of state-of-the-art and state-of-the-practice in practical applications has a long tail distribution. In the real world, many tasks have strict requirements for the quality of deep learning inference, such as safety-critical and mission-critical tasks. The fluctuation of inference quality seriously affects its practical applications, and the quality at the tail may lead to severe consequences. State-of-the-art and state-of-the-practice with outstanding inference quality designed and trained under loose constraints still have poor inference quality under constraints with practical application significance. On the one hand, the neural network models must be deployed on complex systems with limited resources. On the other hand, safety-critical and mission-critical tasks need to meet more metric constraints while ensuring high inference quality. We coin a new term, ``tail quality,'' to characterize this essential requirement and challenge. We also propose a new metric, ``X-Critical-Quality,'' to measure the inference quality under certain constraints. This article reveals factors contributing to the failure of using state-of-the-art and state-of-the-practice algorithms and systems in real scenarios. Therefore, we call for establishing innovative methodologies and tools to tackle this enormous challenge.
• Abstract（参考訳）: 深層学習の応用は推論品質を保証する必要がある。 しかし,本研究の応用における現状と現状の推論品質は,長い尾の分布を持つことがわかった。 現実世界では、多くのタスクは、安全性クリティカルなタスクやミッションクリティカルなタスクなど、ディープラーニング推論の品質に対する厳しい要件を持っています。 推論品質の変動はその実用的応用に深刻な影響を与え、尾部の品質は深刻な結果をもたらす可能性がある。 ゆるい制約の下で設計・訓練された優れた推論品質を持つ最先端および最先端のプラクティスは、実用上重要な制約下では、まだ推論品質が貧弱である。 一方、ニューラルネットワークモデルは限られたリソースを持つ複雑なシステムにデプロイされなければならない。 一方で、安全クリティカルなタスクとミッションクリティカルなタスクは、高い推論品質を確保しながら、より多くのメトリック制約を満たす必要がある。 この本質的な要件と課題を特徴付けるために、新しい用語 `tail quality,'' をつくります。 また,特定の制約下での推論品質を測定するための新しい指標 ``x-critical-quality''' を提案する。 本稿では,実シナリオにおける最先端および最先端のアルゴリズムとシステムの使用の失敗に寄与する要因を明らかにする。 そこで我々は,この大きな課題に対処するために,革新的な方法論とツールの確立を訴える。

関連論文リスト

• Self-Distilled Disentangled Learning for Counterfactual Prediction [49.84163147971955]
  我々は、SD2$として知られる自己蒸留遠絡フレームワークを提案する。 情報理論を基礎として、複雑な相互情報推定器の設計を伴わずに、理論上独立に不整合表現を鳴らす。 人工と実世界の両方のデータセットを用いて実験を行い,本手法の有効性を確認した。
  論文  参考訳（メタデータ） (2024-06-09T16:58:19Z)
• A Theoretical and Practical Framework for Evaluating Uncertainty Calibration in Object Detection [1.8843687952462744]
  本研究では,不確実性校正の文脈において,物体検出システムを評価するための理論的,実践的な枠組みを提案する。 提案した不確実性校正指標のロバスト性は, 一連の代表的な実験を通して示される。
  論文  参考訳（メタデータ） (2023-09-01T14:02:44Z)
• A Call to Reflect on Evaluation Practices for Failure Detection in Image Classification [0.491574468325115]
  本稿では,信頼度評価関数のベンチマーク化を初めて実現した大規模実証的研究について述べる。 簡便なソフトマックス応答ベースラインを全体の最高の実行方法として明らかにすることは、現在の評価の劇的な欠点を浮き彫りにする。
  論文  参考訳（メタデータ） (2022-11-28T12:25:27Z)
• Uncertainty-Driven Action Quality Assessment [67.20617610820857]
  本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。 我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。 提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
  論文  参考訳（メタデータ） (2022-07-29T07:21:15Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• Evaluation Gaps in Machine Learning Practice [13.963766987258161]
  実際に、機械学習モデルの評価は、しばしば、非文脈化された予測行動の狭い範囲に焦点を当てる。 評価対象の理想化された幅と実際の評価対象の狭い焦点との間の評価ギャップについて検討した。 これらの特性を研究することで、規範的な影響を持つコミットメントの範囲について、機械学習分野の暗黙の仮定を実証する。
  論文  参考訳（メタデータ） (2022-05-11T04:00:44Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• SurvITE: Learning Heterogeneous Treatment Effects from Time-to-Event Data [83.50281440043241]
  時系列データから不均一な処理効果を推定する問題について検討する。 本稿では,バランス表現に基づく治療特異的ハザード推定のための新しいディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T20:13:17Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Benchmarking Adversarial Robustness [47.168521143464545]
  我々は、画像分類タスクにおける敵の堅牢性を評価するために、包括的で厳密でコヒーレントなベンチマークを確立する。 評価結果に基づいて,いくつかの重要な知見を導き,今後の研究への洞察を提供する。
  論文  参考訳（メタデータ） (2019-12-26T12:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。