論文の概要: Robustness and accuracy of mean opinion scores with hard and soft outlier detection

• arxiv url: http://arxiv.org/abs/2509.06554v1
• Date: Mon, 08 Sep 2025 11:09:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:04.08346
• Title: Robustness and accuracy of mean opinion scores with hard and soft outlier detection
• Title（参考訳）: 硬度・軟度外乱検出による平均世論スコアのロバストさと精度
• Authors: Dietmar Saupe, Tim Bleile,
• Abstract要約: 映像品質と映像品質の主観評価では、観察者は選択された刺激を評価・比較する。 信頼できない評価を受けた可能性のある不信者を特定し、対処することが推奨される。
• 参考スコア（独自算出の注目度）: 2.9214619971854723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In subjective assessment of image and video quality, observers rate or compare selected stimuli. Before calculating the mean opinion scores (MOS) for these stimuli from the ratings, it is recommended to identify and deal with outliers that may have given unreliable ratings. Several methods are available for this purpose, some of which have been standardized. These methods are typically based on statistics and sometimes tested by introducing synthetic ratings from artificial outliers, such as random clickers. However, a reliable and comprehensive approach is lacking for comparative performance analysis of outlier detection methods. To fill this gap, this work proposes and applies an empirical worst-case analysis as a general solution. Our method involves evolutionary optimization of an adversarial black-box attack on outlier detection algorithms, where the adversary maximizes the distortion of scale values with respect to ground truth. We apply our analysis to several hard and soft outlier detection methods for absolute category ratings and show their differing performance in this stress test. In addition, we propose two new outlier detection methods with low complexity and excellent worst-case performance. Software for adversarial attacks and data analysis is available.
• Abstract（参考訳）: 映像品質と映像品質の主観評価では、観察者は選択された刺激を評価・比較する。 評価からこれらの刺激に対する平均評価スコア(MOS)を計算する前に、信頼できない評価を与えた可能性のある外れ値を特定し、対処することが推奨される。 この目的のためにいくつかのメソッドが利用可能であり、その一部は標準化されている。 これらの手法は典型的には統計に基づいており、ランダムなクリックのような人工的な外れ値から合成格付けを導入することでテストされることがある。 しかし、信頼度が高く包括的な手法は、外乱検出法の比較性能解析に欠如している。 このギャップを埋めるために、本研究では、実証的な最悪のケース分析を一般的な解として提案し、適用する。 提案手法は,外乱検出アルゴリズムに対する逆ブラックボックス攻撃の進化的最適化を含む。 本研究は, 絶対カテゴリー評価のための硬度, 軟度外れ値検出法に適用し, 応力試験における相違点を示す。 さらに,複雑性が低く,最悪の場合の性能に優れた2つの新しい異常検出手法を提案する。 敵攻撃とデータ分析のためのソフトウェアが利用可能である。

関連論文リスト

• Regularized Contrastive Partial Multi-view Outlier Detection [76.77036536484114]
  RCPMOD(Regularized Contrastive partial Multi-view Outlier Detection)と呼ばれる新しい手法を提案する。 このフレームワークでは、コントラスト学習を利用して、ビュー一貫性のある情報を学び、一貫性の度合いでアウトレイラを識別する。 4つのベンチマークデータセットによる実験結果から,提案手法が最先端の競合より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-02T14:34:27Z)
• Preference Poisoning Attacks on Reward Model Learning [47.00395978031771]
  ペア比較による報酬モデル学習における脆弱性の性質と範囲について検討する。 本稿では,これらの攻撃に対するアルゴリズム的アプローチのクラスとして,勾配に基づくフレームワークと,ランク・バイ・ディスタンス手法のいくつかのバリエーションを提案する。 最高の攻撃は多くの場合、非常に成功しており、最も極端な場合、100%の成功率を達成することができ、データのわずか0.3%が毒殺されている。
  論文  参考訳（メタデータ） (2024-02-02T21:45:24Z)
• On Pixel-level Performance Assessment in Anomaly Detection [87.7131059062292]
  異常検出法は様々な応用において顕著な成功を収めている。 しかし、特にピクセルレベルでのパフォーマンスを評価することは複雑な課題である。 本稿では,視覚的エビデンスと統計的分析により,この課題の複雑さを解明する。
  論文  参考訳（メタデータ） (2023-10-25T08:02:27Z)
• Quantile-based Maximum Likelihood Training for Outlier Detection [5.902139925693801]
  我々は,推定時の外乱分離を改善するために,不整合分布を学習するための量子化に基づく最大極大目標を提案する。 本手法は, 事前学習した識別特徴に正規化フローを適合させ, 評価されたログ類似度に応じて異常値を検出する。
  論文  参考訳（メタデータ） (2023-08-20T22:27:54Z)
• On the Universal Adversarial Perturbations for Efficient Data-free Adversarial Detection [55.73320979733527]
  本稿では,UAPに対して正常サンプルと逆サンプルの異なる応答を誘導する,データに依存しない逆検出フレームワークを提案する。 実験結果から,本手法は様々なテキスト分類タスクにおいて,競合検出性能を実現することが示された。
  論文  参考訳（メタデータ） (2023-06-27T02:54:07Z)
• Holistic Approach to Measure Sample-level Adversarial Vulnerability and its Utility in Building Trustworthy Systems [17.707594255626216]
  敵対的攻撃は、知覚不能な雑音を伴うイメージを摂動させ、誤ったモデル予測をもたらす。 本稿では,異なる視点を組み合わせることで,サンプルの敵対的脆弱性を定量化するための総合的アプローチを提案する。 サンプルレベルで確実に敵の脆弱性を推定することにより、信頼できるシステムを開発できることを実証する。
  論文  参考訳（メタデータ） (2022-05-05T12:36:17Z)
• Performance Evaluation of Adversarial Attacks: Discrepancies and Solutions [51.8695223602729]
  機械学習モデルの堅牢性に挑戦するために、敵対攻撃方法が開発されました。 本稿では,Piece-wise Sampling Curving(PSC)ツールキットを提案する。 psc toolkitは計算コストと評価効率のバランスをとるオプションを提供する。
  論文  参考訳（メタデータ） (2021-04-22T14:36:51Z)
• A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods [60.04142561088524]
  信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。 多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
  論文  参考訳（メタデータ） (2021-03-31T18:28:14Z)
• Rethinking Empirical Evaluation of Adversarial Robustness Using First-Order Attack Methods [6.531546527140473]
  境界1次攻撃法に対する逆算精度の過大評価につながる3つの一般的な事例を同定する。 本稿では,不正確な勾配計算の源泉に対処する補償手法を提案する。 全体として、従来の訓練されたディープニューラルネットワークにおいても、ロバスト性を示すものではない敵の精度が過大評価されていることを示す。
  論文  参考訳（メタデータ） (2020-06-01T22:55:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。