論文の概要: Strategy for Boosting Pair Comparison and Improving Quality Assessment
Accuracy
- arxiv url: http://arxiv.org/abs/2010.00370v1
- Date: Thu, 1 Oct 2020 13:05:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 08:10:44.320302
- Title: Strategy for Boosting Pair Comparison and Improving Quality Assessment
Accuracy
- Title（参考訳）: ペア比較の強化と品質評価精度向上のための戦略
- Authors: Suiyi Ling, Jing Li, Anne Flore Perrin, Zhi Li, Luk\'a\v{s} Krasula,
Patrick Le Callet
- Abstract要約: ペア比較(PC)は、差別性の観点からは絶対カテゴリー評価(ACR)に対して大きな利点がある。
本研究では,ペア比較データとACRデータをブリッジする汎用モデルを用いて,分散項を復元し,得られた情報がより完全であることを示す。
このようにして、提案手法はペア比較の精度を同等に向上するが、ACRほど高い包括性を達成できる。
- 参考スコア（独自算出の注目度）: 29.849156371902943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The development of rigorous quality assessment model relies on the collection
of reliable subjective data, where the perceived quality of visual multimedia
is rated by the human observers. Different subjective assessment protocols can
be used according to the objectives, which determine the discriminability and
accuracy of the subjective data.
Single stimulus methodology, e.g., the Absolute Category Rating (ACR) has
been widely adopted due to its simplicity and efficiency. However, Pair
Comparison (PC) is of significant advantage over ACR in terms of
discriminability. In addition, PC avoids the influence of observers' bias
regarding their understanding of the quality scale. Nevertheless, full pair
comparison is much more time-consuming. In this study, we therefore 1) employ a
generic model to bridge the pair comparison data and ACR data, where the
variance term could be recovered and the obtained information is more complete;
2) propose a fusion strategy to boost pair comparisons by utilizing the ACR
results as initialization information; 3) develop a novel active batch sampling
strategy based on Minimum Spanning Tree (MST) for PC. In such a way, the
proposed methodology could achieve the same accuracy of pair comparison but
with the compelxity as low as ACR. Extensive experimental results demonstrate
the efficiency and accuracy of the proposed approach, which outperforms the
state of the art approaches.
- Abstract（参考訳）: 厳密な品質評価モデルの開発は、視覚的マルチメディアの品質が人間の観察者によって評価される信頼できる主観的データの収集に依存している。
目的に応じて異なる主観的評価プロトコルを使用し、主観的データの識別性と精度を決定する。
単一刺激法、例えば絶対カテゴリー評価(ACR)は、その単純さと効率性から広く採用されている。
しかし、Pair Comparison(PC)は差別性という点ではACRに対して大きな優位性がある。
さらに,PCは,品質尺度の理解に関する観察者の偏見の影響を回避している。
それでも、完全な対比較はずっと時間がかかる。
そこで本研究では,
1) 対比較データとACRデータをブリッジする汎用モデルを用いて, 分散項を復元し, 得られた情報がより完全である。
2) ACRの結果を初期化情報として利用してペア比較を促進する融合戦略を提案する。
3)PC用最小スパンニングツリー(MST)に基づく新しいアクティブバッチサンプリング戦略を開発する。
このようにして、提案手法はペア比較の精度を同等に向上するが、ACRほど高い包括性を達成できる。
大規模な実験結果から,提案手法の効率性と精度が示され,その有効性が示された。
関連論文リスト
- Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。
OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。
この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
論文 参考訳（メタデータ） (2023-11-03T05:41:25Z) - GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。
我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。
GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文 参考訳（メタデータ） (2023-04-19T14:58:27Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳（メタデータ） (2023-04-04T17:54:32Z) - Powering Comparative Classification with Sentiment Analysis via Domain
Adaptive Knowledge Transfer [13.98690716279821]
本研究では,ある文中の2つのエンティティ間の嗜好が存在するかどうかを予測することを目的とした比較選好分類(CPC)について検討する。
高品質なCPCモデルは、比較質問応答やレビューベースのレコメンデーションのようなアプリケーションに大きく貢献する。
我々は感情分析によるCPCの精度を向上させる感情分析強化ネットワーク(SAECON)を提案する。
論文 参考訳（メタデータ） (2021-09-07T19:17:12Z) - Understanding the Effects of Adversarial Personalized Ranking
Optimization Method on Recommendation Quality [6.197934754799158]
ベイズパーソナライズランキング(BPR)とAPR最適化フレームワークの学習特性をモデル化する。
APRがBPRよりも人気バイアスを増大させるのは、ショートヘッドアイテムからの肯定的な更新が不均衡に多いためである。
論文 参考訳（メタデータ） (2021-07-29T10:22:20Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-11T03:38:16Z) - Performance Evaluation of Adversarial Attacks: Discrepancies and
Solutions [51.8695223602729]
機械学習モデルの堅牢性に挑戦するために、敵対攻撃方法が開発されました。
本稿では,Piece-wise Sampling Curving(PSC)ツールキットを提案する。
psc toolkitは計算コストと評価効率のバランスをとるオプションを提供する。
論文 参考訳（メタデータ） (2021-04-22T14:36:51Z) - Self-supervised Representation Learning with Relative Predictive Coding [102.93854542031396]
Relative Predictive Coding(RPC)は、新しいコントラスト表現学習目標である。
RPCは、トレーニング安定性、ミニバッチサイズ感度、ダウンストリームタスクパフォーマンスのバランスが良好である。
ベンチマークビジョンと音声自己教師型学習タスクにおけるRPCの有効性を実証的に検証する。
論文 参考訳（メタデータ） (2021-03-21T01:04:24Z) - Active Sampling for Pairwise Comparisons via Approximate Message Passing
and Information Gain Maximization [5.771869590520189]
本稿では、近似メッセージパッシングと期待情報ゲインに基づくアクティブサンプリングアルゴリズムASAPを提案する。
既存の手法と比較して,ASAPは推定スコアの精度が最も高いことを示す。
論文 参考訳（メタデータ） (2020-04-12T20:48:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。