論文の概要: Relaxed forced choice improves performance of visual quality assessment methods

• arxiv url: http://arxiv.org/abs/2305.00220v2
• Date: Thu, 18 Apr 2024 08:01:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 14:38:58.497350
• Title: Relaxed forced choice improves performance of visual quality assessment methods
• Title（参考訳）: リラクシド強制選択は視覚品質評価法の性能を向上させる
• Authors: Mohsen Jenadeleh, Johannes Zagermann, Harald Reiterer, Ulf-Dietrich Reips, Raouf Hamzaoui, Dietmar Saupe,
• Abstract要約: 画像品質評価において、多数の被験者の個人評価から画像又は映像の集合的視覚品質スコアを得る。 これらの実験でよく使われる形式は、2つの代替的な強制選択法である。 緩和された代替選択形式は、推測による認知負荷と応答のノイズを低減することを目的としている。 この研究は、これらの2つの応答形式を比較するために、大規模かつ包括的なクラウドソーシング実験を示す。
• 参考スコア（独自算出の注目度）: 13.955679164085538
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In image quality assessment, a collective visual quality score for an image or video is obtained from the individual ratings of many subjects. One commonly used format for these experiments is the two-alternative forced choice method. Two stimuli with the same content but differing visual quality are presented sequentially or side-by-side. Subjects are asked to select the one of better quality, and when uncertain, they are required to guess. The relaxed alternative forced choice format aims to reduce the cognitive load and the noise in the responses due to the guessing by providing a third response option, namely, ``not sure''. This work presents a large and comprehensive crowdsourcing experiment to compare these two response formats: the one with the ``not sure'' option and the one without it. To provide unambiguous ground truth for quality evaluation, subjects were shown pairs of images with differing numbers of dots and asked each time to choose the one with more dots. Our crowdsourcing study involved 254 participants and was conducted using a within-subject design. Each participant was asked to respond to 40 pair comparisons with and without the ``not sure'' response option and completed a questionnaire to evaluate their cognitive load for each testing condition. The experimental results show that the inclusion of the ``not sure'' response option in the forced choice method reduced mental load and led to models with better data fit and correspondence to ground truth. We also tested for the equivalence of the models and found that they were different. The dataset is available at http://database.mmsp-kn.de/cogvqa-database.html.
• Abstract（参考訳）: 画像品質評価において、多数の被験者の個人評価から画像又は映像の集合的視覚品質スコアを得る。 これらの実験でよく使われる形式は、2つの代替的な強制選択法である。 内容は同じだが視覚的品質が異なる2つの刺激を順次または並べて提示する。 被験者は、より良い品質の1つを選ぶように求められ、不確実な場合には、推測する必要がある。 緩和された代替の強制選択フォーマットは、第3の応答オプションである ` `not sure'' を提供することによって、推測による認識負荷と応答のノイズを低減することを目的としている。 この研究は、これらの2つのレスポンスフォーマットを比較するために、大規模で包括的なクラウドソーシング実験を提示している。 品質評価のための曖昧な基礎的真理を提供するため、被験者は点数が異なる画像のペアを示し、より多くの点を持つものを選ぶように毎回要求した。 クラウドソーシング調査には254名の参加者が参加し,対象内設計を用いて実施した。 各被験者は,「不確実」反応オプションの有無と40対比較の回答を求められ,各テスト条件に対する認知負荷を評価するためのアンケートを完了した。 実験結果から,強制選択法に `<not sure'' 応答オプションを組み込むことで,心理的負荷が減少し,データ適合性が向上し,真理に対応するモデルが得られた。 また、モデルの等価性をテストした結果、それらが異なることがわかった。 データセットはhttp://database.mmsp-kn.de/cogvqa-database.htmlで公開されている。

関連論文リスト

• Differentiating Choices via Commonality for Multiple-Choice Question Answering [54.04315943420376]
  複数選択の質問応答は、正しい答えを選択するための貴重な手がかりを提供することができる。 既存のモデルでは、それぞれの選択を別々にランク付けし、他の選択によって提供されるコンテキストを見渡すことが多い。 本稿では,DCQAと呼ばれる共通性を識別・排除することで,選択を識別する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2024-08-21T12:05:21Z)
• Dataset Bias Mitigation in Multiple-Choice Visual Question Answering and Beyond [93.96982273042296]
  視覚言語(VL)理解タスクは、複数の質問を通じて複雑な視覚シーンのモデルによる理解を評価する。 我々は、モデルが様々なVLタスクを適切に理解することなく正しく解決するために、ショートカットとして活用できる2つのデータセットバイアスを特定した。 本稿では,ADS(Adversarial Data Synthesis)を用いて,合成学習データと偏り評価データを生成する。 次に、サンプル内微分に着目して、合成したトレーニングデータ、特に対物データを利用するモデルを支援するために、サンプル内対物訓練(ICT)を導入する。
  論文  参考訳（メタデータ） (2023-10-23T08:09:42Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)
• Double Retrieval and Ranking for Accurate Question Answering [120.69820139008138]
  本研究では,トランスフォーマーを用いた解答選択モデルに導入された解答検証ステップが,問合せ解答における解答の精度を大幅に向上させることを示す。 AS2のためのよく知られた3つのデータセットの結果は、最先端の一貫性と大幅な改善を示している。
  論文  参考訳（メタデータ） (2022-01-16T06:20:07Z)
• Exploring Dense Retrieval for Dialogue Response Selection [42.89426092886912]
  本研究では,高密度検索モデルを用いて,大規模コーパスや非並列コーパスから直接適切な応答を選択する方法を提案する。 再ランク設定では、その単純さを考えると、その優位性はかなり驚きます。フルランク設定では、私たちは、そのような評価を最初に行うことを強調できます。
  論文  参考訳（メタデータ） (2021-10-13T10:10:32Z)
• Debiased Subjective Assessment of Real-World Image Enhancement [0.0]
  従来の主観的テストでは、小さな視覚的な例を手動で選択する必要がある。 適応的で多様な画像の集合を自動的にサンプリングすることで、従来の主観的評価を逸脱させる。 本稿では,3つの画像強調タスクを用いた主観評価手法について述べる。
  論文  参考訳（メタデータ） (2021-06-18T12:03:35Z)
• A New Score for Adaptive Tests in Bayesian and Credal Networks [64.80185026979883]
  テストは、そのシークエンスと質問数とが、テイカーの推定スキルに基づいて動的に調整されるときに適応する。 後部確率のモードに基づいて、別のスコアの族を提示するので、説明し易い。
  論文  参考訳（メタデータ） (2021-05-25T20:35:42Z)
• Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
  マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。 提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
  論文  参考訳（メタデータ） (2021-04-18T07:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。