論文の概要: Do Underwater Image Quality Metrics Agree with Human Perception? A Benchmark with Human Choices, Simple Edits and Generative Drift
- arxiv url: http://arxiv.org/abs/2611.18429v1
- Date: Fri, 13 Nov 2026 17:10:13 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:24:58.603115
- Title: Do Underwater Image Quality Metrics Agree with Human Perception? A Benchmark with Human Choices, Simple Edits and Generative Drift
- Title(参考訳): 水中画像品質基準は人間の知覚と一致しているか? : 人間の選択, 簡単な編集, 生成ドリフトによるベンチマーク
- Abstract要約: 5つの基準から, 73個の手工芸, 学習水中, 視覚言語, 汎用メトリクスをヒトの嗜好に対して評価した。
各メトリクスについて、同じシーンのバージョンを比較する際に、同じ画像を選択する頻度を計測する。
また、簡単な画像編集や小さな対向的摂動は、人々が好むエンハンスメントのスコアよりも高くなり、繰り返し生成する編集がノイズを増すにつれてスコアが減少するかどうかを検証した。
- 参考スコア(独自算出の注目度): 21.453584250033305
- License:
- Abstract: Underwater image enhancement is challenging to evaluate due to the lack of clean reference images, so researchers rely on no-reference image quality assessment (NR-IQA) metrics. However, it remains unclear whether these metrics agree with human judgments. We evaluate 73 handcrafted underwater, learned underwater, vision-language and general-purpose metrics against human preferences on five references: four published opinion-score sets and a new paired-comparison study. For each metric, we measure how often it selects the same image as people when comparing versions of the same scene. We further test whether simple image edits and small adversarial perturbations raise metric scores above the enhancement people preferred, and whether scores decrease as repeated generative edits add noise. Our results show that no metric consistently matches human preferences. The best worst-case Cohen's kappa over the five references is only 0.23 (Q-Align), while two raters in our study agree with a median kappa of 0.41. The widely used UCIQE often favors edits that people reject. On a Nano Banana Pro replica chain that should leave the image unchanged, only 22 of 73 scores decrease at every checkpoint, while noise grows by 2.5 times. We also introduce TrustUIQA, a benchmark that combines the human references, our study choices, the edited, attacked and generated images, and the scores of every metric on every image. The code is available at https://github.com/TrustUIQA/TrustUIQA and TrustUIQA at https://huggingface.co/datasets/TrustUIQA/TrustUIQA.
- Abstract(参考訳): 清潔な基準画像がないため、水中画像強調は評価が難しいため、研究者はNR-IQA(No-Reference Image Quality Assessment)の指標に頼っている。
しかし、これらの指標が人間の判断に合致するかどうかは不明である。
4つの意見スコアセットと2つのペア比較研究の5つの基準で、73個の手作り水中、学習水中、視覚言語、汎用メトリクスをヒトの嗜好に対して評価した。
各メトリクスについて、同じシーンのバージョンを比較する際に、同じ画像を選択する頻度を計測する。
さらに、簡単な画像編集と小さな対向的摂動が、人々が好むエンハンスメントのスコアよりも高くなり、繰り返し生成する編集がノイズを増すにつれてスコアが減少するかどうかを検証した。
我々の結果は、指標が人間の好みと一貫して一致しないことを示している。
コーエンのカッパは5つの基準で最大で0.23(Q-Align)であるのに対し、今回の調査では2人のラパが0.41の中央値カッパと一致している。
広く使われているUCIQEは、人々が拒否する編集を好むことが多い。
イメージをそのまま残すべきNano Banana Proレプリカチェーンでは、チェックポイント毎に73点中22点のみが減少し、ノイズは2.5倍に増加する。
また、TrustUIQAは、人間の参照、研究選択、編集、攻撃、生成された画像、およびすべての画像上のすべてのメトリクスのスコアを組み合わせたベンチマークも導入しています。
コードはhttps://github.com/TrustUIQA/TrustUIQAとTrustUIQAで、https://huggingface.co/datasets/TrustUIQA/TrustUIQAで入手できる。
関連論文リスト
- Only Means Only: what a harmonization benchmark score averages over [0.0]
写真は1,399枚で、その上に作られた合成物はテストセットの4分の1です。
そのクォーターでは、3つのメソッドが、残りの2倍から5倍のエラーを読み取ります。
本研究は,5,581個の複合材料を用いて,構成のアイデンティティが訓練中に現れない試験リストを作成した。
論文 参考訳(メタデータ) (2026-10-18T16:37:25Z) - Scalable Minimal-Change Learning for Controllable Image Editing [83.94093358607684]
画像編集は、他のものをすべて保存しながら、命令によって指定された属性だけを変更するべきである。
我々は、この最小変化原理を命令ベースの編集の最適化目的として扱う。
エージェントビジョン言語報酬モデルでは、ソース画像、命令、編集された画像を2つの障害タイプで監査する。
FLUX.1 Kontext-devでは、ARROは平均EditScoreをMinEval、MagicBrush、AnyBench、Emu-Editの5.21から5.88に引き上げている。
論文 参考訳(メタデータ) (2026-10-05T09:18:55Z) - Explaining AI-Image Detection: What the Heatmap Actually Shows [65.01025489527173]
私たちは検出器を構築し、その証拠として属性マップを添付します。
私たちは、そのペアがコントロール下の186,527のイメージにもたらすものを測定します。
属性ランキングが存在するかどうかは、検出器が画像に反応するかどうかに依存する。
論文 参考訳(メタデータ) (2026-07-31T16:07:05Z) - Can MLLMs Critique Like Humans? Evaluating Open-Ended Aesthetic Reasoning in Multimodal Large Language Models [16.0895345187708]
オープンエンドの審美的批判はマルチモーダル大言語モデル(MLLM)の課題である
我々は、参照ベースの類似度指標を用いて、写真ごとに複数のランク付けされた人間の批判に対して、5つのオープンウェイトMLLMをスコア付けする。
厳密な語彙と学習されたメトリクスは、人間の批評と弱い一致しか示さない。
我々は、参照に基づく類似性は、人間の批評の選択性や特異性よりも、流動的で包括的な批評スタイルに報いると論じている。
論文 参考訳(メタデータ) (2026-06-29T01:31:28Z) - Privacy Assessment on Reconstructed Images: Are Existing Evaluation
Metrics Faithful to Human Perception? [86.58989831070426]
本研究では,手作りのメトリクスの忠実さを,再構成画像からの人間のプライバシー情報の認識に適用する。
本稿では,SemSimと呼ばれる学習に基づく尺度を提案し,オリジナル画像と再構成画像のセマンティック類似性を評価する。
論文 参考訳(メタデータ) (2023-09-22T17:58:04Z) - Conformer and Blind Noisy Students for Improved Image Quality Assessment [80.57006406834466]
知覚品質評価(IQA)のための学習ベースアプローチは、通常、知覚品質を正確に測定するために歪んだ画像と参照画像の両方を必要とする。
本研究では,変換器を用いた全参照IQAモデルの性能について検討する。
また,全教師モデルから盲人学生モデルへの半教師付き知識蒸留に基づくIQAの手法を提案する。
論文 参考訳(メタデータ) (2022-04-27T10:21:08Z) - Transparent Human Evaluation for Image Captioning [70.03979566548823]
画像キャプションモデルのためのルーリックに基づく人間評価プロトコルを開発した。
人為的キャプションは機械的キャプションよりも著しく高品質であることを示す。
この研究は、画像キャプションのためのより透明な評価プロトコルを促進することを願っている。
論文 参考訳(メタデータ) (2021-11-17T07:09:59Z) - Can Audio Captions Be Evaluated with Image Caption Metrics? [11.45508807551818]
本稿では, 類似性を捉える上で, センテンス-BERTの強みと, 誤り検出器を組み合わさって, 誤文を強靭性のためにペナルティ化する手法を提案する。
新たに確立されたベンチマークでは、FENSEが現在のメトリクスを14~25%の精度で上回っている。
論文 参考訳(メタデータ) (2021-10-10T02:34:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。