論文の概要: Position: Evaluation of Visual Processing Should Be Human-Centered, Not Metric-Centered

• arxiv url: http://arxiv.org/abs/2603.00643v2
• Date: Sat, 07 Mar 2026 03:02:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 12:41:25.933796
• Title: Position: Evaluation of Visual Processing Should Be Human-Centered, Not Metric-Centered
• Title（参考訳）: 位置: ビジュアル処理の評価は人間中心で、メトリック中心ではない
• Abstract要約: このポジションペーパーでは、現代の視覚処理システムの評価は、主にシングルメトリック画像品質評価ベンチマークによって行われるべきではないと論じている。 この論文は、メトリクスを完全に拒絶するのではなく、より人間中心でコンテキストを認識し、視覚モデルの結果を評価するためのきめ細かいアプローチを提唱する評価パラダイムの再バランスを訴える。
• 参考スコア（独自算出の注目度）: 34.408989226550176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This position paper argues that the evaluation of modern visual processing systems should no longer be driven primarily by single-metric image quality assessment benchmarks, particularly in the era of generative and perception-oriented methods. Image restoration exemplifies this divergence: while objective IQA metrics enable reproducible, scalable evaluation, they have increasingly drifted apart from human perception and user preferences. We contend that this mismatch risks constraining innovation and misguiding research progress across visual processing tasks. Rather than rejecting metrics altogether, this paper calls for a rebalancing of evaluation paradigms, advocating a more human-centered, context-aware, and fine-grained approach to assessing the visual models' outcomes.
• Abstract（参考訳）: 本稿では、現代の視覚処理システムの評価は、特に生成的・知覚的手法の時代において、主にシングルメトリック画像品質評価ベンチマークによって行われてはならないと論じる。 客観的IQAメトリクスは再現可能でスケーラブルな評価を可能にするが、人間の知覚やユーザの嗜好とはかけ離れている。 このミスマッチは、イノベーションを制約し、視覚処理タスクにおける研究の進歩を誤解させるリスクがある、と我々は主張する。 この論文は、メトリクスを完全に拒絶するのではなく、より人間中心でコンテキストを認識し、視覚モデルの結果を評価するためのきめ細かいアプローチを提唱する評価パラダイムの再バランスを訴える。

関連論文リスト

• Interactive Evaluation Requires a Design Science [90.62695599188204]
  大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。 フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。 本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
  論文  参考訳（メタデータ） (2026-05-18T04:03:18Z)
• Q-DeepSight: Incentivizing Thinking with Images for Image Quality Assessment and Refinement [58.15004031934379]
  我々は、この人間のようなプロセスをエミュレートする思考とイメージのフレームワークであるQ-DeepSightを提案する。 Q-DeepSightは、自然、復元、AI生成コンテンツなど、さまざまなベンチマークで最先端のパフォーマンスを実現している。 本稿では,Q-DeepSight の診断が反復画像強調を導くトレーニングフリーフレームワークであるPerceptual-in-Generation (PiG) を用いて,その実用的価値を示す。
  論文  参考訳（メタデータ） (2026-04-18T06:10:57Z)
• Correcting Human Labels for Rater Effects in AI Evaluation: An Item Response Theory Approach [0.0]
  本稿では,人間の判断による結論の信頼性と妥当性を向上させるため,心理測定レーダモデルをAIパイプラインに統合する。 本研究では, レーダ重大度に対する調整が, 要約品質の補正された推定値をいかに生み出すかを示す。 この視点は、AI開発と評価のためのより堅牢で解釈可能な、構成整合したプラクティスへの道のりを強調している。
  論文  参考訳（メタデータ） (2026-02-26T03:35:36Z)
• The Truth, the Whole Truth, and Nothing but the Truth: Automatic Visualization Evaluation from Reconstruction Quality [2.014871953160343]
  人間のラベル付きデータセットに頼らずに可視化品質を評価する自動メトリクスを提案する。 具体的には、可視化自体から元のデータの再構成精度を評価することによって、可視化品質を測定する手法を提案する。 この再構築ベースのメトリクスは、人間の完全な評価のための自律的でスケーラブルなプロキシを提供し、より効率的で信頼性の高いAI駆動の可視化を可能にします。
  論文  参考訳（メタデータ） (2026-01-26T19:36:15Z)
• Beyond Static Evaluation: Rethinking the Assessment of Personalized Agent Adaptability in Information Retrieval [12.058221341033835]
  適応型パーソナライゼーションにおける評価を再考するための概念レンズを提案する。 このレンズは,(1)時間的に進化する嗜好モデルを用いたペルソナベースユーザシミュレーション,(2)参照インタビューに触発されてコンテキスト内での嗜好を抽出する構造化エリケーションプロトコル,(3)エージェントの行動がセッションやタスク間でどのように改善されるかを測定する適応型評価メカニズムの3つを中心に構成されている。
  論文  参考訳（メタデータ） (2025-10-05T00:35:37Z)
• A Picture is Worth a Thousand Prompts? Efficacy of Iterative Human-Driven Prompt Refinement in Image Regeneration Tasks [1.8563642867160601]
  AI生成画像の作成はしばしば、望ましい視覚的な結果を達成するために、入力プロンプトを反復的に精細化する。 この研究は、AIを用いた画像再生という比較的未解明の概念に焦点を当てている。 本稿では,反復的プロンプトリファインメントが,再生画像の目標に対する類似性にどのように影響するかを,構造化されたユーザスタディで評価する。
  論文  参考訳（メタデータ） (2025-04-29T01:21:16Z)
• Towards Automatic Evaluation for Image Transcreation [52.71090829502756]
  本稿では,機械翻訳(MT)メトリクスにインスパイアされた自動評価指標群を提案する。 画像トランスクリエーションの3つの重要な側面として,文化的関連性,意味的等価性,視覚的類似性を挙げる。 この結果から,視覚エンコーダの表現は視覚的類似度を測定するのに有効であるのに対し,プロプライエタリなVLMは文化的関連性と意味的等価性を最もよく認識していることがわかった。
  論文  参考訳（メタデータ） (2024-12-18T10:55:58Z)
• Learning and Evaluating Human Preferences for Conversational Head Generation [101.89332968344102]
  そこで我々は,異なる次元の定量的評価に基づいて,人間の嗜好を適合させる学習ベース評価尺度であるPreference Score(PS)を提案する。 PSは人間のアノテーションを必要とせずに定量的評価を行うことができる。
  論文  参考訳（メタデータ） (2023-07-20T07:04:16Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• TISE: A Toolbox for Text-to-Image Synthesis Evaluation [9.092600296992925]
  単目的と多目的のテキスト・ツー・イメージ合成のための最先端手法の研究を行う。 これらの手法を評価するための共通フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-02T16:39:35Z)
• Pros and Cons of GAN Evaluation Measures: New Developments [53.10151901863263]
  この作品は、数年前に発表された同じトピックに関する以前の論文の更新です。 モデル評価において重要になっている新しい次元について述べ、GAN評価とディープフェイクの関係について論じる。
  論文  参考訳（メタデータ） (2021-03-17T01:48:34Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。