論文の概要: Quality Assessment in the Era of Large Models: A Survey

• arxiv url: http://arxiv.org/abs/2409.00031v1
• Date: Sat, 17 Aug 2024 13:20:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-08 15:40:57.132905
• Title: Quality Assessment in the Era of Large Models: A Survey
• Title（参考訳）: 大規模モデル時代の品質評価:調査
• Authors: Zicheng Zhang, Yingjie Zhou, Chunyi Li, Baixuan Zhao, Xiaohong Liu, Guangtao Zhai,
• Abstract要約: 大規模なモデルが登場する前は、品質評価は通常、特定のタスクに適した小さなエキスパートモデルに依存していました。 大規模モデルの発展に伴い、多くの研究者がこれらの大規模モデルに埋め込まれた事前知識を質評価タスクに活用している。
• 参考スコア（独自算出の注目度）: 38.07282281398898
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quality assessment, which evaluates the visual quality level of multimedia experiences, has garnered significant attention from researchers and has evolved substantially through dedicated efforts. Before the advent of large models, quality assessment typically relied on small expert models tailored for specific tasks. While these smaller models are effective at handling their designated tasks and predicting quality levels, they often lack explainability and robustness. With the advancement of large models, which align more closely with human cognitive and perceptual processes, many researchers are now leveraging the prior knowledge embedded in these large models for quality assessment tasks. This emergence of quality assessment within the context of large models motivates us to provide a comprehensive review focusing on two key aspects: 1) the assessment of large models, and 2) the role of large models in assessment tasks. We begin by reflecting on the historical development of quality assessment. Subsequently, we move to detailed discussions of related works concerning quality assessment in the era of large models. Finally, we offer insights into the future progression and potential pathways for quality assessment in this new era. We hope this survey will enable a rapid understanding of the development of quality assessment in the era of large models and inspire further advancements in the field.
• Abstract（参考訳）: マルチメディア体験の視覚的品質レベルを評価する品質アセスメントは、研究者から大きな注目を集め、献身的な努力を通じて大きく発展してきた。 大規模なモデルが登場する前は、品質評価は通常、特定のタスクに適した小さなエキスパートモデルに依存していました。 これらの小さなモデルは、指定されたタスクを処理し、品質レベルを予測するのに効果的だが、説明可能性や堅牢性に欠けることが多い。 人間の認知と知覚のプロセスとより密に連携する大規模モデルの進歩により、多くの研究者は、これらの大規模モデルに埋め込まれた以前の知識を品質評価タスクに活用している。 大規模モデルのコンテキストにおける品質評価の出現は、2つの重要な側面に焦点を当てた包括的なレビューを提供する動機となります。 1)大型模型の評価、及び 2)評価作業における大規模モデルの役割 まず,品質評価の歴史的発展を振り返ってみる。 その後、大型モデルの時代における品質評価に関する関連研究の詳細な議論に移行した。 最後に、我々は、この新時代の品質評価の今後の進展と潜在的な経路についての洞察を提供する。 この調査は、大規模モデルの時代における品質評価の進展を迅速に把握し、この分野のさらなる進歩を促すことを願っている。

関連論文リスト

• Q-Ground: Image Quality Grounding with Large Multi-modality Models [61.72022069880346]
  Q-Groundは、大規模な視覚的品質グラウンドに取り組むための最初のフレームワークである。 Q-Groundは、大規模なマルチモダリティモデルと詳細な視覚的品質分析を組み合わせる。 コントリビューションの中心は、QGround-100Kデータセットの導入です。
  論文  参考訳（メタデータ） (2024-07-24T06:42:46Z)
• ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
  生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。 認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。 本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
  論文  参考訳（メタデータ） (2024-05-28T22:45:28Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Evaluating the Generation Capabilities of Large Chinese Language Models [27.598864484231477]
  本稿では,CG-Evalについて紹介する。 学術分野にまたがる大規模な中国語モデルの生成能力を評価する。 Gscoreは、参照標準に対するモデルのテキスト生成の品質測定を自動化する。
  論文  参考訳（メタデータ） (2023-08-09T09:22:56Z)
• GMValuator: Similarity-based Data Valuation for Generative Models [41.76259565672285]
  生成モデル評価器(GMValuator, Generative Model Valuator, GMValuator, GMValuator)を導入した。 GMValuatorは、その有効性を示すために、様々なデータセットや生成アーキテクチャで広く評価されている。
  論文  参考訳（メタデータ） (2023-04-21T02:02:02Z)
• A Survey of Video-based Action Quality Assessment [6.654914040895586]
  行動品質評価モデルは、行動評価に費やされた人的・物質的資源を減らし、主観性を低下させる。 現存する作品の多くはスポーツと医療に重点を置いている。
  論文  参考訳（メタデータ） (2022-04-20T07:29:00Z)
• Image Quality Assessment in the Modern Age [53.19271326110551]
  本チュートリアルは、画像品質評価(IQA)の基礎的理論、方法論、現状の進歩を聴衆に提供する。 まず,視覚刺激を適切に選択する方法に着目し,主観的品質評価手法を再考する。 手書きのエンジニアリングと(深い)学習ベースの手法の両方をカバーします。
  論文  参考訳（メタデータ） (2021-10-19T02:38:46Z)
• Pros and Cons of GAN Evaluation Measures: New Developments [53.10151901863263]
  この作品は、数年前に発表された同じトピックに関する以前の論文の更新です。 モデル評価において重要になっている新しい次元について述べ、GAN評価とディープフェイクの関係について論じる。
  論文  参考訳（メタデータ） (2021-03-17T01:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。