論文の概要: GenLens: A Systematic Evaluation of Visual GenAI Model Outputs

• arxiv url: http://arxiv.org/abs/2402.03700v1
• Date: Tue, 6 Feb 2024 04:41:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 16:30:12.686536
• Title: GenLens: A Systematic Evaluation of Visual GenAI Model Outputs
• Title（参考訳）: GenLens: Visual GenAIモデル出力の体系的評価
• Authors: Tica Lin, Hanspeter Pfister, Jui-Hsien Wang
• Abstract要約: GenLensは、GenAIモデル出力の体系的評価のために設計されたビジュアル分析インタフェースである。 モデル開発者によるユーザ調査によると、GenLensは、高い満足度で証明されたワークフローを効果的に強化する。
• 参考スコア（独自算出の注目度）: 33.93591473459988
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The rapid development of generative AI (GenAI) models in computer vision necessitates effective evaluation methods to ensure their quality and fairness. Existing tools primarily focus on dataset quality assurance and model explainability, leaving a significant gap in GenAI output evaluation during model development. Current practices often depend on developers' subjective visual assessments, which may lack scalability and generalizability. This paper bridges this gap by conducting a formative study with GenAI model developers in an industrial setting. Our findings led to the development of GenLens, a visual analytic interface designed for the systematic evaluation of GenAI model outputs during the early stages of model development. GenLens offers a quantifiable approach for overviewing and annotating failure cases, customizing issue tags and classifications, and aggregating annotations from multiple users to enhance collaboration. A user study with model developers reveals that GenLens effectively enhances their workflow, evidenced by high satisfaction rates and a strong intent to integrate it into their practices. This research underscores the importance of robust early-stage evaluation tools in GenAI development, contributing to the advancement of fair and high-quality GenAI models.
• Abstract（参考訳）: コンピュータビジョンにおける生成AI(GenAI)モデルの迅速な開発は、その品質と公平性を保証するために効果的な評価方法を必要とする。 既存のツールは、主にデータセットの品質保証とモデル説明可能性に焦点を当てており、モデル開発中にGenAI出力評価に大きなギャップを残しています。 現在のプラクティスは、しばしば開発者の主観的な視覚的評価に依存します。 本稿では、GenAIモデル開発者と産業環境で形式的な研究を行うことにより、このギャップを埋める。 この結果から,モデル開発の初期段階におけるジェナイモデル出力の体系的評価を目的としたビジュアル解析インタフェースであるgenlensの開発に繋がった。 GenLensは、障害ケースの概要と注釈付け、イシュータグと分類のカスタマイズ、複数のユーザからのアノテーションの集約によるコラボレーション強化のための定量的なアプローチを提供する。 モデル開発者によるユーザ調査によると、GenLensはワークフローを効果的に強化し、高い満足度と、それをプラクティスに統合する強い意図によって証明されている。 本研究は、GenAI開発における堅牢な早期評価ツールの重要性を強調し、公正かつ高品質なGenAIモデルの進歩に寄与する。

関連論文リスト

• Dimensions of Generative AI Evaluation Design [51.541816010127256]
  我々は、GenAI評価設計に関わる重要な選択を捉えるための一般的な次元のセットを提案する。 これらの次元には、評価設定、タスクタイプ、入力ソース、インタラクションスタイル、期間、メトリックタイプ、スコアリング方法が含まれる。
  論文  参考訳（メタデータ） (2024-11-19T18:25:30Z)
• Recommendation with Generative Models [35.029116616023586]
  生成モデルは、統計分布から学習し、サンプリングすることで、データの新しいインスタンスを作成することができるAIモデルである。 これらのモデルは、画像生成、テキスト合成、音楽合成など、様々な領域に応用されている。 レコメンデーションシステムでは、Gen-RecSysと呼ばれる生成モデルは、レコメンデーションの正確性と多様性を改善する。
  論文  参考訳（メタデータ） (2024-09-18T18:29:15Z)
• Case Study: Leveraging GenAI to Build AI-based Surrogates and Regressors for Modeling Radio Frequency Heating in Fusion Energy Science [30.658306142871602]
  本稿では, 融合エネルギー研究におけるシミュレーションモデルのためのAIサロゲートの開発にGenerative AI(GenAI)を用いた詳細なケーススタディを提案する。 このスコープには、モデル開発と最適化を支援するためにGenAIを使用する方法論、実装、結果が含まれている。
  論文  参考訳（メタデータ） (2024-09-10T00:22:19Z)
• On the Limitations and Prospects of Machine Unlearning for Generative AI [7.795648142175443]
  Generative AI(GenAI)は、潜伏変数やその他のデータモダリティから現実的で多様なデータサンプルを合成することを目的としている。 GenAIは自然言語、画像、オーディオ、グラフなど、さまざまな領域で顕著な成果を上げている。 しかし、データプライバシ、セキュリティ、倫理に課題やリスクも生じている。
  論文  参考訳（メタデータ） (2024-08-01T08:35:40Z)
• Model-based Maintenance and Evolution with GenAI: A Look into the Future [47.93555901495955]
  我々は、モデルベースエンジニアリング(MBM&E)の限界に対処する手段として、生成人工知能(GenAI)を用いることができると論じる。 我々は、エンジニアの学習曲線の削減、レコメンデーションによる効率の最大化、ドメイン問題を理解するための推論ツールとしてのGenAIの使用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T23:13:26Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Generative AI for Visualization: State of the Art and Future Directions [7.273704442256712]
  本稿では,GenAIを活用した過去の可視化研究を振り返る。 本稿では,世代別アルゴリズムとその応用と限界を要約することにより,今後のGenAI4VIS研究に有用な知見を提供する。
  論文  参考訳（メタデータ） (2024-04-28T11:27:30Z)
• Generative AI and Process Systems Engineering: The Next Frontier [0.5937280131734116]
  本稿では,大規模言語モデル (LLM) のような新しい生成人工知能(GenAI)モデルが,プロセスシステム工学 (PSE) におけるソリューション方法論をいかに拡張するかを考察する。 これらの最先端のGenAIモデル、特にファンデーションモデル(FM)は、広範な汎用データセットで事前トレーニングされている。 この記事では、マルチスケールモデリング、データ要件、評価指標とベンチマーク、信頼性と安全性など、PSE内でGenAIを完全に活用する上での潜在的な課題を特定し、議論する。
  論文  参考訳（メタデータ） (2024-02-15T18:20:42Z)
• A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT [63.58711128819828]
  ChatGPTおよびその他の生成AI(GAI)技術は、人工知能生成コンテンツ(AIGC)のカテゴリに属している。 AIGCの目標は、コンテンツ作成プロセスをより効率的かつアクセスしやすくし、高品質なコンテンツをより高速に生産できるようにすることである。
  論文  参考訳（メタデータ） (2023-03-07T20:36:13Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。