論文の概要: Evaluation Framework for AI Systems in "the Wild"

• arxiv url: http://arxiv.org/abs/2504.16778v2
• Date: Mon, 28 Apr 2025 15:12:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.076778
• Title: Evaluation Framework for AI Systems in "the Wild"
• Title（参考訳）: 野生」におけるAIシステム評価フレームワーク
• Authors: Sarah Jabbour, Trenton Chang, Anindya Das Antar, Joseph Peper, Insu Jang, Jiachen Liu, Jae-Won Chung, Shiqi He, Michael Wellman, Bryan Goodman, Elizabeth Bondi-Kelly, Kevin Samy, Rada Mihalcea, Mosharaf Chowdhury, David Jurgens, Lu Wang,
• Abstract要約: ジェネレーティブAI(GenAI)モデルは、業界全体で重要になっているが、現在の評価手法は、その普及に適応していない。 従来の評価は、しばしばベンチマークや固定データセットに依存し、実世界のパフォーマンスを反映しないことが多い。 本稿では,実世界のGenAIシステムを評価するための包括的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 37.48117853114386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative AI (GenAI) models have become vital across industries, yet current evaluation methods have not adapted to their widespread use. Traditional evaluations often rely on benchmarks and fixed datasets, frequently failing to reflect real-world performance, which creates a gap between lab-tested outcomes and practical applications. This white paper proposes a comprehensive framework for how we should evaluate real-world GenAI systems, emphasizing diverse, evolving inputs and holistic, dynamic, and ongoing assessment approaches. The paper offers guidance for practitioners on how to design evaluation methods that accurately reflect real-time capabilities, and provides policymakers with recommendations for crafting GenAI policies focused on societal impacts, rather than fixed performance numbers or parameter sizes. We advocate for holistic frameworks that integrate performance, fairness, and ethics and the use of continuous, outcome-oriented methods that combine human and automated assessments while also being transparent to foster trust among stakeholders. Implementing these strategies ensures GenAI models are not only technically proficient but also ethically responsible and impactful.
• Abstract（参考訳）: ジェネレーティブAI(GenAI)モデルは、業界全体で重要になっているが、現在の評価手法は、その普及に適応していない。 従来の評価は、しばしばベンチマークと固定されたデータセットに依存し、実世界のパフォーマンスを反映しないことが多いため、ラボでテストされた結果と実践的なアプリケーションの間にギャップが生じる。 本稿では,多様で進化するインプットと,総合的,動的,継続的な評価アプローチを強調し,実世界のGenAIシステムを評価するための包括的フレームワークを提案する。 本稿は,リアルタイム能力を正確に反映した評価手法の設計方法についての実践者へのガイダンスを提供するとともに,政策立案者に対して,一定の性能数やパラメータサイズではなく,社会的影響に着目したGenAI政策の策定を推奨する。 我々は、パフォーマンス、公平性、倫理を統合する包括的なフレームワークと、人間と自動化された評価を組み合わせた継続的かつ結果指向の手法の使用を提唱し、利害関係者間の信頼を育むために透明である。 これらの戦略を実装することで、GenAIモデルは技術的に熟練しただけでなく、倫理的にも責任があり、影響力があることが保証されます。

関連論文リスト

• Position: Bayesian Statistics Facilitates Stakeholder Participation in Evaluation of Generative AI [0.0]
  ジェネレーティブAI(GenAI)システムの評価は、公共政策や意思決定において重要な役割を果たす。 既存の手法はベンチマーク駆動の点推定比較に頼ることによって制限されることが多い。 本稿では,ベイズ統計学をこれらの課題に対処するための原則的枠組みとして活用することを主張する。
  論文  参考訳（メタデータ） (2025-04-21T16:31:15Z)
• AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
  本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。 このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
  論文  参考訳（メタデータ） (2025-02-19T05:58:52Z)
• Can We Trust AI Benchmarks? An Interdisciplinary Review of Current Issues in AI Evaluation [2.2241228857601727]
  本稿では,定量的なベンチマーク手法の欠点を論じる,約100の学術研究の学際的メタレビューを示す。 これは、より広範な社会技術的問題を伴うベンチマークの設計と適用において、多くのきめ細かい問題をもたらす。 レビューではまた、不正なインセンティブ、妥当性の問題の構築、未知の未知、ベンチマーク結果のゲームに関する問題など、現在のプラクティスにおける一連のシステム的欠陥についても取り上げている。
  論文  参考訳（メタデータ） (2025-02-10T15:25:06Z)
• A Unified Framework for Evaluating the Effectiveness and Enhancing the Transparency of Explainable AI Methods in Real-World Applications [2.0681376988193843]
  AIモデルの特徴である"ブラックボックス"は、解釈可能性、透明性、信頼性を制約する。 本研究では,AIモデルによる説明の正確性,解釈可能性,堅牢性,公正性,完全性を評価するための統合XAI評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-05T05:30:10Z)
• A Shared Standard for Valid Measurement of Generative AI Systems' Capabilities, Risks, and Impacts [38.66213773948168]
  生成AI(GenAI)システムの能力、リスク、影響の有効な測定は、これらのシステムを評価する能力の基盤となる。 本稿では,現在使用されている様々な評価手法の多くを,共通の足場に配置する上で有効な評価基準を提案する。
  論文  参考訳（メタデータ） (2024-12-02T19:50:00Z)
• Evaluating Generative AI-Enhanced Content: A Conceptual Framework Using Qualitative, Quantitative, and Mixed-Methods Approaches [0.0]
  Generative AI(GenAI)は、コンテント生成に革命をもたらし、言語コヒーレンス、可読性、全体的な品質を改善するためのトランスフォーメーション機能を提供する。 本論文は,GenAIモデルの性能評価のための定性的,定量的,混合方法論の研究アプローチの応用を探求する。
  論文  参考訳（メタデータ） (2024-11-26T23:34:07Z)
• A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends [67.43992456058541]
  画像復元(IR)とは、ノイズ、ぼかし、気象効果などの劣化を除去しながら、画像の視覚的品質を改善する過程である。 従来のIR手法は、一般的に特定の種類の劣化をターゲットとしており、複雑な歪みを伴う現実のシナリオにおいて、その効果を制限している。 オールインワン画像復元(AiOIR)パラダイムが登場し、複数の劣化タイプに順応的に対処する統一されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-10-19T11:11:09Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Rethinking Model Evaluation as Narrowing the Socio-Technical Gap [47.632123167141245]
  モデル評価の実践は、この均質化によってもたらされる課題や責任に対処するために、重要なタスクを負わなければならない、と我々は主張する。 我々は,現実の文脈と人間の要求に基づく評価手法の開発をコミュニティに促す。
  論文  参考訳（メタデータ） (2023-06-01T00:01:43Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。