論文の概要: Paradigms of AI Evaluation: Mapping Goals, Methodologies and Culture

• arxiv url: http://arxiv.org/abs/2502.15620v1
• Date: Fri, 21 Feb 2025 17:44:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:10:39.761751
• Title: Paradigms of AI Evaluation: Mapping Goals, Methodologies and Culture
• Title（参考訳）: AI評価のパラダイム:目標、方法論、文化のマッピング
• Authors: John Burden, Marko Tešić, Lorenzo Pacchiardi, José Hernández-Orallo,
• Abstract要約: 我々は、AI評価の現場における最近の研究を調査し、6つの主要なパラダイムを特定した。 我々は,現在の評価手法の広さに対する意識を高め,異なるパラダイム間の相互補間を促進することを目的としている。
• 参考スコア（独自算出の注目度）: 16.361352880545073
• License:
• Abstract: Research in AI evaluation has grown increasingly complex and multidisciplinary, attracting researchers with diverse backgrounds and objectives. As a result, divergent evaluation paradigms have emerged, often developing in isolation, adopting conflicting terminologies, and overlooking each other's contributions. This fragmentation has led to insular research trajectories and communication barriers both among different paradigms and with the general public, contributing to unmet expectations for deployed AI systems. To help bridge this insularity, in this paper we survey recent work in the AI evaluation landscape and identify six main paradigms. We characterise major recent contributions within each paradigm across key dimensions related to their goals, methodologies and research cultures. By clarifying the unique combination of questions and approaches associated with each paradigm, we aim to increase awareness of the breadth of current evaluation approaches and foster cross-pollination between different paradigms. We also identify potential gaps in the field to inspire future research directions.
• Abstract（参考訳）: AI評価の研究はますます複雑で多分野化され、さまざまな背景と目的を持つ研究者を惹きつけている。 その結果、異なる評価パラダイムが出現し、しばしば独立して発展し、矛盾する用語を採用し、互いの貢献を見下ろしている。 この断片化は、異なるパラダイムと一般の人々の間で、不規則な研究軌跡とコミュニケーション障壁をもたらし、デプロイされたAIシステムに対する予期せぬ期待に寄与している。 この不規則性を橋渡しするために、本稿では、AI評価の展望における最近の研究を調査し、6つの主要なパラダイムを特定します。 目標,方法論,研究文化に関連する重要な側面にまたがる,各パラダイムにおける最近の主要な貢献を特徴付ける。 それぞれのパラダイムに関連する質問とアプローチの独特な組み合わせを明確にすることで、現在の評価手法の広さに対する意識を高め、異なるパラダイム間の相互補完を促進することを目指している。 また、今後の研究の方向性を刺激するために、この分野の潜在的なギャップを特定する。

関連論文リスト

• Survey on AI-Generated Media Detection: From Non-MLLM to MLLM [51.91311158085973]
  AI生成メディアを検出する方法は急速に進化してきた。 MLLMに基づく汎用検出器は、信頼性検証、説明可能性、ローカライゼーション機能を統合する。 倫理的・セキュリティ的な配慮が、重要な世界的な懸念として浮上している。
  論文  参考訳（メタデータ） (2025-02-07T12:18:20Z)
• A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends [67.43992456058541]
  画像復元(IR)とは、ノイズ、ぼかし、気象効果などの劣化を除去しながら、画像の視覚的品質を改善する過程である。 従来のIR手法は、一般的に特定の種類の劣化をターゲットとしており、複雑な歪みを伴う現実のシナリオにおいて、その効果を制限している。 オールインワン画像復元(AiOIR)パラダイムが登場し、複数の劣化タイプに順応的に対処する統一されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-10-19T11:11:09Z)
• The Potential and Challenges of Evaluating Attitudes, Opinions, and Values in Large Language Models [28.743404185915697]
  本稿では,Large Language Models (LLMs) における態度, 意見, 価値 (AOVs) の評価に関する最近の研究の概要について概説する。 これにより、社会科学におけるモデル、人間とAIの整合性、下流の応用を理解するための可能性と課題に対処する。
  論文  参考訳（メタデータ） (2024-06-16T22:59:18Z)
• Towards Bidirectional Human-AI Alignment: A Systematic Review for Clarifications, Framework, and Future Directions [101.67121669727354]
  近年のAIの進歩は、AIシステムを意図された目標、倫理的原則、個人とグループの価値に向けて導くことの重要性を強調している。 人間のAIアライメントの明確な定義とスコープの欠如は、このアライメントを達成するための研究領域間の共同作業を妨げる、大きな障害となる。 我々は、2019年から2024年1月までに400以上の論文を体系的にレビューし、HCI(Human-Computer Interaction)、自然言語処理(NLP)、機械学習(ML)といった複数の分野にまたがって紹介する。
  論文  参考訳（メタデータ） (2024-06-13T16:03:25Z)
• Intersectional Inquiry, on the Ground and in the Algorithm [1.0923877073891446]
  この分野の手法は、人種、階級、民族、文化、障害といった社会的差異の共通点を考慮に入れなければならないと我々は主張する。 計算的手法と定性的手法を交叉的手法で組み合わせることの複雑さを考察する。
  論文  参考訳（メタデータ） (2023-08-29T23:43:58Z)
• Understanding the Application of Utility Theory in Robotics and Artificial Intelligence: A Survey [5.168741399695988]
  このユーティリティは、経済学、ゲーム理論、およびオペレーション研究において、ロボティクスとAI分野においても統一された概念である。 本稿では,エージェントのインタラクション間の相互関係を記述し,評価するためのユーティリティ指向の要求パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-06-15T18:55:48Z)
• Empathetic Conversational Systems: A Review of Current Advances, Gaps, and Opportunities [2.741266294612776]
  多くの研究が共感の利点を認識し、共感を会話システムに取り入れ始めた。 本稿では,5つのレビュー次元を用いて,急速に成長するこの分野について検討する。
  論文  参考訳（メタデータ） (2022-05-09T05:19:48Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• Recent Advances in Monocular 2D and 3D Human Pose Estimation: A Deep Learning Perspective [69.44384540002358]
  この問題に対処するための包括的で包括的な2D-to-3D視点を提供する。 2014年からの主流とマイルストーンのアプローチを統一フレームワークで分類しています。 また,ポーズ表現スタイル,ベンチマーク,評価指標,一般的なアプローチの定量的評価を要約した。
  論文  参考訳（メタデータ） (2021-04-23T11:07:07Z)
• A Variational Information Bottleneck Approach to Multi-Omics Data Integration [98.6475134630792]
  本稿では,不完全な多視点観測のための深い変動情報ボトルネック (IB) 手法を提案する。 本手法は,対象物に関連のある視点内および視点間相互作用に焦点をあてるために,観測された視点の辺縁および結合表現にISBフレームワークを適用した。 実世界のデータセットの実験から、我々の手法はデータ統合から常に利益を得て、最先端のベンチマークより優れています。
  論文  参考訳（メタデータ） (2021-02-05T06:05:39Z)
• Transdisciplinary AI Observatory -- Retrospective Analyses and Future-Oriented Contradistinctions [22.968817032490996]
  本稿では、本質的に学際的なAI観測アプローチの必要性を動機づける。 これらのAI観測ツールに基づいて、我々はAIの安全性に関する短期的な学際的ガイドラインを提示する。
  論文  参考訳（メタデータ） (2020-11-26T16:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。