論文の概要: Reality Check: A New Evaluation Ecosystem Is Necessary to Understand AI's Real World Effects

• arxiv url: http://arxiv.org/abs/2505.18893v3
• Date: Thu, 29 May 2025 13:42:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 13:10:25.720198
• Title: Reality Check: A New Evaluation Ecosystem Is Necessary to Understand AI's Real World Effects
• Title（参考訳）: AIの現実的効果を理解するためには、新しい評価生態系が必要だ
• Authors: Reva Schwartz, Rumman Chowdhury, Akash Kundu, Heather Frase, Marzieh Fadaee, Tom David, Gabriella Waters, Afaf Taik, Morgan Briggs, Patrick Hall, Shomik Jain, Kyra Yee, Spencer Thomas, Sundeep Bhandari, Qinghua Lu, Matthew Holmes, Theodora Skeadas,
• Abstract要約: 論文は、AIの間接的および二次的効果を測定するには、シリコで実施される静的な単一ターンアプローチを超えて拡張する必要がある、と論じている。 我々は、文脈認識を容易にし、下流の解釈とAIの二次効果に関する意思決定を可能にするデータと方法の必要性について説明する。
• 参考スコア（独自算出の注目度）: 3.2332301279219844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional AI evaluation approaches concentrated within the AI stack exhibit systemic limitations for exploring, navigating and resolving the human and societal factors that play out in real world deployment such as in education, finance, healthcare, and employment sectors. AI capability evaluations can capture detail about first-order effects, such as whether immediate system outputs are accurate, or contain toxic, biased or stereotypical content, but AI's second-order effects, i.e. any long-term outcomes and consequences that may result from AI use in the real world, have become a significant area of interest as the technology becomes embedded in our daily lives. These secondary effects can include shifts in user behavior, societal, cultural and economic ramifications, workforce transformations, and long-term downstream impacts that may result from a broad and growing set of risks. This position paper argues that measuring the indirect and secondary effects of AI will require expansion beyond static, single-turn approaches conducted in silico to include testing paradigms that can capture what actually materializes when people use AI technology in context. Specifically, we describe the need for data and methods that can facilitate contextual awareness and enable downstream interpretation and decision making about AI's secondary effects, and recommend requirements for a new ecosystem.
• Abstract（参考訳）: AIスタックに集中する従来のAI評価アプローチは、教育、金融、医療、雇用など、現実世界の展開において果たす人間と社会の要因を探索、ナビゲート、解決するための体系的な制限を示す。 AI能力評価は、即時システムの出力が正確であるか、毒性、偏り、あるいはステレオタイプ的な内容を含むかといった一階効果の詳細を捉えることができるが、AIの2階効果、すなわち、現実世界でAIの使用によって引き起こされる長期的な結果と結果は、テクノロジーが私たちの日常生活に埋め込まれるにつれて、重要な関心領域となっている。 これらの二次効果には、ユーザーの行動の変化、社会的、文化的、経済的な影響、労働力の変化、そして広範囲で増加するリスクによる長期的な下流への影響が含まれる。 このポジションペーパーでは、AIの間接的および二次的効果を測定するには、サイコで実施される静的な単一ターンアプローチを超えて、人々がコンテキストでAI技術を使用するときに実際に実現されるものをキャプチャするテストパラダイムを含める必要がある、と論じている。 具体的には、コンテキスト認識を促進し、AIの二次効果に関する下流の解釈と意思決定を可能にするデータと方法の必要性を説明し、新しいエコシステムの要求を推奨する。

関連論文リスト

• From Efficiency Gains to Rebound Effects: The Problem of Jevons' Paradox in AI's Polarized Environmental Debate [69.05573887799203]
  この議論の多くは、大きな間接効果に対処することなく直接的影響に集中している。 本稿では,Jevonsのパラドックス問題がどのようにAIに適用され,効率向上がパラドックス的に消費増加を促すかを検討する。 これらの2次の影響を理解するには、ライフサイクルアセスメントと社会経済分析を組み合わせた学際的アプローチが必要であると論じる。
  論文  参考訳（メタデータ） (2025-01-27T22:45:06Z)
• Considerations Influencing Offense-Defense Dynamics From Artificial Intelligence [0.0]
  AIは防御能力を向上するだけでなく、悪意ある搾取と大規模な社会的危害のための道も提示する。 本稿では、AIシステムが主に脅威を生じているか、社会に保護的利益をもたらすかに影響を及ぼす主要な要因をマップし、検証するための分類法を提案する。
  論文  参考訳（メタデータ） (2024-12-05T10:05:53Z)
• The Potential Impact of AI Innovations on U.S. Occupations [3.0829845709781725]
  私たちはDeep Learning Natural Language Processingを使って、大規模な作業に影響を及ぼす可能性のあるAI特許を特定します。 我々の方法論は、17,879のタスク記述の包括的なデータセットに依存し、AIの潜在的な影響を定量化する。 我々の結果は、いくつかの職業が潜在的に影響を受け、その影響は特定のスキルに複雑に結びついていることを示している。
  論文  参考訳（メタデータ） (2023-12-07T21:44:07Z)
• Predictable Artificial Intelligence [77.1127726638209]
  本稿では予測可能なAIのアイデアと課題を紹介する。 それは、現在および将来のAIエコシステムの重要な妥当性指標を予測できる方法を探る。 予測可能性を達成することは、AIエコシステムの信頼、責任、コントロール、アライメント、安全性を促進するために不可欠である、と私たちは主張する。
  論文  参考訳（メタデータ） (2023-10-09T21:36:21Z)
• FATE in AI: Towards Algorithmic Inclusivity and Accessibility [0.0]
  AIにおけるアルゴリズム上の格差、公平性、説明責任、透明性、倫理(FATE)が実装されている。 本研究では、AIによって守られている世界南部地域のFATE関連デシダータ、特に透明性と倫理について検討する。 インクリシティを促進するために、コミュニティ主導の戦略が提案され、責任あるAI設計のための代表データを収集し、キュレートする。
  論文  参考訳（メタデータ） (2023-01-03T15:08:10Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)
• LioNets: A Neural-Specific Local Interpretation Technique Exploiting Penultimate Layer Information [6.570220157893279]
  解釈可能な機械学習(IML)は研究の緊急のトピックである。 本稿では,テキストデータと時系列データに適用される局所的,神経特異的な解釈プロセスに焦点を当てる。
  論文  参考訳（メタデータ） (2021-04-13T09:39:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。