論文の概要: Principles and Guidelines for Randomized Controlled Trials in AI Evaluation
- arxiv url: http://arxiv.org/abs/2605.02050v1
- Date: Sun, 03 May 2026 20:37:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:50.060391
- Title: Principles and Guidelines for Randomized Controlled Trials in AI Evaluation
- Title（参考訳）: AI評価におけるランダム化試験の原則とガイドライン
- Authors: Christopher Kelly, Angelica Chowdhury, Alexandra Campili, Bimpe Ayoola, Devin Barbour, Thomas Chen Dawson, Ze Shen Chin, Rokas Gipiškis,
- Abstract要約: この研究は、AI評価RTTの標準化のための基盤となるフレームワークを確立する。
4つの妥当性フレームワークを採用し、透明性、繰り返し可能性、検証に関する5番目の原則でそれを拡張します。
我々は5つの原則全てを、AI評価RTTコンテキストに適合した33のガイドラインに運用する。
- 参考スコア（独自算出の注目度）: 34.88842637551998
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work establishes a foundational framework for standardizing AI evaluation RCTs (sometimes called human uplift studies). Drawing on established experimental practices from disciplines with established RCT traditions, including software engineering, economics, clinical and health sciences, and psychology, we adopt the (Shadish et al., 2002) four-validity framework and extend it with a fifth principle on transparency, repeatability, and verification adapted from the Transparency and Openness Promotion (TOP) Guidelines (Center for Open Science, 2025). We operationalize all five principles into 33 guidelines adapted for AI evaluation RCT contexts, expressed as requirements with rationales, implementation instructions, and evidence bases. We position the principles and guidelines as serving three key roles for AI evaluation RCTs: a design tool for planning studies, an evaluation rubric for assessing existing work, and a blueprint for standard setting as the field converges on norms. Our framework extends prior work by centering evaluation on human performance rather than model output alone, formalizing causal inference through RCT methodology for AI contexts, integrating heterogeneity analysis and practical significance assessment, implementing a graded transparency and repeatability framework, and addressing AI-specific challenges including model versioning, human-AI interaction dynamics, contamination and spillover effects, and equitable impact assessment.
- Abstract（参考訳）: この研究は、AI評価RTT(時に人間アップリフト研究と呼ばれる)を標準化するための基礎的な枠組みを確立する。
ソフトウェア工学、経済学、臨床・健康科学、心理学など、確立されたRCTの伝統を持つ分野から確立された実験的実践に基づいて、我々は、(Shadish et al , 2002)4つの妥当性フレームワークを採用し、透明性、再現性、検証に関する5番目の原則で、透明性とオープンネス促進(TOP)ガイドライン(オープンサイエンスセンター、2025年)を適用。
我々は5つの原則全てを、AI評価RCTコンテキストに適合する33のガイドラインに運用し、合理的な条件、実装指示、エビデンスベースで表現する。
我々は、AI評価のための原則とガイドラインを、研究計画のための設計ツール、既存の作業を評価するための評価ルーブリック、そして、分野が規範に収束するにつれて標準設定のための青写真という、AI評価のための重要な3つの役割を果たすものとして位置づける。
我々のフレームワークは、モデル出力のみではなく、人間のパフォーマンスを評価すること、AIコンテキストのためのRTT手法による因果推論の形式化、異質性分析と実用的価値評価の統合、グレードの透明性と再現性フレームワークの実装、モデルバージョニング、人間-AIインタラクションのダイナミクス、汚染と流出効果、等しく影響評価といったAI固有の課題に対処することで、以前の作業を拡張する。
関連論文リスト
- Structural Quality Gaps in Practitioner AI Governance Prompts: An Empirical Study Using a Five-Principle Evaluation Framework [0.0]
我々は、AIが構造的に完成しているかどうかを評価するためのフレームワークを導入する。
評価の結果,評価されたファイルモデルペアの37%がしきい値以下であることが判明した。
本稿では,AI支援開発における工学的要件の実践の意義について論じる。
論文 参考訳（メタデータ） (2026-04-22T21:18:28Z) - SAVOIR: Learning Social Savoir-Faire via Shapley-based Reward Attribution [82.31558282651811]
複雑な対人相互作用をナビゲートするソーシャルインテリジェンスは、言語エージェントに根本的な課題を提示する。
既存のアプローチでは、言語モデルを直接使用してエピソードレベルの報酬を分配する。
協調ゲーム理論に基づく新しい原理的枠組みであるSAVOIRを提案する。
論文 参考訳（メタデータ） (2026-04-21T02:08:25Z) - OmniQuality-R: Advancing Reward Models Through All-Encompassing Quality Assessment [55.59322229889159]
我々は,マルチタスク品質推論を連続的かつ解釈可能な報酬信号に変換する統一報酬モデリングフレームワークOmniQuality-Rを提案する。
我々は、推論強化報酬モデルデータセットを使用して、教師付き微調整のための信頼性の高いチェーンオブ思考データセットを構築します。
OmniQuality-Rは,美的品質評価,技術的品質評価,テキスト画像アライメントという3つの重要なIQAタスクで評価する。
論文 参考訳（メタデータ） (2025-10-12T13:46:28Z) - The 1st International Workshop on Disentangled Representation Learning for Controllable Generation (DRL4Real): Methods and Results [132.86866727471093]
本稿では,ICCV 2025と共同で開催されている制御可能生成のための分散表現学習(DRL4Real)の第1回国際ワークショップをレビューする。
DRL4Realは、制御可能生成、モデルの堅牢性、解釈可能性、一般化の進歩を探究するなど、実用的な応用におけるDRL手法の評価に重点を置いている。
ワークショップでは、新しい誘導バイアス(言語など)の統合、DRLへの拡散モデルの適用、3D認識のゆがみ、自律運転や脳波分析のような専門分野へのDRLの拡張など、幅広いトピックをカバーする9つの論文を受理した。
論文 参考訳（メタデータ） (2025-08-15T16:35:41Z) - A Systematic Review of User-Centred Evaluation of Explainable AI in Healthcare [1.57531613028502]
本研究の目的は、医療におけるXAIのユーザエクスペリエンスを特徴付ける、明確に定義された原子特性の枠組みを開発することである。
また,システム特性に基づいて評価戦略を定義するための文脈に敏感なガイドラインも提供する。
論文 参考訳（メタデータ） (2025-06-16T18:30:00Z) - Prioritization First, Principles Second: An Adaptive Interpretation of Helpful, Honest, and Harmless Principles [30.405680322319242]
Helpful, Honest, and Harmless(HHH)原則は、AIシステムを人間の価値と整合させるためのフレームワークである。
我々は,HHH原理の適応的解釈を論じ,多様なシナリオへの適応のための参照フレームワークを提案する。
この作業は、AIアライメントを改善するための実践的な洞察を提供し、HHH原則が現実のAIデプロイメントにおいて基礎的かつ運用的に有効であることを保証する。
論文 参考訳（メタデータ） (2025-02-09T22:41:24Z) - A Unified Understanding and Evaluation of Steering Methods [17.420727709895736]
ステアリング法は、中間活性化にステアリングベクトルを適用することにより、大きな言語モデルを制御するための実践的なアプローチを提供する。
その重要性は増しているが、この分野には、タスクやデータセット間で統一された理解と一貫した評価が欠けている。
本稿では, ステアリング手法を解析・評価し, 基本原理を定式化し, 有効性に関する理論的知見を提供する統一的枠組みを提案する。
論文 参考訳（メタデータ） (2025-02-04T20:55:24Z) - Where Assessment Validation and Responsible AI Meet [0.0876953078294908]
本稿では,古典的テスト検証理論と評価固有のドメインに依存しないRAIの原則と実践を考察する統合評価フレームワークを提案する。
このフレームワークは、妥当性議論をサポートする評価のための責任あるAI使用、人間の価値と監視を維持するためのAI倫理との整合性、そしてAI使用に関連するより広範な社会的責任に対処する。
論文 参考訳（メタデータ） (2024-11-04T20:20:29Z) - A collection of principles for guiding and evaluating large language
models [5.412690203810726]
文献から220の原則のリストを特定し、キュレートし、37のコア原則を7つのカテゴリに分類する。
われわれは、主観的重要性の専門家に異なる原則を課す、小規模の専門家調査を実施している。
原則の共有モデルの開発は、複数の目的を達成することができると想定しています。
論文 参考訳（メタデータ） (2023-12-04T12:06:12Z) - Towards a General Framework for Continual Learning with Pre-training [55.88910947643436]
本稿では,事前学習を用いた逐次到着タスクの連続学習のための一般的な枠組みを提案する。
我々はその目的を,タスク内予測,タスク同一性推論,タスク適応予測という3つの階層的構成要素に分解する。
本稿では,パラメータ効率細調整(PEFT)技術と表現統計量を用いて,これらのコンポーネントを明示的に最適化する革新的な手法を提案する。
論文 参考訳（メタデータ） (2023-10-21T02:03:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。