論文の概要: Position: AI Evaluation Should Learn from How We Test Humans

• arxiv url: http://arxiv.org/abs/2306.10512v4
• Date: Thu, 08 May 2025 03:45:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.456006
• Title: Position: AI Evaluation Should Learn from How We Test Humans
• Title（参考訳）: ポジション:AI評価は人間をテストする方法から学ぶべきだ
• Authors: Yan Zhuang, Qi Liu, Zachary A. Pardos, Patrick C. Kyllonen, Jiyun Zu, Zhenya Huang, Shijin Wang, Enhong Chen,
• Abstract要約: 人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
• 参考スコア（独自算出の注目度）: 65.36614996495983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As AI systems continue to evolve, their rigorous evaluation becomes crucial for their development and deployment. Researchers have constructed various large-scale benchmarks to determine their capabilities, typically against a gold-standard test set and report metrics averaged across all items. However, this static evaluation paradigm increasingly shows its limitations, including high evaluation costs, data contamination, and the impact of low-quality or erroneous items on evaluation reliability and efficiency. In this Position, drawing from human psychometrics, we discuss a paradigm shift from static evaluation methods to adaptive testing. This involves estimating the characteristics or value of each test item in the benchmark, and tailoring each model's evaluation instead of relying on a fixed test set. This paradigm provides robust ability estimation, uncovering the latent traits underlying a model's observed scores. This position paper analyze the current possibilities, prospects, and reasons for adopting psychometrics in AI evaluation. We argue that psychometrics, a theory originating in the 20th century for human assessment, could be a powerful solution to the challenges in today's AI evaluations.
• Abstract（参考訳）: AIシステムが進化を続けるにつれて、その厳格な評価が開発とデプロイメントに不可欠になる。 研究者は、様々な大規模なベンチマークを構築して、その能力を決定する。 しかし、この静的評価パラダイムは、高い評価コスト、データ汚染、品質の低い項目や誤った項目が評価の信頼性と効率に与える影響など、その限界をますます示している。 本稿では,人間の心理指標から,静的評価法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性や値を推定し、固定されたテストセットに頼るのではなく、各モデルの評価を調整することが含まれる。 このパラダイムは、モデルが観測したスコアの根底にある潜在特性を明らかにする、堅牢な能力推定を提供する。 このポジションペーパーは、AI評価に心理測定を導入するための現在の可能性、可能性、および理由を分析する。 人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。

関連論文リスト

• B-RIGHT: Benchmark Re-evaluation for Integrity in Generalized Human-Object Interaction Testing [18.822653709976784]
  人間と物体の相互作用(HOI)は人工知能(AI)において不可欠な問題である HICO-DETのような現在のベンチマークは以下の制限に直面している。 一般対象インタラクションテスト(B-RIGHT)における統合性のベンチマーク再評価という,新たなクラスバランスデータセットを提案する。
  論文  参考訳（メタデータ） (2025-01-28T06:04:08Z)
• Human-Calibrated Automated Testing and Validation of Generative Language Models [3.2855317710497633]
  本稿では,ジェネレーティブ言語モデル(GLM)の評価と検証のための包括的枠組みを提案する。 銀行などの高額な領域に展開される検索・拡張世代(RAG)システムに焦点を当てている。
  論文  参考訳（メタデータ） (2024-11-25T13:53:36Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments [2.1370543868467275]
  本稿では,大規模言語モデルと人的評価を協調させる手法について検討する。 我々はこのバイアスを定量化するためにベイズ統計とt検定を用い、GPTScorerを調整するための再校正手順を開発した。 以上の結果から,再校正したLCM評価器と,複数のユースケースにおけるヒト評価との整合性は有意に改善した。
  論文  参考訳（メタデータ） (2024-07-05T09:26:40Z)
• Adaptive Testing Environment Generation for Connected and Automated Vehicles with Dense Reinforcement Learning [7.6589102528398065]
  複数のサロゲートモデルを組み込んだアダプティブテスト環境を構築する。 そこで本研究では,高効率な高密度強化学習手法を提案し,新しい適応政策を考案する。
  論文  参考訳（メタデータ） (2024-02-29T15:42:33Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
  大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。 モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。 評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
  論文  参考訳（メタデータ） (2023-11-03T14:59:54Z)
• From Adversarial Arms Race to Model-centric Evaluation: Motivating a Unified Automatic Robustness Evaluation Framework [91.94389491920309]
  テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。 既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。 我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-29T14:55:20Z)
• Uncertainty-Driven Action Quality Assessment [67.20617610820857]
  本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。 我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。 提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
  論文  参考訳（メタデータ） (2022-07-29T07:21:15Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。