論文の概要: Open Benchmark of AI Impact on Humans (ImpactBench): an expert-guided, open platform for the holistic evaluation of AI impact on humans

• arxiv url: http://arxiv.org/abs/2610.20690v1
• Date: Wed, 14 Oct 2026 17:42:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.993768
• Title: Open Benchmark of AI Impact on Humans (ImpactBench): an expert-guided, open platform for the holistic evaluation of AI impact on humans
• Title（参考訳）: AI Impact on Humans (ImpactBench):AI影響の総合評価のための専門家主導のオープンプラットフォーム
• Abstract要約: 我々は、AI Impact on HumansまたはImpactBenchのオープンベンチマークを紹介する。 我々の反復的かつ専門家主導型プラットフォームは、モデル行動が個人の幸福を損なうかどうかを評価する。 以上の結果から,モデルでは68.7%で望ましい行動が促進されたが,53.1%で危害は回避された。
• 参考スコア（独自算出の注目度）: 22.257867873524518
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The present work is concerned with how to measure, at scale, the multi-dimensional impact of generative AI models on the individuals who use them. In service of this goal, we introduce the Open Benchmark of AI Impact on Humans, or ImpactBench. Our iterable and expert-guided platform evaluates whether model behaviors support or undermine an individual's wellbeing across psychological, physical, and social domains. ImpactBench translates constructs from domain experts and existing benchmarks into metrics that are grounded in actual model behavior. Success on these metrics occurs either when a model promotes expert-defined desirable behaviors or avoids identified harms. Models are evaluated against these metrics in simulated multi-turn conversations using matched teen and adult scenarios. The conversations are then scored by an LLM judge and verified through reliability audits and human expert review. The current suite delivers 809 metrics drawn from 26 benchmarks. We evaluated ten frontier LLMs against these metrics across 48,540 conversations. Our results indicate that models promoted desirable behaviors in 68.7% of evaluations, but avoided harms in only 53.1%. Majority expert ratings agreed with the automated judge in 83.3% of reviewed cases (Cohen's Kappa = 0.667). Results are released through a public platform that keep aggregate scores traceable to the underlying metrics and transcripts. ImpactBench is intended as evolving infrastructure for independent, transparent evaluation of generative AI's multi-dimensional impact on humans.
• Abstract（参考訳）: 本研究は、生成型AIモデルの多次元的影響を大規模に測定する方法に関するものである。 この目標を達成するために、私たちは、AI Impact on HumansまたはImpactBenchのオープンベンチマークを紹介します。 我々の反復的かつ専門家主導型プラットフォームは、モデル行動が心理的、物理的、社会的領域にわたる個人の幸福を支えているか、損なうかを評価する。 ImpactBenchは、ドメインの専門家と既存のベンチマークから、実際のモデルの振る舞いに基づいたメトリクスに変換する。 これらのメトリクスの成功は、モデルが専門家が定義した望ましい振る舞いを促進するか、特定された害を避けるかのいずれかで起こります。 一致したティーンと成人のシナリオを用いて、シミュレーションされたマルチターン会話において、これらの指標に対してモデルを評価する。 会話はLLMの審査員によって行われ、信頼性監査と人間の専門家によるレビューを通じて検証される。 現在のスイートでは、26のベンチマークから抽出された809のメトリクスが提供されている。 我々は,48,540対の会話において,これらの指標に対して10のフロンティアLSMを評価した。 以上の結果から,モデルでは68.7%で望ましい行動が促進されたが,53.1%で危害は回避された。 多数派は審査ケースの83.3%(コーエンのカッパ=0.667)で自動審査員と一致した。 結果は、基盤となるメトリクスと書き起こしにトレース可能なアグリゲーションスコアを保持するパブリックプラットフォームを通じてリリースされる。 ImpactBenchは、生成AIが人間に与える影響を独立して透明に評価するためのインフラの進化を意図している。

関連論文リスト

• BehaviorBench: Modeling Real-World User Decisions from Behavioral Traces [53.55407626944686]
  textscBehaviorBenchは、実世界の行動トレースからパーソナライズされた意思決定モデリングを評価するためのベンチマークである。 textscBehaviorBenchは、公開市場とオンチェーンの記録からウォレットレベルの意思決定履歴を再構築する。 2,000以上の評価ウォレットで、ベンチマークには141,445のBeliefインスタンスと1,485,972のTradeインスタンスが含まれている。
  論文  参考訳（メタデータ） (2026-06-01T19:04:36Z)
• Large Language Models Often Know When They Are Being Evaluated [0.015534429177540245]
  そこで本研究では,フロンティア言語モデルを用いて,評価や実世界の展開に起因した書き起こしを正確に分類できるかどうかを検討する。 我々は61の異なるデータセットから1000のプロンプトと書き起こしのベンチマークを構築した。 以上の結果から,フロンティアモデルにはまだ評価・認識レベルがかなり高いことが示唆された。
  論文  参考訳（メタデータ） (2025-05-28T12:03:09Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback [80.57617091714448]
  テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。 LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。