論文の概要: Evaluating Human-AI Safety: A Framework for Measuring Harmful Capability Uplift
- arxiv url: http://arxiv.org/abs/2603.26676v1
- Date: Fri, 06 Mar 2026 20:29:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 02:36:13.063289
- Title: Evaluating Human-AI Safety: A Framework for Measuring Harmful Capability Uplift
- Title（参考訳）: 人間とAIの安全性を評価する: 有害な能力向上を測るフレームワーク
- Abstract要約: AIの安全性研究は、有害な能力向上を測定する人間中心の評価に焦点を当てるべきである、と私たちは主張する。
我々は,AIの安全性基準として有害な能力向上と,それ以前の社会科学研究に基礎を置いて,体系的な測定のための具体的な方法論的ガイダンスを提供する。
- 参考スコア（独自算出の注目度）: 1.8745896714491426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current frontier AI safety evaluations emphasize static benchmarks, third-party annotations, and red-teaming. In this position paper, we argue that AI safety research should focus on human-centered evaluations that measure harmful capability uplift: the marginal increase in a user's ability to cause harm with a frontier model beyond what conventional tools already enable. We frame harmful capability uplift as a core AI safety metric, ground it in prior social science research, and provide concrete methodological guidance for systematic measurement. We conclude with actionable steps for developers, researchers, funders, and regulators to make harmful capability uplift evaluation a standard practice.
- Abstract（参考訳）: 現在のフロンティアAIの安全性評価では、静的ベンチマーク、サードパーティアノテーション、赤チームを重視している。
このポジションペーパーでは、AIの安全性研究は、有害な能力向上を測定する人間中心の評価に焦点を当てるべきである、と論じている。
我々は,AIの安全性基準として有害な能力向上と,それ以前の社会科学研究に基礎を置いて,体系的な測定のための具体的な方法論的ガイダンスを提供する。
我々は、開発者、研究者、資金提供者、規制当局に対して、有害な能力向上評価を標準的慣行とする実行可能なステップで締めくくります。
関連論文リスト
- How should AI Safety Benchmarks Benchmark Safety? [10.00492155071077]
安全ベンチマークにおける共通課題をマップする210の安全ベンチマークのレビューを行う。
我々は、確立されたリスク管理原則に従うことで、AI安全ベンチマークの有効性と有用性を大幅に向上させることができると論じる。
論文 参考訳（メタデータ） (2026-01-30T15:58:59Z) - SafeRBench: A Comprehensive Benchmark for Safety Assessment in Large Reasoning Models [60.8821834954637]
LRMの安全性をエンドツーエンドに評価する最初のベンチマークであるSafeRBenchを紹介する。
私たちは、リスクカテゴリとレベルを入力設計に組み込んだ先駆者です。
我々は,長い推論トレースを意味的に一貫性のある単位にセグメント化するためのマイクロシンクのチャンキング機構を導入する。
論文 参考訳（メタデータ） (2025-11-19T06:46:33Z) - Safety by Measurement: A Systematic Literature Review of AI Safety Evaluation Methods [0.0]
この文献レビューは、急速に進化するAI安全性評価の分野を集約する。
それは、どの特性を計測するか、どのように測定するか、そしてこれらの測定がフレームワークにどのように統合されるかという、3つの次元に関する体系的な分類法を提案する。
論文 参考訳（メタデータ） (2025-05-08T16:55:07Z) - An Approach to Technical AGI Safety and Security [72.83728459135101]
我々は、人類を著しく傷つけるのに十分な害のリスクに対処するアプローチを開発する。
私たちは、誤用や悪用に対する技術的なアプローチに重点を置いています。
これらの成分を組み合わせてAGIシステムの安全性を実現する方法について概説する。
論文 参考訳（メタデータ） (2025-04-02T15:59:31Z) - What AI evaluations for preventing catastrophic risks can and cannot do [2.07180164747172]
評価は、現在のパラダイムでは克服できない基本的な制限に直面している、と我々は主張する。
これは、評価が価値のあるツールである一方で、AIシステムが安全であることを保証する主要な方法として、評価に頼るべきではないことを意味します。
論文 参考訳（メタデータ） (2024-11-26T18:00:36Z) - Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。
我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
論文 参考訳（メタデータ） (2024-07-31T17:59:24Z) - Towards Safer Generative Language Models: A Survey on Safety Risks,
Evaluations, and Improvements [76.80453043969209]
本調査では,大規模モデルに関する安全研究の枠組みについて述べる。
まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。
トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
論文 参考訳（メタデータ） (2023-02-18T09:32:55Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - Evaluating the Safety of Deep Reinforcement Learning Models using
Semi-Formal Verification [81.32981236437395]
本稿では,区間分析に基づく半形式的意思決定手法を提案する。
本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。
提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
論文 参考訳（メタデータ） (2020-10-19T11:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。