論文の概要: REBAR: Reference Ethical Benchmark for Autonomy Readiness

• arxiv url: http://arxiv.org/abs/2605.18423v1
• Date: Mon, 18 May 2026 13:56:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.694457
• Title: REBAR: Reference Ethical Benchmark for Autonomy Readiness
• Title（参考訳）: REBAR: 自律性のための基準倫理ベンチマーク
• Authors: Jonathan Diller, David Barnes, Rebekah Bogdanoff, Rhett Collier, Roddy Collins, Keith Fieldhouse, Yonatan Gefen, Cameron Johnson, Anuriha Kodali, Brad Kriel, Varun Murali, James Niehaus, Mish Sukharev, Joseph VanPelt, Anthony Hoogs, Vijay Kumar, Arslan Basharat,
• Abstract要約: 本稿では,自律システムのための定量的テストおよび評価フレームワークであるReference Ethical Benchmark for Autonomy Readiness (REBAR)を紹介する。 REBARは、運用メトリクスを、倫理的パフォーマンスを定量化できる計算可能な自律性レベル(ARL)にマッピングする。 このフレームワークの主な革新は、シナリオの倫理的困難を計算し、説明するための、ニューロシンボリックな大規模言語モデル(LLM)アプローチである。
• 参考スコア（独自算出の注目度）: 7.074395078077516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As autonomous systems grow more advanced, objective metrics to evaluate their ethical and legal compliance are critical for informing end users of their limitations and ensuring accountability of those who misuse them. Current ethical embodied AI frameworks remain mostly qualitative, focusing on system design (through safety guardrails or targeted red teaming), and the realized guardrails often directly disallow unsafe behavior without providing the user with an override or interpretable reason. Instead, there is a need for computable metrics through rigorous testing that allow a user to determine the applicability of the system to the task. To address this gap, we introduce the Reference Ethical Benchmark for Autonomy Readiness (REBAR), a quantitative test and evaluation framework for autonomous systems. REBAR maps operating metrics into a computable Autonomy Readiness Level (ARL) rubric that can quantify ethical performance. Key innovations of the framework include a neuro-symbolic Large Language Model (LLM) approach to calculate and explain the ethical difficulty of scenarios, LLM-driven at-scale generation of test instances, and a versatile, photorealistic simulation environment. By evaluating white-box autonomy solutions through this rigorous testing pipeline, REBAR delivers an objective and repeatable benchmark score, bridging the gap between abstract principles and verifiable, accountable autonomy.
• Abstract（参考訳）: 自律システムの高度化に伴い、倫理的および法的コンプライアンスを評価する客観的指標は、エンドユーザに制限を通知し、それらを誤用した人の説明責任を保証するために重要である。 現在の倫理的具体化されたAIフレームワークは、主に質的であり、システム設計(安全ガードレールや標的となるレッドチーム)に重点を置いている。 その代わり、厳密なテストを通じて計算可能なメトリクスが必要であるため、ユーザはタスクへのシステムの適用性を決定することができる。 このギャップに対処するために、自律システムのための定量的テストおよび評価フレームワークであるReference Ethical Benchmark for Autonomy Readiness (REBAR)を導入する。 REBARは、運用メトリクスを、倫理的パフォーマンスを定量化できる計算可能なオートノミー準備レベル(ARL)ルーリックにマッピングする。 このフレームワークの主な革新は、シナリオの倫理的難しさを計算し、説明するための、ニューロシンボリックなLarge Language Model (LLM)アプローチ、LLM駆動の大規模テストインスタンスの生成、多目的でフォトリアリスティックなシミュレーション環境である。 この厳格なテストパイプラインを通じて、ホワイトボックスの自律性ソリューションを評価することで、REBARは客観的で繰り返し可能なベンチマークスコアを提供し、抽象原則と検証可能な説明可能な自律性の間のギャップを埋める。

関連論文リスト

• Agentic AI for Self-Driving Laboratories in Soft Matter: Taxonomy, Benchmarks,and Open Challenges [8.153488410654004]
  自動運転研究所(SDL)は、実験設計、自動実行、データ駆動意思決定の間のループを閉じる。 この調査は、ソフトマターを代表的設定として使用するが、実際の研究室で発生するAI質問に焦点を当てる。
  論文  参考訳（メタデータ） (2026-01-25T17:44:19Z)
• The Shadow Self: Intrinsic Value Misalignment in Large Language Model Agents [37.75212140218036]
  コントロの損失リスクを定式化し、これまで過小評価されていた内因性価値の相違(内因性VM)を識別する。 次に、このリスクを体系的に評価するシナリオ駆動フレームワークであるIMPRESSを紹介します。 我々は,21種類のLLMエージェント上での固有のVMの評価を行い,モデル間での安全性のリスクが広く見られることを発見した。
  論文  参考訳（メタデータ） (2026-01-24T07:09:50Z)
• SSR: Socratic Self-Refine for Large Language Model Reasoning [78.62319252287938]
  Socratic Self-Refine (SSR)は、大規模言語モデル(LLM)のきめ細かい評価と精度向上のための新しいフレームワークである。 提案したSSRはモデル応答を検証可能な(サブクエスト,サブサブアンサー)ペアに分解し,ステップレベルの信頼度推定を可能にする。 5つの推論ベンチマークと3つのLCMによる実証的な結果から、SSRは一貫して最先端の反復的自己修正ベースラインを上回っていることが分かる。
  論文  参考訳（メタデータ） (2025-11-13T18:47:07Z)
• Variance-Bounded Evaluation of Entity-Centric AI Systems Without Ground Truth: Theory and Measurement [0.0]
  本稿では,エンティティ中心型AIシステムのための分散境界評価フレームワークであるVB-Scoreを紹介する。 VB-Scoreは制約緩和とモンテカルロサンプリングを通じて可算解釈を列挙する。 そして、システムの堅牢性を評価するために、システムアウトプットを解釈を越えて予測される成功によって評価し、分散によって罰する。
  論文  参考訳（メタデータ） (2025-09-26T07:54:38Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [41.19330514054401]
  大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。 本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
  大きな言語モデル(LLM)は予測不能に失敗することが多い。 これは、安全なデプロイメントを保証する上で、大きな課題となる。 PredictaBoardは,新しいベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T10:52:38Z)
• Can LLMs Hack Enterprise Networks? Autonomous Assumed Breach Penetration-Testing Active Directory Networks [1.3124479769761592]
  本稿では,Large Language Model (LLM) 駆動自律システムを用いた新しいプロトタイプを提案する。 我々のシステムは、完全に自律的でLLM駆動のフレームワークがアカウントを妥協できる最初の実演である。 関連するコストは、プロフェッショナルな人間のペンテスト担当者によって引き起こされるコストと競合し、しばしばかなり低いことが分かりました。
  論文  参考訳（メタデータ） (2025-02-06T17:12:43Z)
• Demographic Benchmarking: Bridging Socio-Technical Gaps in Bias Detection [0.0]
  本稿では、ITTACA AI監査プラットフォームが、AIレコメンデータシステムの監査において、階層的ベンチマークにどのように取り組むかを説明する。 フレームワークは、単に測定するだけでなく、特定のパフォーマンス指標の許容範囲を確立することができるので、監査役として役立ちます。 我々のアプローチは、社会デマトグラフィーの洞察を直接AIシステムに統合し、バイアスを減らし、全体的なパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2025-01-27T12:14:49Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。