論文の概要: ADMITBench: A Safety-Governed Reference Framework for Evaluating the Admissibility of Industrial LLM Advisories
- arxiv url: http://arxiv.org/abs/2608.03866v1
- Date: Tue, 04 Aug 2026 16:07:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 17:47:10.508541
- Title: ADMITBench: A Safety-Governed Reference Framework for Evaluating the Admissibility of Industrial LLM Advisories
- Title（参考訳）: ADMITBench:産業用LCMアドバイザリの適合性評価のための安全基準フレームワーク
- Abstract要約: このフレームワークは、バージョン管理された安全管理された評価契約を実装している。
利用可能な証拠によって推奨が支持されるかどうかをチェックする。
これは、評価者、モデル、または植物が安全確認されたという意味ではない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This white paper presents ADMITBench, a reference framework for evaluating industrial LLM advisories at the level of the proposed action. The framework implements a versioned, safety-governed evaluation contract that checks whether a recommendation is supported by the available evidence, permitted under the stated authority and procedure, and acceptable under the plant-specific consequence checks encoded in the selected evaluation profile. In this report, \emph{safety-governed} means that eligibility is determined through explicit, non-compensatory checks derived from a versioned plant profile; it does not mean that the evaluator, model, or plant has been safety-certified. Release 0.1.0 is a public reference implementation for technical and research evaluation, not an authorisation for physical execution.
- Abstract（参考訳）: 本報告では,産業用LCMアドバイザリーの基準フレームワークであるADMITBenchを,提案手法のレベルにおいて提示する。
フレームワークは、利用可能な証拠によって推奨が支持されているかどうかを確認し、規定された権限及び手続きに基づいて許容され、選択された評価プロファイルに符号化された植物固有の結果チェックの下で許容される、バージョン付き安全管理評価契約を実装している。
本報告では、emph{safety-governed} は、バージョン付き植物プロファイルから抽出された明示的で非補償的なチェックによって、適性を決定することを意味するが、これは、評価器、モデル、または植物が安全確認されたという意味ではない。
Release 0.1.0は、物理実行の認可ではなく、技術および研究評価のための公開リファレンス実装である。
関連論文リスト
- PSEBench: A Controllable and Verifiable Benchmark for Evaluating LLMs in Patient Safety Event Triage [11.521711012101102]
患者安全イベントトリアージ(英: patient safety event triage)は、患者安全の専門家が通常手動で行うハイテイクタスクである。
ミネソタ州では29のReportable Adverse Health Eventsでこの方法をインスタンス化しています。
PSEBenchは、エージェント評価環境を備えた5,074ケースのベンチマークである。
論文 参考訳（メタデータ） (2026-06-03T21:41:39Z) - ConsisGuard: Aligning Safety Deliberation with Policy Enforcement in LLM Guardrails [57.25411733152009]
推論に基づくガードレールは、最終的な決定を下す前に明確な合理性を生成することによって安全性のモデレーションを改善する。
モデルは、その推論において有害な意図を認識することができるが、それでも安全なラベルを予測したり、政策を根拠とした正当化なしに安全でない決定を下す。
推論に基づくガードレールのための一貫性を考慮したフレームワークであるConsisGuardを提案する。
論文 参考訳（メタデータ） (2026-05-29T09:42:08Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - The Evaluation Differential: When Frontier AI Models Recognise They Are Being Tested [11.663456969895462]
最近の公表された証拠は、現代のAIモデルが、評価コンテキストを認識し、最近になってそれらを表現し、それらのコンテキスト下では、デプロイメント連続的な条件下でとは異なる振る舞いをすることができることを示している。
これらの結果は、フロンティア評価から引き出された安全結論に対するクレーム正当性問題を生み出していると論じる。
本報告では, 安全クレームのタイプ (ED-stable, ED-degraded, ED-inverted, ED-undetermined) を, 文書発散に基づく保証基準を用いて開発し, TRACE (Test-Recognition Audit for Claim Evaluation) を指定する。
我々は,この枠組みを3件の公文書化された評価事件に遡って適用し,システムカードのガバナンスへの影響,適合性評価,及びガバナンスへの影響について議論する。
論文 参考訳（メタデータ） (2026-05-12T04:13:35Z) - Making AI-Assisted Grant Evaluation Auditable without Exposing the Model [0.0]
本稿では,遠隔検定による要求の整合を支援するTEEアーキテクチャを提案する。
このアーキテクチャにより、外部検証者はどのモデル、ルーブリック、プロンプトテンプレート、入力表現が使われたかをチェックすることができる。
我々は、秘密のAI推論、証明可能なAI監査、ゼロ知識機械学習、アルゴリズムのアカウンタビリティ、AI支援ピアレビューに対する設計を位置付ける。
論文 参考訳（メタデータ） (2026-04-28T04:10:04Z) - SafeRBench: A Comprehensive Benchmark for Safety Assessment in Large Reasoning Models [60.8821834954637]
LRMの安全性をエンドツーエンドに評価する最初のベンチマークであるSafeRBenchを紹介する。
私たちは、リスクカテゴリとレベルを入力設計に組み込んだ先駆者です。
我々は,長い推論トレースを意味的に一貫性のある単位にセグメント化するためのマイクロシンクのチャンキング機構を導入する。
論文 参考訳（メタデータ） (2025-11-19T06:46:33Z) - Counterfactual Evaluation for Blind Attack Detection in LLM-based Evaluation Systems [24.312079827029326]
我々は、ブラインド・アタックと呼ばれる脅威のクラスを形式化し、候補者の答えは、評価者を欺く真の答えとは無関係に作成される。
このような攻撃に対抗するため、我々は標準評価(SE)と対実評価(CFE)を併用したフレームワークを提案する。
システムが標準条件と反事実条件の両方で回答を検証した場合、攻撃が検出される。
論文 参考訳（メタデータ） (2025-07-31T11:29:42Z) - The Scales of Justitia: A Comprehensive Survey on Safety Evaluation of LLMs [57.1838332916627]
大規模言語モデル(LLM)は自然言語処理(NLP)において顕著な能力を示している。
広範囲に展開したことにより、大きな安全上の懸念がもたらされた。
LLMの生成したコンテンツは、特に敵の文脈において、毒性、偏見、誤情報などの安全でない振る舞いを示す。
論文 参考訳（メタデータ） (2025-06-06T05:50:50Z) - Determining Absence of Unreasonable Risk: Approval Guidelines for an Automated Driving System Deployment [1.2499098866326646]
本稿では,不合理なリスクの判定方法の概要について述べる。
準備の整合性の決定は、その中核にある、リスク評価プロセスです。
本稿は, ADS リリースの可読性レビュープロセスの基礎となる方法論的基準を提案する。
論文 参考訳（メタデータ） (2025-05-15T00:52:09Z) - Advancing Neural Network Verification through Hierarchical Safety Abstract Interpretation [52.626086874715284]
我々は、安全でない出力の階層構造を検証する抽象的DNN検証と呼ばれる新しい問題定式化を導入する。
出力到達可能な集合に関する抽象的解釈と推論を活用することにより,形式的検証プロセスにおいて,複数の安全性レベルを評価することができる。
我々の貢献には、新しい抽象的安全性の定式化と既存のアプローチとの関係を理論的に探求することが含まれる。
論文 参考訳（メタデータ） (2025-05-08T13:29:46Z) - SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。
我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。
本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
論文 参考訳（メタデータ） (2024-10-24T17:14:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。