論文の概要: ASSERT: A Measurement Pipeline for GenAI Audits
- arxiv url: http://arxiv.org/abs/2608.13840v1
- Date: Fri, 14 Aug 2026 00:07:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.226304
- Title: ASSERT: A Measurement Pipeline for GenAI Audits
- Title（参考訳）: ASSERT:GenAI監査のための計測パイプライン
- Abstract要約: ASSERTは振る舞いのルーリックとテストケースのドラフトを支援し、GenAIシステムに対する監査を実行し、報告されたレートを返す。
報告されたレートは,対話設定,シミュレーションユーザ,審査員,非準拠のエビデンスバーなどと大きく一致している。
報告された各レートは明示的な仕様に結びついているので、監査間の差異は、属性や解釈が容易である。
- 参考スコア（独自算出の注目度）: 7.0522906865159944
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Audits of generative AI (GenAI) systems often summarize behavior as a reported rate: how often the audited system complies with policy. Researchers and stakeholders use that rate to compare systems, track regressions, and gate deployment. A reported rate reflects both the system under audit and the measurement choices behind it, so a change in the rate can leave it unclear whether the system or those choices moved. We introduce ASSERT, a specification-driven measurement pipeline for GenAI audits that ties each reported rate to a written specification of the measurement choices used to produce it. ASSERT helps draft a behavioral rubric and test cases, then runs the audit against a GenAI system and returns a reported rate. In a case study on conversational deception, we observe that the reported rate moves substantially with the dialogue setup, the simulated user, the judge, and the evidence bar for non-compliance. These measurement choices substantially change the reported rate and can reorder GenAI system rankings. Because each reported rate is tied to an explicit specification, differences across audits are easier to attribute and interpret.
- Abstract（参考訳）: ジェネレーティブAI(GenAI)システムの監査者は、しばしば振る舞いを報告された率として要約する: 監査されたシステムがポリシーにどの程度の頻度で準拠するか。
研究者とステークホルダーは、システムの比較、回帰の追跡、ゲートの配置にこのレートを使用します。
報告されたレートは、監査対象のシステムと、その背後にある測定選択の両方を反映しているため、そのレートの変化によって、システムまたはそれらの選択が移動したかどうかがはっきりしない。
我々は,GenAI監査のための仕様駆動計測パイプラインであるASSERTを紹介した。
ASSERTは振る舞いのルーリックとテストケースのドラフトを支援し、GenAIシステムに対する監査を実行し、報告されたレートを返す。
会話の騙しに関するケーススタディでは、報告された割合は、対話設定、シミュレーションユーザ、審査員、非準拠のエビデンスバーと大きく一致している。
これらの測定選択は報告されたレートを大幅に変更し、GenAIシステムランキングをリオーダーすることができる。
報告された各レートは明示的な仕様に結びついているので、監査間の差異は、属性や解釈が容易である。
関連論文リスト
- Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - SENTRY: Deterministic, Intelligent Risk Assessment for IT Change Management [3.6992654014782516]
本稿では,アンケートに基づくスコアリングを決定論的機械学習パイプラインに置き換えるリスク評価プラットフォームであるSENTRYを提案する。
このシステムは、構造化された運用メタデータ、アプリケーション依存グラフ、過去のインシデント記録と、履歴変更要求に対するハイブリッドなセマンティクスと語彙検索を組み合わせる。
ROC AUCは0.87と85%の精度で達成され、既存のプロセスの約3.25倍のリスク変化を検出する。
論文 参考訳（メタデータ） (2026-08-21T15:18:21Z) - Context and Symmetry in Auditing: A Case Study of Skeleton Inference in Motion Capture [6.279749738323978]
AI監査を実施するには、システムがどのように振る舞うかを特定し、実際のシステムの振る舞いを観察し記録する必要がある。
これは文脈監査(contextual audit)を通じて行うのが最善である、と我々は論じ、それを生成するプラクティスのコンテキスト内で測定を監査する方法として紹介する。
本研究では、文脈監査が、監査プロセスにおいて暗黙的な仮定の尋問を可能にし、監査者が根拠となる真実を明確化できるようにする方法を示す。
論文 参考訳（メタデータ） (2026-08-10T20:12:40Z) - Do Audio Language Models Use Paralinguistic Evidence? Counterfactual Audits for Response Evaluation [21.291909657115607]
パラ言語的応答評価のための対実監査を導入する。
各監査項目は、感情、韻律、あるいは感情的なシフトのタイミングを変化させながら固定された転写文を保持する。
これにより、異なる判断失敗の原因を特定する有用な診断状態が得られる。
論文 参考訳（メタデータ） (2026-08-07T02:24:12Z) - AuditWeave: A Tamper-Evident, Auditor-Navigable Evidence Layer for AI-Assisted and Data-Transformation Workflows [0.0]
AuditWeaveは、AIアシストとデータ変換のステップを1つのハッシュチェーンの台帳に記録する軽量Pythonライブラリである。
本稿では,参照実装におけるオーバヘッド,拡張性,タンパー検出の正確さを設計し,評価する。
論文 参考訳（メタデータ） (2026-06-14T21:46:04Z) - Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。
本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
論文 参考訳（メタデータ） (2025-03-07T22:09:47Z) - ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems [46.522527144802076]
本稿では,RAGシステム評価のための自動RAG評価システムであるARESを紹介する。
ARESは軽量LM判定器を微調整し、個々のRAG成分の品質を評価する。
コードとデータセットをGithubで公開しています。
論文 参考訳（メタデータ） (2023-11-16T00:39:39Z) - SQUARE: Automatic Question Answering Evaluation using Multiple Positive
and Negative References [73.67707138779245]
SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。
文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
論文 参考訳（メタデータ） (2023-09-21T16:51:30Z) - End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。
標準メトリクスは、現れる可能性のある不整合を考慮していない。
本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
論文 参考訳（メタデータ） (2023-01-14T15:43:07Z) - Quality-Based Conditional Processing in Multi-Biometrics: Application to
Sensor Interoperability [63.05238390013457]
2007年のバイオセキュリティ・マルチモーダル・アセスメント・キャンペーンにおいて,ATVS-UAM融合手法を品質ベースで評価し,評価を行った。
我々のアプローチは線形ロジスティック回帰に基づいており、融合したスコアはログライクな比率になる傾向にある。
その結果,提案手法はルールベースの核融合方式よりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-11-24T12:11:22Z) - Re-Examining System-Level Correlations of Automatic Summarization
Evaluation Metrics [64.81682222169113]
システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。
システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
論文 参考訳（メタデータ） (2022-04-21T15:52:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。