論文の概要: Generative Responsible AI Data Evaluation Schema (GRAIDES) for AI Assurance in Local Government

• arxiv url: http://arxiv.org/abs/2606.20963v1
• Date: Thu, 18 Jun 2026 22:00:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 11:33:33.223524
• Title: Generative Responsible AI Data Evaluation Schema (GRAIDES) for AI Assurance in Local Government
• Title（参考訳）: 地方自治体におけるAI保証のための生成責任AIデータ評価スキーマ(GRAIDES)
• Authors: Ethan Knights, Christopher Conlan, Temilorun Gbolahan, Stephen Waterman, Gurpreet Muctor,
• Abstract要約: GRAIDES(Generative Responsible Data Evaluation)は、AI観測可能性の集中化を目的とした軽量なオープンソースデータモデルである。 コード、アーキテクチャ、統計的評価の実践的青写真は、生成系保証へのアプローチに関するガイダンスとして共有されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Trust in the application of generative Artificial Intelligence (AI) relies on well-governed measurable evidence of performance and safety. In practice, however, evaluation data is often fragmented across systems, inconsistently structured and difficult to compare. We introduce the Generative Responsible AI Data Evaluation Schema (GRAIDES) as a lightweight open-source data model for centralising AI observability across popular vendors. Practical blueprints for code, architecture and statistical evaluation are shared as guidance about how to approach generative system assurance at the organisational level. Illustrative case study results are reported from Westminster City Council's AI catalogue with a focus on measuring human-model alignment including detecting systematic disagreement between evaluators. By framing evaluations as a data modelling problem, GRAIDES provides a practical pathway toward more consistent and reproducible benchmarking, tuning and assurance activities for generative AI systems.
• Abstract（参考訳）: 生成人工知能(AI)の応用に対する信頼は、性能と安全性の十分な測定可能な証拠に依存している。 しかし実際には、評価データはシステム間で断片化され、一貫性が無く、比較が難しい。 GRAIDES(Generative Responsible AI Data Evaluation Schema)は,一般的なベンダ間でAI観測可能性の集中化を目的とした,軽量なオープンソースデータモデルである。 コード、アーキテクチャ、統計的評価のための実践的な青写真は、組織レベルで生成系保証にアプローチする方法のガイダンスとして共有されている。 ウェストミンスター市議会のAIカタログから、評価者間の系統的不一致を検出することを含む、人間のモデルアライメントを測定することに焦点を当てた事例研究結果が報告されている。 データモデリング問題として評価をフレーミングすることで、GRAIDESは、生成AIシステムのためのより一貫性があり再現可能なベンチマーク、チューニング、保証活動への実践的な経路を提供する。

関連論文リスト

• AutoMIA: Improved Baselines for Membership Inference Attack via Agentic Self-Exploration [49.050688065974605]
  メンバーシップ推論攻撃(MIAs)は、機械学習モデルにおけるトレーニングデータの漏洩を評価するための基本的な監査ツールである。 本稿では,自己探索と戦略進化の自動化プロセスとして,メンバーシップ推論を再構築するエージェントフレームワークであるAutoMIAを提案する。
  論文  参考訳（メタデータ） (2026-04-01T15:17:45Z)
• UniDial-EvalKit: A Unified Toolkit for Evaluating Multi-Faceted Conversational Abilities [70.79422099851506]
  対話型AIシステム評価のための統合評価ツールキットUniDial-EvalKit(UDE)を提案する。 UDEは異種データフォーマットを普遍的なスキーマに標準化し、モジュールアーキテクチャを通じて複雑な評価パイプラインを合理化し、一貫したスコアリングインターフェースの下でメートル法計算を調整する。
  論文  参考訳（メタデータ） (2026-03-24T13:01:31Z)
• An AI Implementation Science Study to Improve Trustworthy Data in a Large Healthcare System [1.6881002551798014]
  本研究では,大規模多施設小児科システムであるSingers Childrens (SCs) におけるAI導入事例について述べる。 我々は,Pythonベースのデータ品質評価ツールをSCsインフラストラクチャと互換性を持ち,OHDsiのR/Javaベースのデータ品質ダッシュボードを拡張した。 また,FHIR標準を用いた顎顔面マイクロソミー(CFM)の体系的およびケース特異的AI実装戦略の比較を行った。
  論文  参考訳（メタデータ） (2025-12-01T14:21:16Z)
• Creative Adversarial Testing (CAT): A Novel Framework for Evaluating Goal-Oriented Agentic AI Systems [0.0]
  CAT(Creative Adversarial Testing)は、エージェントAIタスクとシステムの意図する目的との間の複雑な関係をキャプチャして分析するために設計された、新しいアプローチである。 我々は、Alexa+オーディオサービスに倣った合成相互作用データを用いて、CATフレームワークを広範囲にシミュレーションすることで検証する。 我々の結果は、CATフレームワークが目標とタスクのアライメントに関する前例のない洞察を提供し、エージェントAIシステムのより効率的な最適化と開発を可能にしていることを実証している。
  論文  参考訳（メタデータ） (2025-09-26T23:52:20Z)
• Variance-Bounded Evaluation of Entity-Centric AI Systems Without Ground Truth: Theory and Measurement [0.0]
  本稿では,エンティティ中心型AIシステムのための分散境界評価フレームワークであるVB-Scoreを紹介する。 VB-Scoreは制約緩和とモンテカルロサンプリングを通じて可算解釈を列挙する。 そして、システムの堅牢性を評価するために、システムアウトプットを解釈を越えて予測される成功によって評価し、分散によって罰する。
  論文  参考訳（メタデータ） (2025-09-26T07:54:38Z)
• Demographic Benchmarking: Bridging Socio-Technical Gaps in Bias Detection [0.0]
  本稿では、ITTACA AI監査プラットフォームが、AIレコメンデータシステムの監査において、階層的ベンチマークにどのように取り組むかを説明する。 フレームワークは、単に測定するだけでなく、特定のパフォーマンス指標の許容範囲を確立することができるので、監査役として役立ちます。 我々のアプローチは、社会デマトグラフィーの洞察を直接AIシステムに統合し、バイアスを減らし、全体的なパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2025-01-27T12:14:49Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。