論文の概要: Are LLM Assistants Regulatory Ready? Answers from regenold's 2026 EU AI Act Q&A Challenge
- arxiv url: http://arxiv.org/abs/2611.04546v1
- Date: Tue, 03 Nov 2026 09:12:05 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:47:44.40934
- Title: Are LLM Assistants Regulatory Ready? Answers from regenold's 2026 EU AI Act Q&A Challenge
- Title（参考訳）: LLMアシスタントは準備が整っているか? Regenoldの2026年のEU AI Act Q&Aチャレンジからの回答
- Abstract要約: 大規模言語モデル(LLM)アシスタントは、規制上の問題に対してますます提案されているが、規制業務における信頼性はまだ不明である。
我々は、EU AI Actに関する110のオープンエンド質問のエキスパートによるベンチマークである、EU AI Act Q&Aベンチマークを紹介する。
結果は、専門的な開発だけではパフォーマンスが保証されないことを示している。
- 参考スコア（独自算出の注目度）: 1.0323063834827415
- License:
- Abstract: Large language model (LLM) assistants are increasingly proposed for regulatory affairs, yet their reliability in regulatory tasks remains unclear. We introduce the EU AI Act Q&A Benchmark, an expert-curated benchmark of 110 open-ended questions about the EU AI Act (Regulation (EU) 2024/1689). Each question comes with an exemplary answer, question-specific correctness criteria, and expected references. Evaluation measures answer correctness, reference quality, conciseness, tone, and latency, with a multi-turn ``hard mode'' testing responses to simulated user pushback. We also present the results of the 2026 EU AI Act Q&A Challenge, based on the benchmark, where three off-the-shelf baselines and five purpose-built assistants (from four commercial developers and one academic entrant) were tested. Only two of the five submitted assistants consistently outperformed the baselines; one achieved high scores across all evaluated metrics. These results show that specialist development alone does not guarantee better performance and highlight the critical importance of LLM assistant evaluation in regulatory affairs. The benchmark code is openly available at https://github.com/regenold-GmbH/eu-ai-act-benchmark-2026/.
- Abstract（参考訳）: 大規模言語モデル(LLM)アシスタントは、規制上の問題に対してますます提案されているが、規制業務における信頼性はまだ不明である。
我々は、EU AI Act (EU) 2024/1689に関する110のオープンエンド質問のエキスパートによるベンチマークである、EU AI Act Q&Aベンチマークを紹介する。
各質問には、模範的な回答、質問固有の正確性基準、期待される参照が付属する。
評価は、シミュレーションされたユーザプッシュバックに対する、マルチターン ``hard mode'' テスト応答で、正確性、参照品質、簡潔性、トーン、レイテンシに答える。
また、2026年のEU AI Act Q&A Challengeの結果も提示し、このベンチマークに基づいて、3つのオフザシェルフベースラインと5つの目的のアシスタント(4人の商用開発者と1人の学術関係者)がテストされた。
5つあるアシスタントのうち2つだけが一貫してベースラインを上回り、1つは評価されたすべての指標で高いスコアを得た。
これらの結果から,専門的開発だけでは優れた性能を保証せず,規制面でのLLMアシスタント評価の重要性が強調されている。
ベンチマークコードはhttps://github.com/regenold-GmbH/eu-ai-act-benchmark-2026/で公開されている。
関連論文リスト
- TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。
しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。
固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
論文 参考訳（メタデータ） (2026-10-07T07:58:04Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Who is the richest club in the championship? Detecting and Rewriting Underspecified Questions Improve QA Performance [6.511402661783843]
大規模言語モデル(LLM)は、適切な質問に対してうまく機能するが、標準的なQA(QA)ベンチマークは解決には程遠い。
このギャップは、部分的には未特定な質問によるものであり、追加のコンテキストなしでは解釈が一意に決定できないクエリである、と我々は主張する。
論文 参考訳（メタデータ） (2026-02-12T13:36:23Z) - RubberDuckBench: A Benchmark for AI Coding Assistants [5.198865387380684]
RubberDuckBench: コードに関する質問のベンチマークと、回答を評価するための詳細なルーリックを紹介します。
これらの疑問に答える上で,我々は20のLLM(プロパティおよびオープンソース)を多種多様なセットで評価する。
Grok 4 (69.29%)、Claude Opus 4 (68.5%)、GPT-5 (67.8%) は総合的に最高の成績を上げているが、次の9つの最高のパフォーマンスモデルよりも2倍の優位性を示すことはない。
論文 参考訳（メタデータ） (2026-01-23T05:28:48Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳（メタデータ） (2025-12-31T13:55:54Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳（メタデータ） (2025-11-27T07:20:52Z) - LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。
このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。
この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
論文 参考訳（メタデータ） (2025-05-19T08:48:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。