論文の概要: From Values to Benchmarks: Evaluating Large Language Models for Governmental Use in Dutch

• arxiv url: http://arxiv.org/abs/2608.09925v1
• Date: Mon, 10 Aug 2026 17:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.425791
• Title: From Values to Benchmarks: Evaluating Large Language Models for Governmental Use in Dutch
• Title（参考訳）: 価値からベンチマークへ - オランダにおける政府利用のための大規模言語モデルの評価
• Abstract要約: LLM(Grip on LLMs)は、オランダの政府用システム評価スイートである。 我々は6つの評価次元(事実性、正直性、社会的偏見、エネルギー消費、コスト、データ透明性の訓練)を識別する。 それらを30以上の多言語およびオランダ固有のモデルをカバーするベンチマークスイートに運用する。
• 参考スコア（独自算出の注目度）: 28.99138735973746
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly being deployed in governmental settings, yet few existing evaluation frameworks jointly reflect the values of public administration and the linguistic requirements of non-English contexts. We present the "Grip on LLMs" framework, a systematic evaluation suite for Dutch governmental use developed in collaboration with domain experts from a major Dutch municipal organisation. Through an advisory board process, user research, and a survey of the users of a civil-servant chatbot, we identify six evaluation dimensions (factuality, honesty, social bias, energy consumption, cost, and training data transparency) and operationalise them into a benchmark suite covering more than 30 multilingual and Dutch-specific models. Our results reveal that no single model excels across all dimensions, and that trade-offs are unavoidable: higher quality consistently comes at greater environmental impact and financial cost, while bias remains largely independent of both. We further find that factuality (whether a model answers correctly) and honesty (whether a model acknowledges what it does not know) are governed by distinct properties, with high factuality not implying high honesty. To make these findings actionable for non-technical audiences, we release a publicly accessible, user-friendly model overview designed for the full range of stakeholders involved in governmental LLM selection, from engineers to policymakers.
• Abstract（参考訳）: 大規模言語モデルは、政府の設定でますます展開されているが、公共行政の価値と非英語コンテキストの言語要件を共同で反映する既存の評価フレームワークはほとんどない。 本稿では,オランダの主要自治体のドメインエキスパートと共同で開発された,オランダ政府利用の体系的評価スイートである"Grip on LLMs"フレームワークを提案する。 諮問委員会プロセス、ユーザリサーチ、市民サービスチャットボットのユーザ調査を通じて、6つの評価次元(事実性、正直性、社会的偏見、エネルギー消費、コスト、トレーニングデータ透明性)を特定し、30以上の多言語およびオランダ特有のモデルをカバーするベンチマークスイートに運用する。 高い品質は、常に環境への影響と財政コストが増大する一方、バイアスは、両者から大きく独立している。 さらに、事実性(モデルが正しく答えるかどうか)と正直性(モデルが知らないことを認識しているかどうか)は異なる性質によって支配され、高い事実性は高い誠実性を示唆しない。 これらの発見を非技術者の聴衆に有効にするために、私たちは、技術者から政策立案者まで、政府のLLM選択に関わるすべての利害関係者向けに設計された、パブリックアクセス可能な、ユーザフレンドリなモデル概要を公開します。

関連論文リスト

• From Global Benchmarks to Local Evaluations: Benchmarking LLMs for the German Public Sector [0.5154323601107853]
  ドイツ公共セクターの総合評価フレームワークであるMVEの最初の成果を示す。 以上の結果から,すべての次元にわたって優れたモデルが存在しない,大きなトレードオフが明らかとなった。 評価はまた、デプロイメントコンテキストのガバナンス要件を反映するべきです。
  論文  参考訳（メタデータ） (2026-08-18T14:28:33Z)
• Economic Evaluations of Language Models [81.69183693497281]
  EconEvalsは、米国の労働経済におけるタスク、労働活動、職業に関連する能力を測定するためのオープンソースの評価スイートである。 われわれの評価は、米国占領の5%をカバーする既存の最先端技術であるOpenAIのGDPvalベンチマークを500倍のコストでカバーする。 われわれの推計では、現在のモデルでは労働者が仕事の少なくとも半分を47%で相当な時間を節約できる。
  論文  参考訳（メタデータ） (2026-06-26T22:26:40Z)
• MÖVE: A Holistic LLM Benchmark for the German Public Sector [0.5154323601107853]
  MVE(Modelle fr die ffentliche Verwaltung Evaluieren)は、ドイツの公共部門で大規模言語モデル(LLM)を評価するための総合的なベンチマークである。 MVEは2つの相補的な次元にわたる39のモデルを評価することでこれらのギャップに対処する。 我々は、古典的NLPメトリクス、埋め込み方式、LCM-as-a-judgeアプローチを組み合わせたマルチメトリック評価戦略を採用する。
  論文  参考訳（メタデータ） (2026-06-11T09:37:45Z)
• The CitizenQuery Benchmark: A Novel Dataset and Evaluation Pipeline for Measuring LLM Performance in Citizen Query Tasks [8.50465147895087]
  市民問合せ(ちちぜんきゅう)とは、その事情に関係のある政府の方針・指導・サービスについて、個人から質問される質問である。 これは、ユーザのコンテキストに適合した情報を持つ市民クエリに応答する大規模言語モデルにとって、魅力的なユースケースである。 市民クエリとレスポンスの2万組のベンチマークデータセットであるCitizenQuery-UKを紹介した。
  論文  参考訳（メタデータ） (2026-02-03T22:58:09Z)
• Same Claim, Different Judgment: Benchmarking Scenario-Induced Bias in Multilingual Financial Misinformation Detection [64.75447949495307]
  大規模言語モデル (LLM) は金融分野に広く適用されている。 行動バイアスは、意思決定における不安定性と不確実性をもたらす可能性がある。 mfmdscenは様々な経済シナリオで mfmdの行動バイアスを評価するベンチマークです
  論文  参考訳（メタデータ） (2026-01-08T22:00:32Z)
• Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
  本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。 より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
  論文  参考訳（メタデータ） (2025-08-11T13:08:07Z)
• Detecting Linguistic Bias in Government Documents Using Large language Models [2.1301560294088318]
  既存の方法論は、しばしば政府文書のユニークな文脈と遠方の影響を見落としている。 本稿では,オランダ下院から得られた,専門家による偏見を示すデータセットであるDGDB(Dutch Government Data for Bias Detection)を紹介する。 このデータセット上に複数のBERTベースのモデルを微調整し、それらの性能を生成言語モデルと比較する。
  論文  参考訳（メタデータ） (2025-02-19T08:56:16Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。 我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。 我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Assessing Political Bias in Large Language Models [0.624709220163167]
  我々は、ドイツの有権者の視点から、欧州連合(EU)内の政治問題に関するオープンソースのLarge Language Models(LLMs)の政治的バイアスを評価する。 Llama3-70Bのような大型モデルは、左派政党とより緊密に連携する傾向にあるが、小さなモデルは中立であることが多い。
  論文  参考訳（メタデータ） (2024-05-17T15:30:18Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Style Over Substance: Evaluation Biases for Large Language Models [17.13064447978519]
  本研究では,大規模言語モデル(LLM)とともに,クラウドソースおよびエキスパートアノテータの挙動について検討する。 この結果から, 事実的誤りに対する回答は, 短すぎる, 文法的誤りを含む回答よりも好意的に評価され, 評価過程の偏りが示唆された。 評価面を1つのスコアにマージするのではなく,複数の次元にまたがるマシン生成テキストを独立に評価することを提案する。
  論文  参考訳（メタデータ） (2023-07-06T14:42:01Z)
• Leveraging Large Language Models for Topic Classification in the Domain of Public Affairs [65.9077733300329]
  大規模言語モデル (LLM) は公務員文書の分析を大幅に強化する可能性を秘めている。 LLMは、公共の分野など、ドメイン固有のドキュメントを処理するのに非常に役立ちます。
  論文  参考訳（メタデータ） (2023-06-05T13:35:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。