論文の概要: From Global Benchmarks to Local Evaluations: Benchmarking LLMs for the German Public Sector

• arxiv url: http://arxiv.org/abs/2608.17827v1
• Date: Tue, 18 Aug 2026 14:28:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.365803
• Title: From Global Benchmarks to Local Evaluations: Benchmarking LLMs for the German Public Sector
• Title（参考訳）: グローバルベンチマークから地域評価へ:ドイツ公共セクター向けLCMのベンチマーク
• Abstract要約: ドイツ公共セクターの総合評価フレームワークであるMVEの最初の成果を示す。 以上の結果から,すべての次元にわたって優れたモデルが存在しない,大きなトレードオフが明らかとなった。 評価はまた、デプロイメントコンテキストのガバナンス要件を反映するべきです。
• 参考スコア（独自算出の注目度）: 0.5154323601107853
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Public institutions face a persistent challenge in selecting LLMs suited to their specific context. Existing benchmarks, however, are of limited use as they primarily reflect English-language and US-centric settings, and often only evaluate task performance. In this paper, we present first results of MÖVE, a holistic evaluation framework for the German public sector, examining three rarely considered governance dimensions: energy consumption, provider transparency, and knowledge of German-party positions. Our results reveal significant trade-offs, with no single model excelling across all dimensions: estimated energy consumption varies more than 60-fold and is not explained by model size alone, information disclosure varies systematically across providers, and European models do not exhibit stronger knowledge of German party positions. Model selection for public institutions thus cannot rely on performance rankings alone. Instead, evaluations should also reflect the governance requirements of the deployment context.
• Abstract（参考訳）: 公共機関は、特定の文脈に適合するLLMを選択する際に、永続的な課題に直面している。 しかし、既存のベンチマークは、主に英語と米国中心の設定を反映し、しばしばタスクパフォーマンスのみを評価するため、限られた用途である。 本稿では,ドイツの公共セクターを対象とした総合的な評価枠組みである,エネルギー消費,プロバイダの透明性,ドイツ政党の立場に関する知識の3つについて検討する。 推定エネルギー消費量は60倍以上であり、モデルサイズだけでは説明されず、情報開示は提供者によって体系的に異なる。 したがって、公共機関のモデル選択は、パフォーマンスランキングのみに頼ることはできない。 代わりに、評価はデプロイメントコンテキストのガバナンス要件も反映する必要がある。

関連論文リスト

• From Values to Benchmarks: Evaluating Large Language Models for Governmental Use in Dutch [28.99138735973746]
  LLM(Grip on LLMs)は、オランダの政府用システム評価スイートである。 我々は6つの評価次元(事実性、正直性、社会的偏見、エネルギー消費、コスト、データ透明性の訓練)を識別する。 それらを30以上の多言語およびオランダ固有のモデルをカバーするベンチマークスイートに運用する。
  論文  参考訳（メタデータ） (2026-08-10T17:59:05Z)
• Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
  大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。 我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。 Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
  論文  参考訳（メタデータ） (2026-07-21T16:15:05Z)
• MÖVE: A Holistic LLM Benchmark for the German Public Sector [0.5154323601107853]
  MVE(Modelle fr die ffentliche Verwaltung Evaluieren)は、ドイツの公共部門で大規模言語モデル(LLM)を評価するための総合的なベンチマークである。 MVEは2つの相補的な次元にわたる39のモデルを評価することでこれらのギャップに対処する。 我々は、古典的NLPメトリクス、埋め込み方式、LCM-as-a-judgeアプローチを組み合わせたマルチメトリック評価戦略を採用する。
  論文  参考訳（メタデータ） (2026-06-11T09:37:45Z)
• "As Eastern Powers, I will veto." : An Investigation of Nation-level Bias of Large Language Models in International Relations [7.585969077788284]
  本稿では国際関係領域(IR)における大規模言語モデル(LLM)による国家レベルの偏見を体系的に検討する。 各国のLLMにおける国家レベルのバイアスを探索する3つの異なるテストからなるバイアス評価フレームワークを開発した。 本稿では,LLMとRetrieval-Augmented GenerationとReflexion-based self-reflex(自己回帰)技術を組み合わせることで,現実的推論を改善する脱バイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-12T08:42:54Z)
• HALF: Harm-Aware LLM Fairness Evaluation Aligned with Deployment [52.374772443536045]
  HALF(Harm-Aware LLM Fairness)は、現実的なアプリケーションにおけるモデルバイアスを評価し、有害度によって結果を評価するフレームワークである。 HALFは、以前のベンチマークの成功とデプロイメントの準備の整合性の間に明らかなギャップがあることを示します。
  論文  参考訳（メタデータ） (2025-10-14T07:13:26Z)
• Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
  本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。 より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
  論文  参考訳（メタデータ） (2025-08-11T13:08:07Z)
• Pitfalls of Evaluating Language Models with Open Benchmarks [5.387340038770958]
  本研究では,公的なテストセット上での不正行為のモデルを体系的に構築することで,これらの弱点を明らかにする。 オープンベンチマークにおける高いリーダボードのパフォーマンスは、必ずしも実際の効果を反映するとは限らない。 現在のベンチマークプラクティスの基本的な再評価は、堅牢で信頼性の高いLMアセスメントを保証するために不可欠である。
  論文  参考訳（メタデータ） (2025-07-01T06:17:48Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• ZhuJiu: A Multi-dimensional, Multi-faceted Chinese Benchmark for Large Language Models [17.562961249150295]
  大規模言語モデル(LLM)評価のためのZhuJiuベンチマークを提案する。 ZhuJiuは中国語でLLMを十分に評価する先駆的なベンチマークであり、英語でも同様に堅牢な評価能力を提供している。 ZhuJiuベンチマークとオープンパーティのリーダーボードはhttp://www.zhujiu-benchmark.com/で公開されている。
  論文  参考訳（メタデータ） (2023-08-28T06:56:44Z)
• LLM Comparative Assessment: Zero-shot NLG Evaluation through Pairwise Comparisons using Large Language Models [55.60306377044225]
  大規模言語モデル(LLM)は、様々な自然言語タスクで印象的なゼロショット機能を実現している。 本稿では,ゼロショットNLG評価におけるLCMの創発的能力を活用するための2つの選択肢について検討する。 FlanT5 や Llama2-chat のような中規模のオープンソース LLM では、スコアリングよりも比較評価が優れている。
  論文  参考訳（メタデータ） (2023-07-15T22:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。