論文の概要: Benchmarking Open-Weight Foundation Models for Global AI Technical Governance

• arxiv url: http://arxiv.org/abs/2606.26099v1
• Date: Sun, 12 Apr 2026 16:41:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:12.936159
• Title: Benchmarking Open-Weight Foundation Models for Global AI Technical Governance
• Title（参考訳）: グローバルAI技術ガバナンスのためのオープンウェイト財団モデルのベンチマーク
• Abstract要約: 大規模言語モデル (LLMs) は、人工知能 (AI) のガバナンス分析において、国内および国際機関間でますます普及している。 しかし、これらのモデルが、トレーニングデータに不足している国に対して、はるかに精度の低い反応をもたらすという証拠が増えている。 この現象を調査する既存の研究は、3つの方法論的制約が課せられている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly deployed in artificial intelligence (AI) governance analysis across national and international organisations. There is, however, growing evidence that such models produce significantly less accurate responses for countries that are underrepresented in their training data-a pattern described in existing literature as geographic bias. Existing studies examining this phenomenon are subject to three methodological limitations that together undermine their findings: (1) reliance on proprietary systems whose weights are not publicly released, which prevents independent replication; (2) evaluation of model knowledge about years that fall after data collection for model training had concluded, leading to geographic ignorance in addition to the natural limits of each model's knowledge; and (3) use of coarse binary response classification that cannot distinguish models' confident fabrication (HF) from their honest acknowledgement of uncertainty. This study addresses all three limitations by benchmarking four open-weight frontier language models against the Global AI Dataset v2 (GAID v2), a verified ground-truth database of 24,453 indicators across 227 countries published on Harvard Dataverse in January 2026. A total of 18 indicators, mapped to the eight thematic dimensions of the IEEE IRAI 2026 framework, are selected from GAID v2, yielding approximately 2,990 country-metric-year observations across six evaluation years (within the period of 2010-2023). Model responses are classified using a five-category scheme that distinguishes (a) verified accuracy (VA), (b) HF, (c) honest refusal (HR), (d) qualitative hedging (QH), and (e) misattribution (MF). Geographic disparities in accuracy are estimated through mixed-effects logistic regression and difference-in-differences (DiD) analysis.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、人工知能 (AI) のガバナンス分析において、国内および国際機関間でますます普及している。 しかし、これらのモデルが、訓練データに不足している国々に対して、地理的バイアスとして既存の文献に記述されているパターンに対して、はるかに精度の低い応答をもたらすという証拠が増えている。 本研究は,(1)重量が公に公開されていないプロプライエタリなシステムに依存して,独立した複製を妨げていること,(2)モデルトレーニングのためのデータ収集が完了した年数に関するモデル知識の評価が,各モデルの知識の自然な限界に加えて,地理的に無視されていること,(3)モデルの信頼性を損なうような粗いバイナリ応答分類(HF)が,本質的な不確かさの認識と区別できないこと,の3つの方法論的限界を考察する。 この研究は、2026年1月にHarvard Dataverseに掲載された227か国で24,453のインジケータを検証した、Global AI Dataset v2(GAID v2)に対して、4つのオープンウェイトフロンティア言語モデルをベンチマークすることで、3つの制限に対処する。 IEEE IRAI 2026フレームワークの8つのテーマ次元にマッピングされた計18の指標がGAID v2から選択され、6年間(2010-2023年)に約2,990の国単位の観測結果が得られた。 モデル応答は区別する5カテゴリースキームを用いて分類される (a)精度(VA) (b)HF, (c)正直な拒絶(HR) (d)定性ヘッジ(QH)、及び (e)誤帰(MF) 差分差分法 (DiD) 分析により, 精度の地理的差を推定する。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• Geographic Blind Spots in AI Control Monitors: A Cross-National Audit of Claude Opus 4.6 [0.0]
  Apart ResearchのAI Control Hackathon Track 3ベンチマークで指定されたモニタであるClaude Opus 4.6を監査する。 この研究は、AI制御モニタの地理的知識ギャップに関する、最初の国家横断的な多ドメイン監査を提供する。
  論文  参考訳（メタデータ） (2026-03-20T10:56:58Z)
• Generalization Gaps in Political Fake News Detection: An Empirical Study on the LIAR Dataset [0.764671395172401]
  LIARベンチマークを用いて,9つの機械学習アルゴリズムの診断評価を行った。 モデルの重み付きF1スコアを超えないきめ細かい分類の「パフォーマンスシーリング」を発見した。 木に基づくアンサンブルの大規模な"一般化ギャップ"は、99%以上のトレーニング精度を達成したが、テストデータで約25%に崩壊した。
  論文  参考訳（メタデータ） (2025-12-20T23:08:18Z)
• Order from Chaos: Comparative Study of Ten Leading LLMs on Unstructured Data Categorization [0.0]
  本研究では,非構造化テキスト分類に適用された10種類の最先端大規模言語モデル(LLM)の比較評価を行った。 この分析では、8,660人の注釈付きサンプルと同一のゼロショットプロンプトの統一データセットを使用して、すべてのモデルにおける方法論的一貫性を確保した。 その結果,現代LLMは,平均スコアが34%,精度が42%,リコールが45%,F1スコアが41%であった。
  論文  参考訳（メタデータ） (2025-10-14T02:15:01Z)
• NAIPv2: Debiased Pairwise Learning for Efficient Paper Quality Estimation [58.30936615525824]
  本稿では,紙の品質評価のための非バイアスで効率的なフレームワークであるNAIPv2を提案する。 NAIPv2は、レビューアレーティングの不整合を低減するために、ドメイン年グループ内でペアワイズ学習を採用している。 これはペアワイズ比較に基づいてトレーニングされるが、デプロイ時に効率的なポイントワイズ予測を可能にする。
  論文  参考訳（メタデータ） (2025-09-29T17:59:23Z)
• Scaling Truth: The Confidence Paradox in AI Fact-Checking [0.8201655885319955]
  大規模言語モデル(LLM)は事実検証の自動化を約束するが、グローバルな文脈での有効性は不確実である。 我々はこれまでに47言語174のファクトチェック組織で評価された5000のクレームを用いて,複数のカテゴリにまたがる9つの確立されたLCMを体系的に評価した。 より小さいモデルでは精度が低いにもかかわらず高い信頼性を示す一方、より大きなモデルは高い精度を示すが、信頼性は低い。
  論文  参考訳（メタデータ） (2025-09-10T17:36:25Z)
• Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning [77.120955854093]
  我々は,データ多様性が言語モデルにおける一般化の強力な予測因子であることを示す。 モデル誘起勾配のエントロピーを通して多様性を定量化する計量であるG-Vendiを導入する。 多様な合成データを生成するためのフレームワークであるPrismatic Synthesisを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:05:10Z)
• The BRAVO Semantic Segmentation Challenge Results in UNCV2024 [68.20197719071436]
  我々は,(1)モデルが様々な摂動にさらされたときの精度とキャリブレーションを反映したセマンティック信頼性,(2)トレーニング中に未知のオブジェクトクラスを検出する能力を測定するOOD信頼性の2つのカテゴリを定義した。 その結果、大規模事前学習と最小限のアーキテクチャ設計が、堅牢で信頼性の高いセマンティックセグメンテーションモデルを開発する上で重要であるという興味深い洞察が浮かび上がっている。
  論文  参考訳（メタデータ） (2024-09-23T15:17:30Z)
• Unified Deep Learning Model for Global Prediction of Aboveground Biomass, Canopy Height and Cover from High-Resolution, Multi-Sensor Satellite Imagery [0.196629787330046]
  地表面バイオマス密度 (AGBD) , キャノピー高さ (CH) , キャノピー被覆 (CC) の予測を統一する深層学習モデルと10mのマルチセンサ・マルチスペクトル画像を用いた新しい手法を提案する。 GEDI-L2/L4を世界数百万のサンプルで測定し、2023年と2016年から2023年までの期間に全世界に展開することで、モデルの有効性を検証した。
  論文  参考訳（メタデータ） (2024-08-20T23:15:41Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Strict baselines for Covid-19 forecasting and ML perspective for USA and Russia [105.54048699217668]
  Covid-19は、2年間にわたって蓄積されたデータセットを収集し、予測分析に使用できるようにする。 本研究は、米国とロシアの2カ国の地域データに基づいて、Covid-19の拡散のダイナミクスを予測するための様々な種類の方法に関する一貫した研究結果である。
  論文  参考訳（メタデータ） (2022-07-15T18:21:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。