論文の概要: Open Weight AI Models Require Proportional Evaluation Approaches

• arxiv url: http://arxiv.org/abs/2606.19890v1
• Date: Thu, 18 Jun 2026 07:48:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.709012
• Title: Open Weight AI Models Require Proportional Evaluation Approaches
• Title（参考訳）: オープンウェイトAIモデルには専門的な評価アプローチが必要である
• Authors: Patricia Paskov, Christopher Rodriguez, Sunishchal Dev, Stephen Casper,
• Abstract要約: オープンウェイトAIモデル(OWM)は、科学的、経済的に大きな恩恵をもたらす。 OWMsリリースでは、既存の評価プラクティスが考慮できない、明確なリスク要因が導入されている。 本稿では、AI評価に関わる政策立案者、資金提供者、研究者を対象としている。
• 参考スコア（独自算出の注目度）: 3.51631511781571
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Open-weight AI models (OWMs), or models released with publicly-available weights, are distributing rapidly and approaching the performance levels of leading closed-weight AI models (CWMs). While OWMs offer substantial scientific and economic benefits, their release introduces distinct risk factors for which existing evaluation practices, largely designed for CWM deployment, fail to account. In this paper, we argue that these risk factors demand distinct proportional evaluation (PE) approaches: evaluating without system-level safeguards (PE1), assessing robustness to modifications that undo model-level safeguards (PE2), testing selective capability amplification (PE3), and proxying worst-case misuse (PE4). We systematically review current evaluation practices of OWMs released in 2025 through April 2026, finding that only one of the 37 families of models reviewed fulfills PE1-4 and most do not fulfill any. This paper targets policymakers, funders, and researchers involved in AI evaluation. As OWMs grow increasingly capable, their evaluation warrants close attention from developers, funders, and governance bodies alike.
• Abstract（参考訳）: オープンウェイトAIモデル(OWM)またはパブリックウェイトを備えたモデルが急速に普及し、主要なクローズドウェイトAIモデル(CWM)のパフォーマンスレベルに近づいている。 OWMは科学的、経済的にかなりの利益をもたらすが、そのリリースは、既存の評価プラクティスが主にCWMデプロイメント用に設計されているが、説明できない、明確なリスク要因を導入している。 本稿では,これらのリスク要因は,システムレベルセーフガード(PE1)なしでの評価,モデルレベルセーフガード(PE2)を解除する修正に対する堅牢性の評価,選択能力増幅(PE3)のテスト,最悪のケース誤用(PE4)のプロキシといった,異なる比例評価(PE)アプローチを必要とすることを論じる。 我々は2025年から2026年4月までにリリースされたOWMの現在の評価手法を体系的にレビューし、レビューされた37のモデルのうち1つのモデルのみがPE1-4を満たしており、ほとんどは満足していないことを発見した。 本稿では、AI評価に関わる政策立案者、資金提供者、研究者を対象としている。 OWMの能力が増大するにつれて、その評価は開発者、資金提供者、ガバナンス機関からも注目される。

関連論文リスト

• Bench-2-CoP: Can We Trust Benchmarking for EU AI Compliance? [2.010294990327175]
  現在のAI評価プラクティスは、確立されたベンチマークに大きく依存しています。 この研究は、この「ベンチマーク・規制ギャップ」を定量化する緊急の必要性に対処する。 評価のエコシステムは、その焦点の大部分を狭い行動規範に捧げています。
  論文  参考訳（メタデータ） (2025-08-07T15:03:39Z)
• Model Tampering Attacks Enable More Rigorous Evaluations of LLM Capabilities [49.09703018511403]
  大規模言語モデル(LLM)のリスクと能力の評価は、AIのリスク管理とガバナンスフレームワークにますます取り入れられている。 現在、ほとんどのリスク評価は、システムから有害な振る舞いを誘発する入力を設計することで実施されている。 本稿では,遅延活性化や重みへの修正が可能なモデル改ざん攻撃を用いたLCMの評価を提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:59:16Z)
• The Lessons of Developing Process Reward Models in Mathematical Reasoning [62.165534879284735]
  Process Reward Models (PRM) は、推論プロセスにおける中間エラーを特定し、緩和することを目的としている。 我々は,モンテカルロ (MC) 推定とLarge Language Models (LLM) を効果的に統合するコンセンサスフィルタリング機構を開発した。 私たちは、既存のオープンソース代替品よりも優れた、最先端のPRMを新たにリリースしています。
  論文  参考訳（メタデータ） (2025-01-13T13:10:16Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。