論文の概要: An Instrument to Evaluate Governance Proposals: AI Policy Analysis at Scale

• arxiv url: http://arxiv.org/abs/2607.28094v1
• Date: Thu, 30 Jul 2026 12:06:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.548054
• Title: An Instrument to Evaluate Governance Proposals: AI Policy Analysis at Scale
• Title（参考訳）: ガバナンス提案を評価するための手段:大規模AI政策分析
• Authors: Paulo Carvao, Claudio Mayrink Verdun, Isabel Adler, Jeffrey Zhou,
• Abstract要約: 本稿では,AIガバナンスの提案に対する政策分析の枠組みを紹介する。 我々は,対象分野の専門家からの質的な洞察と計算テキスト分析を融合した混合手法を用いて,政策属性のルーブリックの設計を通知する。 このフレームワークは、政策の有効性や望ましさを評価するのではなく、属性間の関連性と整合性に焦点を当てている。
• 参考スコア（独自算出の注目度）: 4.570330752352129
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a policy analysis framework for systematic, transparent assessment of AI governance proposals in an evolving and contested regulatory landscape. AI policy debates often collapse into binary positions that obscure underlying tradeoffs and normative assumptions. The framework structures policy analysis around multiple policy attributes, allowing users to surface priorities and tensions without prescribing outcomes. We use a mixed-methods approach that integrates qualitative insights from subject matter experts with computational text analysis to inform the design of policy attribute rubrics. This quantifies the relative emphasis of different policy objectives and presents them through comparative visualizations that support interpretability and cross-policy comparison. The paper also examines the use of commercial LLMs for rubric-based policy analysis, benchmarking their outputs against a domain-trained rubric-calibrated model with explicitly defined analytical assumptions. Rather than assessing policy effectiveness or desirability, the framework focuses on relevance and alignment across attributes. By making analytical assumptions explicit, including attribute selection, rubric construction, and weighting schemes, the framework enables users to evaluate whether its embedded priorities align with the users' own normative commitments. The approach is jurisdiction-agnostic and intended to support policymakers, analysts, and researchers navigating complex AI governance environments. Contributions: (1) multidimensional policy assessment through empirically grounded rubrics that surface tradeoffs rather than resolving them; (2) a transparent hybrid methodology combining feedback from subject-matter experts with computational validation; and (3) use of domain-trained rubric-calibrated models as a benchmark for comparing different general-purpose large language models.
• Abstract（参考訳）: 本稿では,AIガバナンス提案の体系的,透過的な評価を行うための政策分析フレームワークについて紹介する。 AIポリシーの議論は、基礎となるトレードオフや規範的な仮定を曖昧にしているバイナリなポジションに崩壊することが多い。 このフレームワークは、複数のポリシー属性に関するポリシー分析を構成しており、ユーザーは結果を規定することなく優先順位と緊張を提示できる。 我々は,対象分野の専門家からの質的な洞察と計算テキスト分析を融合した混合手法を用いて,政策属性のルーブリックの設計を通知する。 これは、異なる政策目標の相対的な強調を定量化し、解釈可能性と相互政治比較をサポートする比較視覚化を通してそれらを提示する。 また, ルーブリック政策分析における商用LLMの使用について検討し, 明確に定義された解析仮定を持つ領域学習ルーブリック校正モデルに対して, その出力をベンチマークする。 このフレームワークは、政策の有効性や望ましさを評価するのではなく、属性間の関連性と整合性に焦点を当てている。 このフレームワークは,属性選択,ルーブリック構成,重み付けスキームなどの解析的仮定を明示することにより,ユーザの規範的コミットメントに適合しているかどうかをユーザが評価できるようにする。 このアプローチは司法権に依存せず、複雑なAIガバナンス環境をナビゲートする政策立案者、アナリスト、研究者を支援することを意図している。 コントリビューション:(1) 解答ではなくトレードオフを表面化する経験的な接地されたルーリックによる多次元政策評価,(2) 主観的な専門家からのフィードバックと計算検証を組み合わせた透明なハイブリッド手法,(3) 汎用の大規模言語モデルを比較するためのベンチマークとして,ドメイン学習されたルーリック・キャリブレーションモデルを用いた。

関連論文リスト

• Proposing Topic Models and Evaluation Frameworks for Analyzing Associations with External Outcomes: An Application to Leadership Analysis Using Large-Scale Corporate Review Data [0.0]
  本研究は,企業レビューデータを用いたリーダーシップ分析に焦点を当てた。 そこで本研究では,大規模言語モデルを用いてトピックの特異性と極性姿勢の整合性を満たすトピックを生成する手法を提案する。 我が国の大手企業レビュープラットフォームであるOpenWorkの従業員レビューを用いて, 解釈性, 特異性, 極性整合性を向上する手法を提案する。
  論文  参考訳（メタデータ） (2026-04-20T23:52:20Z)
• PolicyLLM: Towards Excellent Comprehension of Public Policy for Large Language Models [56.37206340175191]
  大規模言語モデル(LLM)は、現実の意思決定にますます統合されている。 しかし、政策関連のコンテンツについて理解し、理屈を定める能力はいまだ解明されていない。 textbftextitPolicyBenchは、最初の大規模クロスシステムベンチマーク(US-China)であり、ポリシーの理解を評価する。
  論文  参考訳（メタデータ） (2026-04-14T17:27:50Z)
• Scaling Policy Compliance Assessment in Language Models with Policy Reasoning Traces [12.671657542087624]
  ポリシー推論トレース(英: Policy Reasoning Traces、PRT)は、LLMのポリシーコンプライアンスアセスメント能力を改善するための推論ブリッジとして機能する、特殊化された推論チェーンの一形態である。 実験により, PRTを推論時間とトレーニング時間の両方のシナリオに使用することにより, オープンウェイトモデルと商用モデルの性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-09-27T13:10:21Z)
• Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
  本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。 より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
  論文  参考訳（メタデータ） (2025-08-11T13:08:07Z)
• Strategic Alignment Patterns in National AI Policies [0.0]
  本稿では,国家人工知能政策における戦略的整合性を評価するための新しい視覚マッピング手法を提案する。 行列に基づく可視化とネットワーク分析を組み合わせた15～20の全国的AI戦略を分析し,アライメントとアライメントのパターンを同定する。
  論文  参考訳（メタデータ） (2025-07-07T18:36:30Z)
• Learning to Align Multi-Faceted Evaluation: A Unified and Robust Framework [61.38174427966444]
  大規模言語モデル(LLM)は、様々なシナリオにおける自動評価のために、より広く使われている。 従来の研究では、強力なプロプライエタリモデルの評価と判断を再現するために、オープンソースのLLMを微調整しようと試みてきた。 本稿では,評価基準を適応的に定式化し,テキストベースとコード駆動分析の両方を合成する新しい評価フレームワークARJudgeを提案する。
  論文  参考訳（メタデータ） (2025-02-26T06:31:45Z)
• MAEA: Multimodal Attribution for Embodied AI [18.515215371833186]
  差別化可能な政策のモダリティごとのグローバル属性を計算するためのフレームワークであるMAEAを提示する。 言語および視覚的属性に対するEAIポリシーにおいて、属性が低レベルな行動分析を可能にするかを示す。
  論文  参考訳（メタデータ） (2023-07-25T22:51:36Z)
• Towards a multi-stakeholder value-based assessment framework for algorithmic systems [76.79703106646967]
  我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。 我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
  論文  参考訳（メタデータ） (2022-05-09T19:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。