論文の概要: AI Testing Should Account for Sophisticated Strategic Behaviour
- arxiv url: http://arxiv.org/abs/2508.14927v1
- Date: Tue, 19 Aug 2025 15:48:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-22 16:26:46.027239
- Title: AI Testing Should Account for Sophisticated Strategic Behaviour
- Title（参考訳）: AIテストは、高度に戦略的な振る舞いを考慮すべきである
- Authors: Vojtech Kovarik, Eric Olav Chen, Sami Petersen, Alexis Ghersengorin, Vincent Conitzer,
- Abstract要約: このポジションペーパーは、AIテストと評価に関する2つの主張を論じている。
第一に、評価はAIシステムが彼らの状況を理解し、戦略的に推論する可能性を考慮する必要がある。
第2に、ゲーム理論分析は、評価に基づく安全事例の推論を形式化し、精査することにより、評価設計に情報を与えることができる。
- 参考スコア（独自算出の注目度）: 19.554240127749818
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This position paper argues for two claims regarding AI testing and evaluation. First, to remain informative about deployment behaviour, evaluations need account for the possibility that AI systems understand their circumstances and reason strategically. Second, game-theoretic analysis can inform evaluation design by formalising and scrutinising the reasoning in evaluation-based safety cases. Drawing on examples from existing AI systems, a review of relevant research, and formal strategic analysis of a stylised evaluation scenario, we present evidence for these claims and motivate several research directions.
- Abstract（参考訳）: このポジションペーパーは、AIテストと評価に関する2つの主張を論じている。
第一に、デプロイメントの振る舞いについて情報的であり続けるためには、AIシステムが自分たちの状況を理解し、戦略的に推論する可能性を考慮する必要がある。
第2に、ゲーム理論分析は、評価に基づく安全事例の推論を形式化し、精査することにより、評価設計に情報を与えることができる。
既存のAIシステムの例、関連する研究のレビュー、そしてスタイル化された評価シナリオの正式な戦略的分析に基づいて、これらの主張の証拠を提示し、いくつかの研究方向性を動機づける。
関連論文リスト
- Preliminary suggestions for rigorous GPAI model evaluations [0.0]
本論文では,汎用AI(GPAI)評価プラクティスの予備的なコンパイルについて述べる。
これには、人間の隆起研究とベンチマーク評価のための提案が含まれている。
提案は評価ライフサイクルの4つの段階(設計、実装、実行、ドキュメント)にまたがる。
論文 参考訳（メタデータ） (2025-07-22T03:27:42Z) - A Conceptual Framework for AI Capability Evaluations [0.0]
本稿では,AI能力評価を解析するための概念的枠組みを提案する。
広く使われている手法や用語の分析を体系化する構造化された記述的アプローチを提供する。
また、研究者は方法論的な弱点を特定し、評価を設計する実践者を支援し、政策立案者に複雑な評価の風景を精査し、比較し、ナビゲートするツールを提供する。
論文 参考訳（メタデータ） (2025-06-23T00:19:27Z) - A Framework for Adversarial Analysis of Decision Support Systems Prior to Deployment [0.33928435949901725]
本稿では,Deep Reinforcement Learning (DRL) を用いて学習した意思決定支援システムの分析とセキュア化のためのフレームワークを提案する。
我々は,我々のフレームワークを検証し,エージェントの振る舞いを可視化し,カスタム構築戦略ゲームCyberStrikeのコンテキストにおける敵の成果を評価する。
論文 参考訳（メタデータ） (2025-05-27T16:41:23Z) - ReviewEval: An Evaluation Framework for AI-Generated Reviews [9.35023998408983]
学術研究の増大は、資格のあるレビュアーの不足と相まって、ピアレビューに対する革新的なアプローチを必要としている。
本稿では,AIによるレビューを総合的に評価するフレームワークであるReviewEvalを提案する。
本稿では、AIに基づくピアレビューに不可欠な指標を確立し、学術研究におけるAI生成レビューの信頼性と影響を大幅に向上させる。
論文 参考訳（メタデータ） (2025-02-17T12:22:11Z) - Evaluating AI Evaluation: Perils and Prospects [8.086002368038658]
本稿では,これらのシステムに対する評価手法が根本的に不適切であることを主張する。
AIシステムを評価するためには改革が必要であり、インスピレーションを得るために認知科学に目を向けるべきである、と私は主張する。
論文 参考訳（メタデータ） (2024-07-12T12:37:13Z) - LLM as a Mastermind: A Survey of Strategic Reasoning with Large Language Models [75.89014602596673]
戦略推論は、戦略を調整しながら、マルチエージェント設定における敵の行動を理解し、予測する必要がある。
大規模言語モデルを用いた戦略的推論に関連するスコープ,アプリケーション,方法論,評価指標について検討する。
戦略的推論を重要な認知能力として重要視し、将来の研究の方向性や潜在的な改善に関する洞察を提供する。
論文 参考訳（メタデータ） (2024-04-01T16:50:54Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [55.33653554387953]
パターン分析とマシンインテリジェンス(PAMI)は、情報の収集と断片化を目的とした多くの文献レビューにつながっている。
本稿では、PAMI分野におけるこれらの文献レビューの徹底的な分析について述べる。
1)PAMI文献レビューの構造的・統計的特徴は何か,(2)レビューの増大するコーパスを効率的にナビゲートするために研究者が活用できる戦略は何か,(3)AIが作成したレビューの利点と限界は人間によるレビューと比較するとどのようなものか,という3つの主要な研究課題に対処しようとする。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - AR-LSAT: Investigating Analytical Reasoning of Text [57.1542673852013]
テキストの分析的推論の課題を研究し、1991年から2016年までのロースクール入学試験からの質問からなる新しいデータセットを紹介します。
我々は,この課題をうまくこなすために必要な知識理解と推論能力を分析する。
論文 参考訳（メタデータ） (2021-04-14T02:53:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。