論文の概要: Assessing the Empirical Evidence for Loss of Control from Agentic General-Purpose AI
- arxiv url: http://arxiv.org/abs/2610.25241v1
- Date: Sun, 18 Oct 2026 13:03:10 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:00:02.36532
- Title: Assessing the Empirical Evidence for Loss of Control from Agentic General-Purpose AI
- Title（参考訳）: エージェント汎用AIによる制御損失の実証的証拠の評価
- Abstract要約: EUの一般目的AI規約は、制御の喪失をシステム的リスクとして挙げている。
現在の証拠機関は、制御喪失の判断を「弱々しい可否」と支持している
発見はエージェント汎用AIシステムの厳格な評価の必要性を強調している。
- 参考スコア（独自算出の注目度）: 2.163635907772282
- License:
- Abstract: Theoretical literature warns that advanced generalist agentic systems might pursue instrumental goals that are misaligned with human preferences, thus posing risks of irreversible loss of human control. The EU's Code of Practice for General-Purpose AI lists loss of control as a systemic risk that must be assessed, yet no structured assessment of the quality of the empirical evidence for this risk exists. This study fills that gap. We evaluate 19 recent empirical studies across eight properties identified from threat models (such as strategic deception, situational awareness, and autonomous replication), assessing the quality of evidence across three dimensions: construct validity, content validity, and external validity. Our central finding is that the current body of evidence supports a judgment of loss of control as "weakly plausible." In our framework, 'plausibility' denotes the strength and direction of available evidence, not a probability estimate. Emerging evidence exists across multiple properties. No study clears the validity thresholds for a stronger judgment that a property is present; a single study clears them only for a negative-direction judgment (against situational awareness). Validity gaps, particularly in external validity, are widespread. Therefore, our findings highlight the need for more rigorous evaluations of agentic general-purpose AI systems. However, for the most dangerous properties, high external validity may be structurally unachievable under responsible research practices, reflecting a ceiling on feasible evidence rather than absence of the capability. Furthermore, as AI capabilities advance rapidly, empirical assessments may systematically lag behind the capability frontier. Our framework provides a structured baseline for ongoing monitoring as capabilities advance.
- Abstract（参考訳）: 理論文献は、先進的なジェネラリストのエージェントシステムは人間の嗜好に反する楽器的目標を追求し、人間のコントロールが不可逆的に失われるリスクを生じさせる可能性があると警告している。
EUの一般目的AI規約は、制御の喪失をシステム的リスクとして評価しなければならないが、このリスクに関する実証的な証拠の質に関する構造化された評価は存在しない。
この研究はそのギャップを埋める。
我々は,脅威モデルから同定された8つの特性(戦略的騙し,状況認識,自律的複製など)に対する最近の実証的研究を19件評価し,その妥当性,内容妥当性,外的妥当性の3次元にわたる証拠の質を評価する。
我々の中心的な発見は、現在の証拠の体系は、制御喪失の判断を「弱々しくあり得ない」と支持していることである。
この枠組みでは、確率推定ではなく、利用可能な証拠の強さと方向を表す。
複数の性質にまたがるエビデンスが存在する。
特性が存在するというより強い判断の正当性しきい値が明確になるという研究は存在せず、一方の研究では負の指向性判断(状況認識)のためだけにクリアされる。
妥当性のギャップは、特に外部の妥当性において広く見られる。
そこで本研究では,エージェント汎用AIシステムの厳密な評価の必要性を強調した。
しかしながら、最も危険な性質については、高い外部の妥当性は、責任ある研究慣行の下で構造的に達成不可能であり、その能力が欠如しているというよりも、実行可能な証拠の天井を反映している可能性がある。
さらに、AI能力が急速に向上するにつれて、実証的な評価は機能フロンティアの後方で体系的に遅れる可能性がある。
当社のフレームワークは,機能向上に伴って監視を継続する上で,構造化されたベースラインを提供します。
関連論文リスト
- From Protocols to Evidence: Bounded Claims for AI in Service of the Common Good [30.6027944662133]
人工知能システムが意思決定を改善するという主張は、彼らの評価が確立したものを超える可能性がある。
我々は、明示的な人間および非AIベースラインに対するデプロイメントを評価する破断テストを開発する。
評価対象の主張を制限するエビデンスバウンドのデプロイメントと,測定バウンドのガバナンスを区別する。
論文 参考訳（メタデータ） (2026-09-10T17:56:36Z) - Validity, Reliability, and Transparency in Artificial Intelligence Regulation [2.588958866512272]
記事は、現代のAIは、構築の妥当性、欠点、代表性、流通のシフト、公正なトレードオフに関する懸念を提起している。
我々は、比例評価とデプロイメント承認の前提条件として推論が機能すべきであると主張している。
論文 参考訳（メタデータ） (2026-08-06T09:36:15Z) - Epistemic Norms for AI Safety and Alignment Research [0.989901717499058]
2つの領域は2つの解析的に独立な軸に沿って異なると主張する。
sc ECAISAは、あらゆるAIシステムが安全であることを証明していない。
論文 参考訳（メタデータ） (2026-07-27T10:22:46Z) - The AI Evaluability Gap: The Missing Layer for Managing Risk and Sustaining Value [1.6328866317851185]
リスクと価値のどちらかに関して、高信頼のガバナンス決定を支持する十分な証拠がない、と私たちは主張します。
既存のガバナンスアプローチは、主に安全性、公正性、信頼性、コンプライアンス、価値といったシステムの特性に焦点を当てています。
高信頼のガバナンス決定を支援するのに十分な証拠を生成し、維持し、更新するシステムの能力として定義される評価可能性を導入する。
論文 参考訳（メタデータ） (2026-06-19T00:58:01Z) - Position: Anthropomorphic Misalignment Research Needs Stronger Evidence [52.76826423649968]
概念的曖昧さ,非ロバストデータセット,実験設計,不十分な因果的介入が,モデル行動の過度な解釈につながることを示す。
本研究の目的は,AMRの方法論的厳密性向上に寄与する明らかな考察のガイダンスを提供することである。
論文 参考訳（メタデータ） (2026-05-29T16:38:53Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - Perception Without Engagement: Dissecting the Causal Discovery Deficit in LMMs [68.58207076756237]
本稿では,結果評価からメカニズム診断へ移行する摂動に基づく評価プロトコルProCauEvalを紹介する。
因果推論において,ビデオコンテンツは体系的に過小評価されている。
教師のネガティブなアライメントに基づく強化学習フレームワークであるADPOを提案する。
論文 参考訳（メタデータ） (2026-05-10T08:48:58Z) - The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research [56.80927148740585]
我々は、動的に進化し、研究評価者としてAIエージェントを開発することで、スケーラビリティと厳密さの課題に対処する。
我々は,機械的解釈可能性の研究をテストベッドとして使用し,標準化された研究成果を構築し,MechEvalAgentを開発した。
我々の研究は、AIエージェントが研究評価を変革し、厳格な科学的実践の道を開く可能性を実証している。
論文 参考訳（メタデータ） (2026-02-05T19:00:02Z) - TRACE: Trajectory-Aware Comprehensive Evaluation for Deep Research Agents [51.30998248590416]
Trajectory-Aware Comprehensive Evaluation (TRACE) は、問題解決の軌道全体を評価するフレームワークである。
私たちのコントリビューションには、TRACEフレームワーク、その新しいメトリクス、および制御可能な複雑さを伴うDeepResearch-Benchが含まれています。
論文 参考訳（メタデータ） (2026-02-05T13:28:57Z) - Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。
これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。
本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-29T08:48:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。