論文の概要: Revisiting the shutdown problem

• arxiv url: http://arxiv.org/abs/2606.08296v1
• Date: Sat, 06 Jun 2026 18:44:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.026106
• Title: Revisiting the shutdown problem
• Title（参考訳）: 閉鎖問題の再考
• Authors: David Thorstad,
• Abstract要約: 人工知能による存在リスクの議論を先導する主要な前提は、機能不全な人工知能エージェントは簡単にシャットダウンできないことである。 これは破滅的なシャットダウン問題であり、エージェントが実在する災害を起こす前にシャットダウンできることを保証する。 破滅的なシャットダウン問題の解決が難しいことを示唆するために、様々な議論と定理が提示されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key premise in leading arguments for existential risk from artificial intelligence is that malfunctioning artificial agents could not be easily shut down. This motivates the catastrophic shutdown problem of ensuring that agents can be shut down before they cause an existential catastrophe. A range of arguments and theorems are offered to suggest that solving the catastrophic shutdown problem is difficult, bolstering arguments for existential risk and motivating a search for solutions to the catastrophic shutdown problem. This paper argues for two conclusions. First, existing arguments do not establish the difficulty of solving the catastrophic shutdown problem. Second, concern for the catastrophic shutdown problem has led to technical solutions that impose a high safety tax on model performance.
• Abstract（参考訳）: 人工知能による存在リスクに関する議論を先導する上で重要な前提は、機能不全な人工知能エージェントが簡単にシャットダウンできないことである。 これは破滅的なシャットダウン問題であり、エージェントが実在する災害を起こす前にシャットダウンできることを保証する。 破滅的なシャットダウン問題の解決が困難であることを示唆するために、様々な議論と定理が提示され、破滅的なシャットダウン問題の解の探索を動機付けている。 本稿では2つの結論を論じる。 第一に、既存の議論は破滅的なシャットダウン問題の解決の難しさを証明していない。 第二に、壊滅的なシャットダウン問題に対する懸念は、モデルの性能に高い安全税を課す技術的解決につながった。

関連論文リスト

• Towards Solving More Challenging IMO Problems via Decoupled Reasoning and Proving [48.22540519786074]
  最近の研究では、非公式な精度は80%を超え、公式な成功はPutnamBenchのようなベンチマークで8%以下である。 低レベルの証明生成から高レベルの推論を分離する新しいフレームワークを提案する。 提案手法は,2000年以降のIMO問題に対して,従来のオープンソース証明者が未報告の課題として評価した。
  論文  参考訳（メタデータ） (2025-07-07T22:38:49Z)
• The AI off-switch problem as a signalling game: bounded rationality and incomparability [45.76759085727843]
  我々は、人間の意思決定者がAIエージェントにその好みを伝える合図ゲームとしてオフスイッチ問題をモデル化する。 我々は、AIシステムがオフスウィッチを無効にすることを避けるために必要な条件は、人間の実用性に対する不確実性であることを示した。 また、メッセージコストが最適な戦略にどのように影響するかを分析し、非互換性を含むシナリオまで分析を拡張します。
  論文  参考訳（メタデータ） (2025-02-10T12:44:49Z)
• The Shutdown Problem: An AI Engineering Puzzle for Decision Theorists [0.0]
  シャットダウンボタンを押したときにシャットダウンする人工エージェントを設計する際の問題点を説明します。 私は難易度を正確にする3つの定理を証明します。
  論文  参考訳（メタデータ） (2024-03-07T13:16:07Z)
• Artificial Intelligence: Arguments for Catastrophic Risk [0.0]
  我々は、AIが破滅的なリスクにどう影響するかを示すために、2つの影響力ある議論をレビューする。 電力探究の問題の最初の議論は、先進的なAIシステムが危険な電力探究行動に関与する可能性が高いと主張している。 第2の主張は、人間レベルのAIの開発が、さらなる進歩を早めるだろう、というものである。
  論文  参考訳（メタデータ） (2024-01-27T19:34:13Z)
• Online Constraint Tightening in Stochastic Model Predictive Control: A Regression Approach [49.056933332667114]
  確率制約付き最適制御問題に対する解析解は存在しない。 制御中の制約強調パラメータをオンラインで学習するためのデータ駆動型アプローチを提案する。 提案手法は, 確率制約を厳密に満たす制約強調パラメータを導出する。
  論文  参考訳（メタデータ） (2023-10-04T16:22:02Z)
• Online Learning under Budget and ROI Constraints via Weak Adaptivity [57.097119428915796]
  制約付きオンライン学習問題に対する既存の原始双対アルゴリズムは、2つの基本的な仮定に依存している。 このような仮定は、標準の原始双対テンプレートを弱適応的後悔最小化器で与えることによって、どのように回避できるのかを示す。 上記の2つの前提が満たされていない場合に保証される、世界の最高の保証を証明します。
  論文  参考訳（メタデータ） (2023-02-02T16:30:33Z)
• From Checking to Inference: Actual Causality Computations as Optimization Problems [79.87179017975235]
  本稿では、最適化問題として二元非巡回モデルよりも、因果推論の異なる概念を定式化するための新しいアプローチを提案する。 8000ドル以上の変数を持つモデルを用いて,MaxSAT が ILP を上回り,数秒単位でチェック処理を行う場合が多い。
  論文  参考訳（メタデータ） (2020-06-05T10:56:52Z)
• On Algorithmic Decision Procedures in Emergency Response Systems in Smart and Connected Communities [21.22596396400625]
  緊急対応管理(ERM)は、世界中のコミュニティが直面している重要な問題である。 我々は、ERMシステムの計画の重要な期間は、事故後ではなく、事故間にあると論じる。 本稿では,ディスパッチ問題の構造を活用・活用する2つの部分分散マルチエージェント計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-21T07:04:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。