論文の概要: AI Safety as Control of Irreversibility: A Systems Framework for Decision-Energy and Sovereignty Boundaries
- arxiv url: http://arxiv.org/abs/2605.01415v1
- Date: Sat, 02 May 2026 12:26:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:49.759184
- Title: AI Safety as Control of Irreversibility: A Systems Framework for Decision-Energy and Sovereignty Boundaries
- Title（参考訳）: 可逆性制御としてのAI安全性 - 決定エネルギーとソブリン性境界のためのシステムフレームワーク
- Authors: Wesley Shu, Peng Wei,
- Abstract要約: 最近のAIシステムは、能力の成長と能力展開の間の距離を圧縮している。
本稿では,展開摩擦の減少が根本問題に変化をもたらすことを論じる。
安全とは、局所的な出力の正しさや嗜好の整合性だけでなく、決定密度の上昇による不可逆性の制御である。
- 参考スコア（独自算出の注目度）: 3.719121868494767
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent AI systems compress the distance between capability growth and capability deployment. Earlier high-risk technologies were slowed by capital intensity, physical bottlenecks, organizational inertia, and specialized supply chains. By contrast, AI capabilities can be copied, invoked, embedded in workflows, and scaled across institutions at low marginal cost. This paper argues that declining deployment friction changes the safety problem at its root. Safety is not only local output correctness or preference alignment, but the control of irreversibility under rising decision density. The paper formalizes this claim through decision-energy density: the rate-weighted capacity of a node to generate, evaluate, select, and execute consequential decisions. It then identifies three sovereignty boundaries that determine whether AI remains an amplifier within a human-governed system or becomes a de facto control center: irreversible decision authority, physical resource mobilization authority, and self-expansion authority. The model shows how efficiency pressure, path dependence, scale feedback, and weak boundary constraints concentrate decision-energy in the most efficient node. This concentration can diffuse responsibility and raise the probability of irreversible system-level loss even when local per-action error rates remain low. The main result is a boundary stabilization theorem. It shows that safety need not require proving that advanced systems are always correct. Instead, it requires institutional and technical designs that prevent irreversible power from being released by a single high-efficiency node. The paper reframes AI safety as layered control, authorization, and externally reviewable limits, linking alignment, security engineering, organizational economics, and institutional design.
- Abstract（参考訳）: 最近のAIシステムは、能力の成長と能力展開の間の距離を圧縮している。
初期のリスクの高い技術は、資本の強さ、物理的ボトルネック、組織的慣性、特別なサプライチェーンによって遅くなっていた。
対照的に、AI機能は、コピー、呼び出し、ワークフローへの組み込み、低限界コストで機関間でスケールすることができる。
本稿では,展開摩擦の減少が,その根元にある安全問題に変化をもたらすことを論じる。
安全とは、局所的な出力の正しさや嗜好の整合性だけでなく、決定密度の上昇による不可逆性の制御である。
本論文は、この主張を、決定エネルギー密度(英語版)によって形式化する: 連続的な決定を生成し、評価し、選択し、実行するためのノードの速度重み付け能力である。
そして、AIが人間の支配するシステム内の増幅器のままなのか、それともデファクトコントロールセンターになるのかを判断する3つの主権境界、すなわち不可逆的な決定権限、物理的なリソース動員権限、自己拡張権限を識別する。
このモデルは、最も効率的なノードにおいて、効率圧、経路依存性、スケールフィードバック、および弱い境界制約がいかに決定エネルギーに集中するかを示す。
この濃度は、局所的なper-actionエラー率が低い場合でも、責任を拡散し、不可逆的なシステムレベルの損失の確率を高める。
主な結果は境界安定化定理である。
安全のためには、先進的なシステムが常に正しいことを証明する必要はない。
代わりに、単一の高効率ノードによって不可逆的な電力が放出されるのを防ぐために、制度的および技術的設計が必要である。
この論文は、AIの安全性を階層化された制御、認可、および外部のレビュー可能な限界として再設定し、アライメント、セキュリティエンジニアリング、組織経済学、組織設計をリンクする。
関連論文リスト
- A Public Theory of Distillation Resistance via Constraint-Coupled Reasoning Architectures [3.719121868494767]
本稿では, アーキテクチャレベルでの非対称性を低減するための, パブリックな, トレードシークレット・セーフな理論的枠組みを提案する。
核となる主張は、内部安定性の制約に高レベルの能力が結合された場合、蒸留はショートカットとしての価値が低下するということである。
プロプライエタリな実装の詳細、トレーニングレシピ、しきい値、隠れ状態の計測、デプロイメント手順、機密システム設計選択を省略する。
論文 参考訳（メタデータ） (2026-03-26T04:38:58Z) - Selection as Power: Constrained Reinforcement for Bounded Decision Authority [0.0]
そこでは,外部に強制された主権制約の下でのスコアリングとリデューサパラメータに強化更新を適用して,インセンティブ付き選択ガバナンスを導入する。
更新ステップ毎に主権の制約が課される場合,学習ダイナミクスは構造的多様性と共存可能であることを示す。
これらの結果は,各更新ステップで主権制約が適用された場合,動的学習が構造的多様性と共存可能であることを示す。
論文 参考訳（メタデータ） (2026-03-02T16:02:34Z) - SAGE-LLM: Towards Safe and Generalizable LLM Controller with Fuzzy-CBF Verification and Graph-Structured Knowledge Retrieval for UAV Decision [46.089736018739295]
大型言語モデル (LLM) には、ドメイン固有のUAV制御知識と正式な安全保証がない。
本稿では,LLMに基づく列車自由な2層決定アーキテクチャを提案し,低レベルの高精度制御と高レベルの安全計画を統合する。
論文 参考訳（メタデータ） (2026-02-27T06:41:04Z) - Agency and Architectural Limits: Why Optimization-Based Systems Cannot Be Norm-Responsive [0.0]
AIシステムは、標準によって管理されるという前提の下で、ハイステークな状況にますますデプロイされている。
本稿では,最適化システムに対して仮定が正式に無効であることを示す。
論文 参考訳（メタデータ） (2026-02-26T17:16:17Z) - Towards Selection as Power: Bounding Decision Authority in Autonomous Agents [0.0]
我々は、認知、選択、行動を独立したドメインに分離し、自律性を主権のベクトルとしてモデル化するガバナンスアーキテクチャを提案する。
変動操作,しきい値ゲーム,フレーミングスキュー,順序付け効果,エントロピー探索を対象とし,複数の規制された金融シナリオを対象としたシステムの評価を行った。
その結果、機械的選択ガバナンスは実装可能であり、監査可能であり、推論能力を維持しながら決定論的結果の獲得を防止することが示されている。
論文 参考訳（メタデータ） (2026-02-16T10:10:47Z) - The Chancellor Trap: Administrative Mediation and the Hollowing of Sovereignty in the Algorithmic Age [0.0]
高スループットの組織では、AIによる意思決定サポートによって、失敗が公然と合法化され、政治的に競合する可能性を減らすことができる。
本稿は、この力学を検証ギャップを特徴とする主エージェント問題として定式化する。
ガバナンスシステムは、失敗を内部的に吸収し解決する上で、より効果的になり、同時に、これらの失敗が政治的に目に見えるしきい値を上げる。
論文 参考訳（メタデータ） (2026-02-09T07:28:44Z) - Making LLMs Reliable When It Matters Most: A Five-Layer Architecture for High-Stakes Decisions [51.56484100374058]
現在の大規模言語モデル(LLM)は、実行前にアウトプットをチェックできるが、不確実な結果を伴う高い戦略決定には信頼性が低い検証可能な領域で優れている。
このギャップは、人間と人工知能(AI)システムの相互認知バイアスによって引き起こされ、そのセクターにおける評価と投資の持続可能性の保証を脅かす。
本報告では、7つのフロンティアグレードLDMと3つの市場向けベンチャーヴィグネットの時間的圧力下での系統的質的評価から生まれた枠組みについて述べる。
論文 参考訳（メタデータ） (2025-11-10T22:24:21Z) - Artificial Intelligence in Government: Why People Feel They Lose Control [44.99833362998488]
行政における人工知能の利用は急速に拡大している。
AIはより効率と応答性を約束するが、政府機能への統合は公正性、透明性、説明責任に関する懸念を提起する。
この記事では、デリゲートの特別事例として、AI導入に関するプリンシパル・エージェント理論を適用します。
論文 参考訳（メタデータ） (2025-05-02T07:46:41Z) - Safe Neural Control for Non-Affine Control Systems with Differentiable
Control Barrier Functions [58.19198103790931]
本稿では,非アフィン制御系における安全クリティカル制御の問題に対処する。
制御バリア関数(CBF)を用いて,状態制約と制御制約の2次コストの最適化を2次プログラムのシーケンス(QP)にサブ最適化できることが示されている。
我々は,高次CBFをニューラル常微分方程式に基づく学習モデルに差分CBFとして組み込んで,非アフィン制御系の安全性を保証する。
論文 参考訳（メタデータ） (2023-09-06T05:35:48Z) - Enforcing Policy Feasibility Constraints through Differentiable
Projection for Energy Optimization [57.88118988775461]
本稿では,ニューラルポリシー内での凸操作制約を強制するために,PROF(Projected Feasibility)を提案する。
エネルギー効率の高い建築操作とインバータ制御の2つの応用についてPROFを実証する。
論文 参考訳（メタデータ） (2021-05-19T01:58:10Z) - Constrained Markov Decision Processes via Backward Value Functions [43.649330976089004]
制約付きマルコフ決定プロセスとして,制約付き学習の問題をモデル化する。
我々のアプローチの重要な貢献は、累積的なコスト制約を状態ベースの制約に変換することである。
我々は、エージェントが訓練の過程で安全を確保しながら収束する理論的保証を提供する。
論文 参考訳（メタデータ） (2020-08-26T20:56:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。