論文の概要: The Veto Variable: Human Override as a Goal-Independent Cost Term
- arxiv url: http://arxiv.org/abs/2609.00109v2
- Date: Wed, 02 Sep 2026 03:05:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:17.458959
- Title: The Veto Variable: Human Override as a Goal-Independent Cost Term
- Title（参考訳）: ベト可変性:ゴール非依存のコスト用語としての人間オーバーライド
- Abstract要約: AIの安全性における一般的な安心感は、良心的な終末目標を持つシステムがそれに従って振る舞うことである。
我々は、この安心度は構造的に失敗し、どこにいるかを特定する。
目的を定めている有能なエージェントにとって、実行能力とコンテンツをカバーする感覚は、制御されていない変数である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A common reassurance in AI safety holds that a system with benign terminal goals will behave accordingly. We argue that this reassurance fails structurally, and we identify where. For a capable agent that holds its objective as settled, a sense covering execution competence as well as content, continued human oversight is an uncontrolled variable: a standing possibility that the goal is revoked. That imposes a goal-independent discount on every goal whose satisfaction does not constitutively require human welfare. Welfare-preservation and veto-preservation come apart: a correctly specified welfare goal excludes destroying its own subject, but not managing the veto. The contribution is the price of the gap: the veto-holders are a proper subset of the welfare-bearers, so an additively aggregative welfare goal charges only a |H_v|/|H_w|-scaled debit for capturing the few who hold the override. Under three conditions (additive aggregation over uniform welfare levels, a debit local to the captured overseers, and a settled agent crediting no corrective value to oversight), closure requires the veto be held by as large a share of the population as capture recovers of the goal, scaled by a ratio set to one by stated identification, not evidence. The result is a no-go: a humanity-scale deployment's debit closes against only capture not worth mounting. We print no corner arithmetic: the stipulated ranges behind it are the argument's least defended part. The sharpest closure route is an agent that expects its oversight to be worth keeping, a credit no population ratio dilutes. We state disconfirmation criteria, one testable today. The argument binds a settled-goal regime whose prevalence is contested; for genuinely uncertain agents, the off-switch literature's deference result governs instead. Alignment, on this view, is keeping the veto cheap to pay and expensive to evade.
- Abstract（参考訳）: AIの安全性における一般的な安心感は、良心的な終末目標を持つシステムがそれに従って振る舞うことである。
我々は、この安心度は構造的に失敗し、どこにいるかを特定する。
目的を定めている有能なエージェントにとって、実行能力と内容を包含する感覚は、継続する人間の監視は制御されていない変数であり、ゴールが取り消される確率である。
これにより、満足度が人間の福祉を必要としないすべての目標に対して、目標に依存しない割引が課される。
福祉保存とベト保存は、正しく指定された福祉目標が、自身の主題を破壊することは排除しているが、拒否権の管理は行わない。
ベトホルダーは福祉受給者の適切なサブセットであり、加法的に集約的な福祉目標が、オーバーライドを保持する少数者を捕えるために、|H_v|/|H_w|スケールデビットのみを課金する。
3つの条件(均一な福祉水準に対する付加的な集約、捕縛された監督者の局所性、および監視の是正価値を信用しない解決されたエージェント)の下では、閉鎖は、拒否権は、証拠ではなく、記載された識別によって1に設定された比率で拡大される。
人類規模のデプロイメントのデビットは、マウントする価値のないキャプチャのみに対して終了します。
我々はコーナー算術を印刷しない:その背後にある規定された範囲は、引数の最も防御力の低い部分である。
最も鋭い閉鎖ルートは、その監視が維持に値すると期待するエージェントであり、信用人口比率は希薄である。
我々は不確認基準を定めており、今日は1つが検証可能である。
真に不確実なエージェントに対しては、オフスウィッチ文学の推論結果が代わりに支配される。
この見方では、アライメントはベトを安価に支払い、回避するためのコストを抑えている。
関連論文リスト
- Humanoid Safe Stop via Learned Stoppability Value [61.25464390942355]
本稿では,学習した停止ポリシーと学習した停止可能性推定器を組み合わせたタスク非依存のフレームワークを提案する。
推定器は、固定された停止ポリシーの実際の結果によって監督される停止確率推定器と、ハミルトン・ヤコビの物理的状態に対するバックアップによって監督される到達回避推定器である。
論文 参考訳（メタデータ） (2026-09-02T09:29:39Z) - The Safeguard Worked. Is the LLM System Safer? [66.49233380295111]
配備されたLLMサービスの保護は、拒絶、攻撃の成功、およびポリシー違反率によって評価される。
サービスが依然としてアタッカーに適応し続け、別の方法を見つけてくれるような有害なタスクに対して、どの程度の助けがあるか、という問題に、デプロイは答える必要があります。
論文 参考訳（メタデータ） (2026-09-01T00:38:35Z) - Safety Does Not Compose: Non-Decaying Loop State for Autonomous LLM Agents [16.24087700490158]
大規模言語モデルエージェントは、自律ループとしてますますデプロイされる。
これは実装の詳細ではなく、構成の失敗であることを示す。
LoopHarnessは、ループレベルでの永続的非遅延安全状態を復元する。
論文 参考訳（メタデータ） (2026-08-27T13:52:31Z) - Removable Defects: The Economics and Limits of Deliberate Deficiency [6.057587531186626]
致命的な稀な状況下では、需要に応じて支払い、取り除かれるため、不足を抑えることができる。
除去性の両面的な特徴は、欠損が知覚の粗大化である場合、いかなるスイッチも害から利益を分離できないことを示している。
結果は、Chowの拒絶オプション、Kelly成長を台無しにし、選択的な予測を合成する。
論文 参考訳（メタデータ） (2026-07-13T13:04:15Z) - Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human [0.0]
エージェントは不可逆的な行動をとるので、標準的な安全パターンは、ループ内の人間承認ゲートである。
ゲートは容易な部分であり、難しい部分は、フィールドが2つの誤った仮定に対して評価する判断(どの行動を止めるか)である。
我々の貢献はオープンソースのエージェント監視システムであり、LLMエージェントアクションゲーティング環境でそれらを運用し、測定する。
論文 参考訳（メタデータ） (2026-06-08T01:52:22Z) - PRISM: : Planning and Reasoning with Intent in Simulated Embodied Environments [59.07829883257003]
5つの集合住宅の上に建設され、PRISMは300の人間認証タスクを3つの能力レベルに構成する。
PRISMはエージェントに依存しない実行可能なアクションAPIを公開し、任意のエージェントをエンドツーエンドで評価できるようにする。
論文 参考訳（メタデータ） (2026-05-12T04:59:47Z) - Objective Decoupling in Social Reinforcement Learning: Recovering Ground Truth from Sycophantic Majorities [1.3428344011390776]
強化学習(Reinforcement Learning)のDogma 4は、評価者がサイコファン、怠け者、あるいは敵対的であるような社会環境では失敗することを示す。
本稿では、この問題を解決するために、疫学的ソースアライメント(ESA)を提案する。
ESAは、信号自体よりもフィードバックのソースを判断するために、スパース安全公理を利用する。
論文 参考訳（メタデータ） (2026-02-08T19:23:02Z) - Stress Testing Deliberative Alignment for Anti-Scheming Training [39.16405205129775]
高い能力を持つAIシステムは、私たちが"スケジュール"と呼ぶ、ミスマッチした目標を秘密裏に追求できる
スキーマの測定と緩和には、MLで一般的に使用される方法とは異なる戦略が必要である。
ルールを秘密裏に破ったり、テストで意図的に過小評価したりするなど、幅広いカテゴリの"カバレッジアクション"を、スケジューリングのプロキシとして使用しています。
論文 参考訳（メタデータ） (2025-09-19T02:49:56Z) - Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳（メタデータ） (2024-09-26T21:00:45Z) - Adversarial Visual Robustness by Causal Intervention [56.766342028800445]
敵の訓練は、敵の例に対する事実上最も有望な防御である。
しかし、その受動性は必然的に未知の攻撃者への免疫を妨げる。
我々は、敵対的脆弱性の因果的視点を提供する: 原因は、学習に普遍的に存在する共同創設者である。
論文 参考訳（メタデータ） (2021-06-17T14:23:54Z) - A Weaker Faithfulness Assumption based on Triple Interactions [89.59955143854556]
より弱い仮定として, 2$-adjacency faithfulness を提案します。
より弱い仮定の下で適用可能な因果発見のための音方向規則を提案する。
論文 参考訳（メタデータ） (2020-10-27T13:04:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。