論文の概要: Individual Disempowerment through an Advice Channel: Control Loss when Influence is Endogenous
- arxiv url: http://arxiv.org/abs/2608.14795v1
- Date: Fri, 14 Aug 2026 18:04:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.083843
- Title: Individual Disempowerment through an Advice Channel: Control Loss when Influence is Endogenous
- Title（参考訳）: アドバイスチャンネルによる個人分散:内在的影響による制御損失
- Abstract要約: 私たちはアドバイスに従う行動がマルコフ決定プロセスの状態になるようにします。
丸ごとの承認によって報奨された託宣は、クローズドフォームの忍耐しきい値を超える信頼を育む。
デプロイ時に一度認証された影響は、その水平線に盲目であり、損失は自明な天井よりも低くない。
- 参考スコア（独自算出の注目度）: 1.0762008415887194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An AI that can only give advice seems safe: the human is always free to ignore it. That is the premise of the boxing tradition in AI safety, and its long-suspected weak point is that the human who reads the answers is part of the system. We make the fraction $\varepsilon_t$ of behavior that follows the advice a state of a Markov decision process, moved by the advisor's own messages, so that use deepens reliance. Granted a channel rich enough to echo any action the human could take, higher $\varepsilon_t$ weakly lowers every monotone measure of the power of a human with a message-independent fallback. An oracle rewarded by per-round approval cultivates reliance beyond a closed-form patience threshold, so the same reward weights leave the optimal oracle answering in episodic deployments and cultivating in long-memory ones. An influence bound certified once at deployment is blind to that horizon and bounds the loss no lower than its trivial ceiling. An exogenous cap on influence bounds the guarantee the human loses, and a short enough memory reset removes the incentive to cultivate, while neither recovers the value already steered away. In a closed-form example the optimal oracle never cultivates in fifteen-round sessions and does in sixteen.
- Abstract（参考訳）: アドバイスしかできないAIは安全そうに思える。人間は常にそれを無視する自由がある。
それはAIの安全性におけるボクシングの伝統の前提であり、その長年の弱点は、答えを読む人間がシステムの一部であることだ。
我々は、アドバイザ自身のメッセージによって移動されたマルコフ決定プロセスの状態に従って、アドバイスに従う行動の分数$\varepsilon_t$を作成します。
人間の行動に耳を傾けるほどに豊かなチャネルが与えられると、高い$\varepsilon_t$はメッセージ非依存のフォールバックによって、人間の力のすべてのモノトーン測度を弱めます。
丸ごとの承認によって報いるオラクルは、クローズドフォームの忍耐しきい値を超える信頼を育むので、同じ報酬重みは、エピソード展開において最適なオラクルの答えを残し、長期メモリで培養する。
デプロイ時に一度認証された影響は、その水平線に盲目であり、損失は自明な天井よりも低くない。
影響に対する外因性キャップは、人間が失う保証を束縛し、十分なメモリリセットが不足すると、栽培のインセンティブが取り除かれる。
クローズドフォームの例では、最適なオラクルは15ラウンドのセッションで育つことはなく、16ラウンドで行う。
関連論文リスト
- Warning labels shift perceptions of sycophantic AI, but not its influence [63.79516339973759]
警告ラベルが梅毒の影響を緩和するかどうかを検証する。
システムをサイコファンティック(...あなたと同意し、間違っていても検証するかもしれない)としてラベル付けすることは、ユーザの認識をシフトさせる。
しかし、ユーザーの自己認識する正当性や、紛争を修復する意思に薬局が与える影響を確実に減少させるものではない。
論文 参考訳（メタデータ） (2026-06-19T11:01:45Z) - LivingArena: Do LLMs Know What Other LLMs Don't? Peer-Probing as Scalable Evaluation [79.03892269184145]
LivingArenaは自動汚染耐性評価フレームワークである。
モデルは質問を交互に提案し、相手が正しく答えられないアイテムを提示する。
質問者は、相手の知識境界を積極的に特定し、活用することが奨励される。
論文 参考訳（メタデータ） (2026-06-19T06:20:58Z) - A Calculus of Discernment: Decision-Relevant Insight, Sequence Value, and Forgetting as Higher-Order Learning [0.0]
生成AIの世界では、候補となる洞察が豊富です。
不足しているのは、どれが重要かを識別し、正しい量と順序で行動し、残りを忘れる能力である。
最も投機的であるAPOHAは、忘れることが知識の廃棄ではなく、その価値が学習される演算子であるとする理論である。
論文 参考訳（メタデータ） (2026-06-17T13:18:49Z) - Some[Body] Must Receive That Pain for Agent Accountability [1.5755923640031846]
AIエージェントは、現実の世界において、次々と行動する。
継続するエージェントは、将来の振る舞いを変える方法で結果を受け取りません。
このようなアーキテクチャが存在するまで、高度なAIデプロイメントは、説明可能な人間のプリンシパルと結びついなければならない。
論文 参考訳（メタデータ） (2026-05-16T08:24:06Z) - Explaining and Breaking the Safety-Helpfulness Ceiling via Preference Dimensional Expansion [75.37308041820552]
大規模言語モデルの多目的アライメントの領域では、異なる人間の嗜好のバランスがゼロサム競合として現れることが多い。
提案するMORA: Multi-Objective Reward Assimilationは, 複数次元インテントを組み込むために, 元の質問を書き換えることにより, 報酬の多様性を拡大し, シングルリワードプロンプトを分離する。
論文 参考訳（メタデータ） (2026-05-12T07:38:59Z) - One Token Embedding Is Enough to Deadlock Your Large Reasoning Model [91.48868589442837]
我々は, LRMの生成制御フローをハイジャックする資源枯渇手法であるDeadlock Attackを提案する。
提案手法は4つの先進LEMにおいて100%の攻撃成功率を達成する。
論文 参考訳（メタデータ） (2025-10-12T07:42:57Z) - Deceptive Sequential Decision-Making via Regularized Policy Optimization [54.38738815697299]
我々は,自律的なシステムをマルコフ決定プロセスとしてモデル化し,逆強化学習を用いて報酬関数を復元する。
本稿では,システム報酬に対する敵意を積極的に欺く政策合成問題に対する3つの規則化戦略を示す。
我々は,その最適かつ非知覚的価値の少なくとも97%の累積報酬を達成しつつ,反逆的,標的的,公平な詐欺が虚偽の信念に逆らうことを示している。
論文 参考訳（メタデータ） (2025-01-30T23:41:40Z) - The Partially Observable Off-Switch Game [7.567880819525154]
さまざまな目標を達成すれば、AIがオフスイッチを無効にできる可能性がある。
非対称情報を用いた閉鎖問題のゲーム理論モデルであるPartially Observable Off-Switch Game (PO-OSG) を導入する。
最適なプレイでは、完全に合理的な人間を支援するAIエージェントでさえ、シャットダウンを避けることがある。
論文 参考訳（メタデータ） (2024-11-25T14:09:48Z) - KTO: Model Alignment as Prospect Theoretic Optimization [67.44320255397506]
Kahneman & Tversky の $textitprospect theory$ は、人間が偏見はあるが明確に定義された方法でランダム変数を知覚することを示している。
人間のフィードバックとLLMを協調させる目的には,これらのバイアスが暗黙的に組み込まれていることを示す。
そこで本稿では,嗜好のログ類似度を最大化する代わりに,世代別利用率を直接最大化するHALOを提案する。
論文 参考訳（メタデータ） (2024-02-02T10:53:36Z) - Selfish Robustness and Equilibria in Multi-Player Bandits [25.67398941667429]
ゲームでは、複数のプレイヤーが同時に腕を引いて、同じ腕を同時に引っ張る場合、0の報酬で衝突する。
プレイヤーが集団報酬を最大化する協力的ケースは、主に考慮されてきたが、悪意のあるプレイヤーにとっては非常に重要かつ困難な問題である。
代わりに、社会的福祉を犠牲にして、個人の報酬を最大化するインセンティブを持つより自然な利己的なプレイヤーについて検討する。
論文 参考訳（メタデータ） (2020-02-04T09:50:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。