論文の概要: Fundamental Impossibility Results in AI Safety: Trading Off between Desiderata
- arxiv url: http://arxiv.org/abs/2610.27373v1
- Date: Mon, 19 Oct 2026 22:57:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.540007
- Title: Fundamental Impossibility Results in AI Safety: Trading Off between Desiderata
- Title（参考訳）: AIの安全性に関する基本的な不確実性 - Desiderata間の取引
- Abstract要約: 我々は,AIシステムとユーザ間のインタラクションを3人のプレーヤー(ディフェンダーと攻撃者)とゲームとして形式化する。
私たちの主な成果は、アドバイスを公開しながら、ディフェンダーを助けるアドバイスを提供することに根本的なトレードオフがあることを示しています。
- 参考スコア（独自算出の注目度）: 95.55688515958674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Is there a fundamental tradeoff between desiderata for safe AI systems, such as harmlessness and helpfulness? We answer by formalizing the interaction between AI systems and users as a game with three players: a defender and an attacker that are computationally or informationally bounded, and an AI that provides public advice and is less constrained. Our main result shows that there is a fundamental tradeoff in providing advice that helps the defender while advice remains public. We also consider whether the information that the AI shares can be manipulated to benefit only the defender and conclude with a discussion of how we can use these results in designing safer AI systems.
- Abstract（参考訳）: デシデラタと安全AIシステム、例えば無害性や役に立つものの間には、根本的なトレードオフがあるのだろうか?
私たちは、AIシステムとユーザ間のインタラクションを3人のプレーヤーによるゲームとしてフォーマルなものにすることで答えます。
私たちの主な成果は、アドバイスを公開しながら、ディフェンダーを助けるアドバイスを提供することに根本的なトレードオフがあることを示しています。
また、AIが共有する情報がディフェンダーだけに利益をもたらすことができるかどうかも検討し、より安全なAIシステムの設計にこれらの結果をどのように利用できるかについての議論を締めくくります。
関連論文リスト
- What Is AI Safety? What Do We Want It to Be? [0.0]
研究プロジェクトは、AIシステムによって引き起こされる害を防ぎ、軽減しようとする場合にのみ、AIの安全性の見地に入る。
その単純さと魅力にもかかわらず、私たちは、AI安全研究者と組織がAI安全について考え話し合う方法に関して、少なくとも2つのトレンドと緊張関係にあると主張している。
論文 参考訳（メタデータ） (2025-05-05T01:55:00Z) - Designing AI-Enabled Countermeasures to Cognitive Warfare [0.0]
ソーシャルメディアプラットフォーム上での外国情報操作は、民主主義社会に重大なリスクをもたらす。
人工知能(AI)の台頭により、この脅威は強化され、潜在的に圧倒的な人間の防御者となる可能性がある。
本稿では,認知戦争に対するAI対応対策の可能性を提案する。
論文 参考訳（メタデータ） (2025-04-14T11:36:03Z) - Why do Experts Disagree on Existential Risk and P(doom)? A Survey of AI Experts [0.0]
破滅的なリスクとAIアライメントに関する研究は、専門家による懐疑的な見方がしばしばある。
AIの実在するリスクに関するオンライン議論が、部族化し始めた。
AIの安全性の概念に精通している111人のAI専門家を調査しました。
論文 参考訳（メタデータ） (2025-01-25T01:51:29Z) - Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。
学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。
トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
論文 参考訳（メタデータ） (2024-07-03T15:38:57Z) - AI Safety: Necessary, but insufficient and possibly problematic [1.6797508081737678]
この記事では、AI安全性に関する最近の誇大広告について批判的に考察する。
AIの安全性」とは実際に何を意味するのかを考察し、AIの安全性のデジタルフットプリントが持つ支配的な概念を概説する。
私たちは、AIの安全性が、悪用され有害なAIに安全を害することで、構造的危害を助長するAIを正規化する方法に関する懸念を共有します。
論文 参考訳（メタデータ） (2024-03-26T06:18:42Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳（メタデータ） (2022-11-12T21:54:05Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - The Threat of Offensive AI to Organizations [52.011307264694665]
この調査は、組織に対する攻撃的なAIの脅威を調査する。
まず、AIが敵の方法、戦略、目標、および全体的な攻撃モデルをどのように変えるかについて議論する。
そして、文献レビューを通じて、敵が攻撃を強化するために使用できる33の攻撃的AI能力を特定します。
論文 参考訳（メタデータ） (2021-06-30T01:03:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。