論文の概要: Alignment, Agency and Autonomy in Frontier AI: A Systems Engineering Perspective
- arxiv url: http://arxiv.org/abs/2503.05748v1
- Date: Thu, 20 Feb 2025 21:37:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-16 09:47:39.236456
- Title: Alignment, Agency and Autonomy in Frontier AI: A Systems Engineering Perspective
- Title（参考訳）: Frontier AIにおけるアライメント、エージェンシー、自律性 - システムエンジニアリングの観点から
- Authors: Krti Tallam,
- Abstract要約: アライメント、エージェンシー、自律といった概念は、AIの安全性、ガバナンス、制御の中心となっている。
本稿では、これらの概念の歴史的、哲学的、技術的進化をトレースし、その定義がAI開発、デプロイメント、監視にどのように影響するかを強調する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: As artificial intelligence scales, the concepts of alignment, agency, and autonomy have become central to AI safety, governance, and control. However, even in human contexts, these terms lack universal definitions, varying across disciplines such as philosophy, psychology, law, computer science, mathematics, and political science. This inconsistency complicates their application to AI, where differing interpretations lead to conflicting approaches in system design and regulation. This paper traces the historical, philosophical, and technical evolution of these concepts, emphasizing how their definitions influence AI development, deployment, and oversight. We argue that the urgency surrounding AI alignment and autonomy stems not only from technical advancements but also from the increasing deployment of AI in high-stakes decision making. Using Agentic AI as a case study, we examine the emergent properties of machine agency and autonomy, highlighting the risks of misalignment in real-world systems. Through an analysis of automation failures (Tesla Autopilot, Boeing 737 MAX), multi-agent coordination (Metas CICERO), and evolving AI architectures (DeepMinds AlphaZero, OpenAIs AutoGPT), we assess the governance and safety challenges posed by frontier AI.
- Abstract（参考訳）: 人工知能が規模を拡大するにつれ、アライメント、エージェンシー、自律といった概念がAIの安全性、ガバナンス、制御の中心となっている。
しかしながら、人間の文脈においても、これらの用語は普遍的な定義を欠き、哲学、心理学、法学、計算機科学、数学、政治科学など様々な分野にまたがる。
この矛盾はAIへの応用を複雑にし、異なる解釈がシステム設計と規制における矛盾するアプローチにつながる。
本稿では、これらの概念の歴史的、哲学的、技術的進化をトレースし、その定義がAI開発、デプロイメント、監視にどのように影響するかを強調する。
我々は、AIアライメントと自律性を取り巻く緊急性は、技術的な進歩だけでなく、AIの高度な意思決定への展開の増加にも起因していると論じている。
エージェントAIをケーススタディとして、実世界のシステムにおける不正調整のリスクを強調し、機械学習と自律性の創発的特性について検討する。
自動化障害(Tesla Autopilot、Boeing 737 MAX)、マルチエージェント調整(Metas CICERO)、進化中のAIアーキテクチャ(DeepMinds AlphaZero、OpenAIs AutoGPT)の分析を通じて、フロンティアAIによるガバナンスと安全性の課題を評価する。
関連論文リスト
- AI Generations: From AI 1.0 to AI 4.0 [3.4440023363051266]
本稿では,人工知能(AI)が複数の世代にまたがって進化していくことを提案する。
これらのAI世代は、アルゴリズム、計算能力、データ間の優先順位のシフトによって駆動される。
人工知能が人間のような自律性に近づいた(あるいはそうしようとする)ときに生じる、深い倫理的、規制的、哲学的な課題を探求する。
論文 参考訳（メタデータ） (2025-02-16T23:19:44Z) - Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
AIシステムは知恵を欠いている。
AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。
メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
論文 参考訳（メタデータ） (2024-11-04T18:10:10Z) - The Switch, the Ladder, and the Matrix: Models for Classifying AI Systems [0.0]
AI倫理の原則と実践の間にはまだギャップがある。
AI倫理を運用しようとする組織が直面する大きな障害のひとつは、明確に定義された材料スコープの欠如である。
論文 参考訳（メタデータ） (2024-07-07T12:16:01Z) - Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。
学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。
トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
論文 参考訳（メタデータ） (2024-07-03T15:38:57Z) - A Red Teaming Framework for Securing AI in Maritime Autonomous Systems [0.0]
海上自律システムのAIセキュリティを評価するための,最初のレッドチームフレームワークを提案する。
このフレームワークはマルチパートのチェックリストであり、異なるシステムや要件に合わせて調整できる。
私たちはこのフレームワークが、現実の海上自律システムAI内の多数の脆弱性を明らかにするために、レッドチームにとって非常に効果的であることを実証しています。
論文 参考訳（メタデータ） (2023-12-08T14:59:07Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - Examining the Differential Risk from High-level Artificial Intelligence
and the Question of Control [0.0]
将来のAI能力の範囲と範囲は、依然として重要な不確実性である。
AIの不透明な意思決定プロセスの統合と監視の程度には懸念がある。
本研究では、AIリスクをモデル化し、代替先分析のためのテンプレートを提供する階層的な複雑なシステムフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-06T15:46:02Z) - Never trust, always verify : a roadmap for Trustworthy AI? [12.031113181911627]
我々はAIベースのシステムのコンテキストにおける信頼を検証し、AIシステムが信頼に値するものとなることの意味を理解する。
我々は、AIに対する信頼(resp. zero-trust)モデルを提案し、AIシステムの信頼性を保証するために満足すべき特性のセットを提案する。
論文 参考訳（メタデータ） (2022-06-23T21:13:10Z) - Fairness in Agreement With European Values: An Interdisciplinary
Perspective on AI Regulation [61.77881142275982]
この学際的立場の論文は、AIにおける公平性と差別に関する様々な懸念を考察し、AI規制がそれらにどう対処するかについて議論する。
私たちはまず、法律、(AI)産業、社会技術、そして(道徳)哲学のレンズを通して、AIと公正性に注目し、様々な視点を提示します。
我々は、AI公正性の懸念の観点から、AI法の取り組みを成功に導くために、AIレギュレーションが果たす役割を特定し、提案する。
論文 参考訳（メタデータ） (2022-06-08T12:32:08Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - Building Bridges: Generative Artworks to Explore AI Ethics [56.058588908294446]
近年,人工知能(AI)技術が社会に与える影響の理解と緩和に重点が置かれている。
倫理的AIシステムの設計における重要な課題は、AIパイプラインには複数の利害関係者があり、それぞれがそれぞれ独自の制約と関心を持っていることだ。
このポジションペーパーは、生成的アートワークが、アクセス可能で強力な教育ツールとして機能することで、この役割を果たすことができる可能性のいくつかを概説する。
論文 参考訳（メタデータ） (2021-06-25T22:31:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。