論文の概要: AI Agents Should be Regulated Based on the Extent of Their Autonomous Operations

• arxiv url: http://arxiv.org/abs/2503.04750v2
• Date: Mon, 26 May 2025 08:41:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 14:32:53.551545
• Title: AI Agents Should be Regulated Based on the Extent of Their Autonomous Operations
• Title（参考訳）: AIエージェントは、自律的な操作の残量に基づいて規制されるべきである
• Authors: Takayuki Osogami,
• Abstract要約: AIエージェントは、自律的に動作する範囲で規制されるべきである、と我々は主張する。 既存の規制は、しばしば潜在的な害のプロキシとして計算スケールに焦点を当てる。 我々は,既存のリスクに関する科学者の規制や勧告について論じる。
• 参考スコア（独自算出の注目度）: 8.043534206868326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This position paper argues that AI agents should be regulated by the extent to which they operate autonomously. AI agents with long-term planning and strategic capabilities can pose significant risks of human extinction and irreversible global catastrophes. While existing regulations often focus on computational scale as a proxy for potential harm, we argue that such measures are insufficient for assessing the risks posed by agents whose capabilities arise primarily from inference-time computation. To support our position, we discuss relevant regulations and recommendations from scientists regarding existential risks, as well as the advantages of using action sequences -- which reflect the degree of an agent's autonomy -- as a more suitable measure of potential impact than existing metrics that rely on observing environmental states.
• Abstract（参考訳）: このポジションペーパーでは、AIエージェントは自律的に動作する範囲で規制されるべきである、と論じている。 長期計画と戦略的能力を持つAIエージェントは、人類の絶滅と不可逆的世界大災害の重大なリスクを生じさせる可能性がある。 既存の規制は、しばしば潜在的害のプロキシとして計算スケールに焦点をあてるが、このような対策は、主に推論時計算から生じるエージェントによるリスクを評価するには不十分である、と論じる。 我々の立場を支持するため、我々は、環境状態の観察に依存する既存の指標よりも、エージェントの自律性の度合いを反映したアクションシーケンスを使用することの利点と同様に、存在リスクに関する科学者の適切な規制と勧告について議論する。

関連論文リスト

• An Approach to Technical AGI Safety and Security [72.83728459135101]
  我々は、人類を著しく傷つけるのに十分な害のリスクに対処するアプローチを開発する。 私たちは、誤用や悪用に対する技術的なアプローチに重点を置いています。 これらの成分を組み合わせてAGIシステムの安全性を実現する方法について概説する。
  論文  参考訳（メタデータ） (2025-04-02T15:59:31Z)
• Confronting Catastrophic Risk: The International Obligation to Regulate Artificial Intelligence [0.0]
  我々は、AIによる人間の絶滅の脅威を軽減するための国際的義務があると主張している。 我々は、AIの潜在的な存在リスクを軽減するために、規制措置を積極的に取ることが国際人権法における生命権の下での国家に対する肯定的な義務であると主張している。
  論文  参考訳（メタデータ） (2025-03-23T06:24:45Z)
• Superintelligent Agents Pose Catastrophic Risks: Can Scientist AI Offer a Safer Path? [37.13209023718946]
  未確認のAI機関は、公共の安全とセキュリティに重大なリスクをもたらす。 これらのリスクが現在のAIトレーニング方法からどのように生じるかについて議論する。 我々は,非エージェント型AIシステムの開発をさらに進めるために,コアビルディングブロックを提案する。
  論文  参考訳（メタデータ） (2025-02-21T18:28:36Z)
• Fully Autonomous AI Agents Should Not be Developed [58.88624302082713]
  本稿では,完全自律型AIエージェントを開発すべきではないと主張している。 この立場を支持するために、我々は、従来の科学文献と現在の製品マーケティングから、異なるAIエージェントレベルを規定するために構築する。 分析の結果,システムの自律性によって人へのリスクが増大することが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-04T19:00:06Z)
• Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
  信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。 私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
  論文  参考訳（メタデータ） (2024-10-25T07:53:32Z)
• Risk Alignment in Agentic AI Systems [0.0]
  監視の少ない複雑な行動を実行することができるエージェントAIは、そのようなシステムをユーザ、開発者、社会と安全に構築し整合させる方法について、新たな疑問を提起する。 リスクアライメントは、ユーザの満足度と信頼には重要ですが、社会にさらに大きな影響をもたらします。 これらの質問の重要な規範的および技術的側面を論じる3つの論文を提示する。
  論文  参考訳（メタデータ） (2024-10-02T18:21:08Z)
• Liability and Insurance for Catastrophic Losses: the Nuclear Power Precedent and Lessons for AI [0.0]
  本稿では、フロンティアAIモデルの開発者は、クリティカルAI発生(CAIO)による損害に対して、限定的で厳格で排他的な第三者責任を課すべきである、と論じる。 CAIO責任の強制保険は、開発者の判断力、勝者の呪いのダイナミクスを克服し、保険会社の準規制能力を活用するために推奨される。
  論文  参考訳（メタデータ） (2024-09-10T17:41:31Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• Visibility into AI Agents [9.067567737098594]
  AIエージェントに対する商業的、科学的、政府的、個人的活動の委譲の増加は、既存の社会的リスクを悪化させる可能性がある。 エージェント識別子,リアルタイム監視,アクティビティログという,AIエージェントの視認性を高めるための3つの尺度を評価した。
  論文  参考訳（メタデータ） (2024-01-23T23:18:33Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。