Fugu-MT 論文翻訳(概要): Position: AI agents should be regulated based on autonomous action sequences

論文の概要: Position: AI agents should be regulated based on autonomous action sequences

arxiv url: http://arxiv.org/abs/2503.04750v1
Date: Fri, 07 Feb 2025 09:40:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-16 10:47:27.678447
Title: Position: AI agents should be regulated based on autonomous action sequences
Title（参考訳）: ポジション:AIエージェントは自律的なアクションシーケンスに基づいて規制されるべき
Authors: Takauki Osogami,
Abstract要約: AIエージェントは、自律的に取るべき行動の順序に基づいて規制されるべきである、と私たちは主張する。我々は、存在リスクに関するAI科学者の適切な規制と勧告について論じる。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: This position paper argues that AI agents should be regulated based on the sequence of actions they autonomously take. AI agents with long-term planning and strategic capabilities can pose significant risks of human extinction and irreversible global catastrophes. While existing regulations often focus on computational scale as a proxy for potential harm, we contend that such measures are insufficient for assessing the risks posed by AI agents whose capabilities arise primarily from inference-time computation. To support our position, we discuss relevant regulations and recommendations from AI scientists regarding existential risks, as well as the advantages of action sequences over existing impact measures that require observing environmental states.
Abstract（参考訳）: このポジションペーパーでは、AIエージェントは、自律的に取るべき行動の順序に基づいて規制されるべきである、と論じている。長期計画と戦略的能力を持つAIエージェントは、人類の絶滅と不可逆的世界大災害の重大なリスクを生じさせる可能性がある。既存の規制は、しばしば潜在的な害のプロキシとして計算スケールに焦点をあてるが、このような措置は、主に推論時計算から生じるAIエージェントによるリスクを評価するには不十分である、と我々は主張する。我々の立場を支持するため、我々は、環境状態の監視を必要とする既存の影響対策に対するアクションシーケンスの利点と同様に、存在リスクに関するAI科学者の適切な規制と勧告について議論する。

関連論文リスト

Fully Autonomous AI Agents Should Not be Developed [58.88624302082713]
本稿では,完全自律型AIエージェントを開発すべきではないと主張している。この立場を支持するために、我々は、従来の科学文献と現在の製品マーケティングから、異なるAIエージェントレベルを規定するために構築する。分析の結果,システムの自律性によって人へのリスクが増大することが明らかとなった。
論文参考訳（メタデータ） (2025-02-04T19:00:06Z)
Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
論文参考訳（メタデータ） (2024-10-25T07:53:32Z)
Risk Alignment in Agentic AI Systems [0.0]
監視の少ない複雑な行動を実行することができるエージェントAIは、そのようなシステムをユーザ、開発者、社会と安全に構築し整合させる方法について、新たな疑問を提起する。リスクアライメントは、ユーザの満足度と信頼には重要ですが、社会にさらに大きな影響をもたらします。これらの質問の重要な規範的および技術的側面を論じる3つの論文を提示する。
論文参考訳（メタデータ） (2024-10-02T18:21:08Z)
Liability and Insurance for Catastrophic Losses: the Nuclear Power Precedent and Lessons for AI [0.0]
本稿では、フロンティアAIモデルの開発者は、クリティカルAI発生(CAIO)による損害に対して、限定的で厳格で排他的な第三者責任を課すべきである、と論じる。 CAIO責任の強制保険は、開発者の判断力、勝者の呪いのダイナミクスを克服し、保険会社の準規制能力を活用するために推奨される。
論文参考訳（メタデータ） (2024-09-10T17:41:31Z)
Taxonomy to Regulation: A (Geo)Political Taxonomy for AI Risks and Regulatory Measures in the EU AI Act [0.0]
この研究は、AIに関連する(地質)政治的リスクに焦点を当てた分類法を提案する。 1)地政学的圧力,(2)悪用,(3)環境,社会的,倫理的リスク,(4)プライバシ・トラスト・ヴァイオレーションの4つのカテゴリに分類される。
論文参考訳（メタデータ） (2024-04-17T15:32:56Z)
Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文参考訳（メタデータ） (2024-02-06T18:54:07Z)
Visibility into AI Agents [9.067567737098594]
AIエージェントに対する商業的、科学的、政府的、個人的活動の委譲の増加は、既存の社会的リスクを悪化させる可能性がある。エージェント識別子,リアルタイム監視,アクティビティログという,AIエージェントの視認性を高めるための3つの尺度を評価した。
論文参考訳（メタデータ） (2024-01-23T23:18:33Z)
The risks of risk-based AI regulation: taking liability seriously [46.90451304069951]
AIの開発と規制は、重要な段階に達したようだ。一部の専門家は、GPT-4よりも強力なAIシステムのトレーニングに関するモラトリアムを求めている。本稿では、最も先進的な法的提案である欧州連合のAI法について分析する。
論文参考訳（メタデータ） (2023-11-03T12:51:37Z)
Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文参考訳（メタデータ） (2023-10-26T17:59:06Z)
Safety Margins for Reinforcement Learning [53.10194953873209]
安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
論文参考訳（メタデータ） (2023-07-25T16:49:54Z)
Quantitative AI Risk Assessments: Opportunities and Challenges [7.35411010153049]
リスクを減らす最善の方法は、包括的なAIライフサイクルガバナンスを実装することです。リスクは技術コミュニティのメトリクスを使って定量化できます。本稿では,このようなアプローチの機会,課題,潜在的影響に焦点をあてて,これらの課題について考察する。
論文参考訳（メタデータ） (2022-09-13T21:47:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。