論文の概要: From homeostasis to resource sharing: Biologically and economically aligned multi-objective multi-agent AI safety benchmarks

• arxiv url: http://arxiv.org/abs/2410.00081v2
• Date: Tue, 25 Feb 2025 18:13:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:18:01.872576
• Title: From homeostasis to resource sharing: Biologically and economically aligned multi-objective multi-agent AI safety benchmarks
• Title（参考訳）: ホメオスタシスから資源共有へ:生物学的および経済的に整合した多目的多エージェントAI安全ベンチマーク
• Authors: Roland Pihlakas, Joel Pyykkö,
• Abstract要約: 我々は、AIの安全性に関する現在主流の議論で無視されている生物学的、経済的動機付けのテーマを紹介します。 これらのテーマには、有界および生物学的目的に対するホメオスタシス、非有界、手段的、ビジネス目的に対するリターンの減少、持続可能性原理、資源共有が含まれる。 上記のテーマで8つの主要なベンチマーク環境を実装し、エージェントAIにおける重要な落とし穴と課題を明らかにします。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Developing safe, aligned agentic AI systems requires comprehensive empirical testing, yet many existing benchmarks neglect crucial themes aligned with biology and economics, both time-tested fundamental sciences describing our needs and preferences. To address this gap, the present work focuses on introducing biologically and economically motivated themes that have been neglected in current mainstream discussions on AI safety - namely a set of multi-objective, multi-agent alignment benchmarks that emphasize homeostasis for bounded and biological objectives, diminishing returns for unbounded, instrumental, and business objectives, sustainability principle, and resource sharing. We implemented eight main benchmark environments on the above themes, to illustrate key pitfalls and challenges in agentic AI-s, such as unboundedly maximizing a homeostatic objective, over-optimizing one objective at the expense of others, neglecting safety constraints, or depleting shared resources.
• Abstract（参考訳）: 安全で整合性のあるエージェントAIシステムを開発するには、包括的な経験的テストが必要ですが、既存のベンチマークの多くは、私たちのニーズと好みを説明する、タイムテストされた基礎科学の両方において、生物学と経済学に沿った重要なテーマを無視しています。 このギャップに対処するため、この研究は、AI安全性に関する現在の主流議論で無視されている生物学的、経済的に動機付けられたテーマ、すなわち、境界的および生物学的目的に対するホメオスタシスを強調する多目的、マルチエージェントアライメントベンチマークのセット、無制限、機器的、ビジネス目的に対するリターンの減少、サステナビリティの原則、リソース共有などを導入することに焦点を当てている。 上記のテーマで8つの主要なベンチマーク環境を実装し、ホメオスタティックな目的を無制限に最大化すること、他を犠牲にして1つの目標を過度に最適化すること、安全性の制約を無視すること、共有リソースの枯渇など、エージェントAI-sにおける重要な落とし穴と課題を明らかにした。

関連論文リスト

• A Trilogy of AI Safety Frameworks: Paths from Facts and Knowledge Gaps to Reliable Predictions and New Knowledge [0.0]
  AI安全は、AIコミュニティ内外の多くの科学者にとって重要な最前線の関心事となっている。 機械学習システムには、生存リスクから人間の存在、深い偽造、偏見まで、すぐに、長期にわたって予測されるリスクが数多く存在する。
  論文  参考訳（メタデータ） (2024-10-09T14:43:06Z)
• Cooperative Resilience in Artificial Intelligence Multiagent Systems [2.0608564715600273]
  本稿では, 協調レジリエンスの明確な定義とその定量化手法を提案する。 その結果は、集団システムが破壊に直面してどのように準備し、抵抗し、回復し、幸福を維持し、変革するかを分析する上で、レジリエンス指標の重要な役割を強調している。
  論文  参考訳（メタデータ） (2024-09-20T03:28:48Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
  我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
  論文  参考訳（メタデータ） (2024-07-31T17:59:24Z)
• Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
  エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。 本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
  論文  参考訳（メタデータ） (2024-02-28T16:09:56Z)
• Generative AI for Secure Physical Layer Communications: A Survey [80.0638227807621]
  Generative Artificial Intelligence(GAI)は、AIイノベーションの最前線に立ち、多様なコンテンツを生成するための急速な進歩と非並行的な能力を示す。 本稿では,通信ネットワークの物理層におけるセキュリティ向上におけるGAIの様々な応用について,広範な調査を行う。 私たちは、物理的レイヤセキュリティの課題に対処する上で、GAIの役割を掘り下げ、通信の機密性、認証、可用性、レジリエンス、整合性に重点を置いています。
  論文  参考訳（メタデータ） (2024-02-21T06:22:41Z)
• AntEval: Evaluation of Social Interaction Competencies in LLM-Driven Agents [65.16893197330589]
  大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。 しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。 本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
  論文  参考訳（メタデータ） (2024-01-12T11:18:00Z)
• Information is Power: Intrinsic Control via Information Capture [110.3143711650806]
  我々は,潜時状態空間モデルを用いて推定したエージェントの状態訪問のエントロピーを最小化する,コンパクトで汎用的な学習目的を論じる。 この目的は、不確実性の低減に対応する環境情報収集と、将来の世界状態の予測不可能性の低減に対応する環境制御の両方をエージェントに誘導する。
  論文  参考訳（メタデータ） (2021-12-07T18:50:42Z)
• Transdisciplinary AI Observatory -- Retrospective Analyses and Future-Oriented Contradistinctions [22.968817032490996]
  本稿では、本質的に学際的なAI観測アプローチの必要性を動機づける。 これらのAI観測ツールに基づいて、我々はAIの安全性に関する短期的な学際的ガイドラインを提示する。
  論文  参考訳（メタデータ） (2020-11-26T16:01:49Z)
• TanksWorld: A Multi-Agent Environment for AI Safety Research [5.218815947097599]
  複雑なタスクを実行できる人工知能を作成する能力は、AI対応システムの安全かつ確実な運用を保証する能力を急速に上回っている。 AIの安全性リスクを示す最近のシミュレーション環境は、特定の問題に比較的単純または狭く焦点を絞っている。 我々は,3つの重要な側面を持つAI安全研究環境として,AI安全タンクワールドを紹介した。
  論文  参考訳（メタデータ） (2020-02-25T21:00:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。