論文の概要: World Models: The Safety Perspective

• arxiv url: http://arxiv.org/abs/2411.07690v1
• Date: Tue, 12 Nov 2024 10:15:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:21:36.552598
• Title: World Models: The Safety Perspective
• Title（参考訳）: 世界モデル:安全の観点から
• Authors: Zifan Zeng, Chongzhe Zhang, Feng Liu, Joseph Sifakis, Qunli Zhang, Shiming Liu, Peng Wang,
• Abstract要約: 世界モデル(WM)の概念は最近、AI研究コミュニティで大きな注目を集めています。 我々は、最先端のWMの詳細な分析とその影響について、研究コミュニティに対して、WMの安全性と信頼性の向上に協力するよう呼びかける。
• 参考スコア（独自算出の注目度）: 6.520366712367809
• License:
• Abstract: With the proliferation of the Large Language Model (LLM), the concept of World Models (WM) has recently attracted a great deal of attention in the AI research community, especially in the context of AI agents. It is arguably evolving into an essential foundation for building AI agent systems. A WM is intended to help the agent predict the future evolution of environmental states or help the agent fill in missing information so that it can plan its actions and behave safely. The safety property of WM plays a key role in their effective use in critical applications. In this work, we review and analyze the impacts of the current state-of-the-art in WM technology from the point of view of trustworthiness and safety based on a comprehensive survey and the fields of application envisaged. We provide an in-depth analysis of state-of-the-art WMs and derive technical research challenges and their impact in order to call on the research community to collaborate on improving the safety and trustworthiness of WM.
• Abstract（参考訳）: LLM(Large Language Model)の普及に伴い、WM(World Models)の概念は、AI研究コミュニティ、特にAIエージェントの文脈において、近年大きな注目を集めている。 それは間違いなく、AIエージェントシステムを構築するための重要な基盤へと進化している。 WMは、エージェントが将来の環境状態の進化を予測するのを助けること、またはエージェントがその行動を計画し、安全に振る舞うために行方不明の情報を埋めるのを助けることを目的としている。 WMの安全性は、重要な応用における有効利用において重要な役割を担っている。 本稿では,WM技術における現在の最先端技術の影響を,総合的な調査とアプリケーション分野に基づく信頼性と安全性の観点から検討し,分析する。 我々は、最先端のWMの詳細な分析を行い、技術研究の課題とその影響を導き、研究コミュニティにWMの安全性と信頼性向上の協力を求める。

関連論文リスト

• Large Model Agents: State-of-the-Art, Cooperation Paradigms, Security and Privacy, and Future Trends [25.029148345440902]
  GPT-4やDALL-E 2のような大きな基盤モデルを利用した大規模モデル(LM)エージェントは、人工知能(AGI)の実現に向けた重要なステップである。 本稿では,アーキテクチャ,協調パラダイム,セキュリティ,プライバシ,今後の展望を中心に,LMエージェントの現状を包括的に調査する。
  論文  参考訳（メタデータ） (2024-09-22T14:09:49Z)
• Recent Advances in Attack and Defense Approaches of Large Language Models [27.271665614205034]
  大規模言語モデル(LLM)は、高度なテキスト処理と生成機能を通じて、人工知能と機械学習に革命をもたらした。 彼らの広範な展開は、重大な安全性と信頼性の懸念を引き起こした。 本稿は,LLMの脆弱性と脅威に関する最近の研究をレビューし,現代防衛機構の有効性を評価する。
  論文  参考訳（メタデータ） (2024-09-05T06:31:37Z)
• EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
  我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
  論文  参考訳（メタデータ） (2024-07-31T17:59:24Z)
• Security of AI Agents [5.468745160706382]
  AIエージェントの研究と開発は、大規模言語モデルによって促進されている。 本稿では,システムセキュリティの観点から,これらの脆弱性を詳細に識別し,記述する。 本報告では, 各脆弱性に対応する防御機構について, 厳密な設計と実験を行い, その生存性を評価する。
  論文  参考訳（メタデータ） (2024-06-12T23:16:45Z)
• Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
  エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。 本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
  論文  参考訳（メタデータ） (2024-02-28T16:09:56Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• The Last Decade in Review: Tracing the Evolution of Safety Assurance Cases through a Comprehensive Bibliometric Analysis [7.431812376079826]
  安全保証は、自動車、航空宇宙、原子力など、様々な分野において最重要事項である。 安全保証ケースを使用することで、生成されたシステム機能の正しさを検証することができ、システム障害を防止することができる。
  論文  参考訳（メタデータ） (2023-11-13T17:34:23Z)
• Towards Safer Generative Language Models: A Survey on Safety Risks, Evaluations, and Improvements [76.80453043969209]
  本調査では,大規模モデルに関する安全研究の枠組みについて述べる。 まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。 トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
  論文  参考訳（メタデータ） (2023-02-18T09:32:55Z)
• Artificial Intelligence for IT Operations (AIOPS) Workshop White Paper [50.25428141435537]
  AIOps(Artificial Intelligence for IT Operations)は、マシンラーニング、ビッグデータ、ストリーミング分析、IT運用管理の交差点で発生する、新たな学際分野である。 AIOPSワークショップの主な目的は、アカデミアと産業界の両方の研究者が集まり、この分野での経験、成果、作業について発表することです。
  論文  参考訳（メタデータ） (2021-01-15T10:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。