論文の概要: World Models: The Safety Perspective

• arxiv url: http://arxiv.org/abs/2411.07690v1
• Date: Tue, 12 Nov 2024 10:15:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:21:36.552598
• Title: World Models: The Safety Perspective
• Title（参考訳）: 世界モデル:安全の観点から
• Authors: Zifan Zeng, Chongzhe Zhang, Feng Liu, Joseph Sifakis, Qunli Zhang, Shiming Liu, Peng Wang,
• Abstract要約: 世界モデル(WM)の概念は最近、AI研究コミュニティで大きな注目を集めています。 我々は、最先端のWMの詳細な分析とその影響について、研究コミュニティに対して、WMの安全性と信頼性の向上に協力するよう呼びかける。
• 参考スコア（独自算出の注目度）: 6.520366712367809
• License:
• Abstract: With the proliferation of the Large Language Model (LLM), the concept of World Models (WM) has recently attracted a great deal of attention in the AI research community, especially in the context of AI agents. It is arguably evolving into an essential foundation for building AI agent systems. A WM is intended to help the agent predict the future evolution of environmental states or help the agent fill in missing information so that it can plan its actions and behave safely. The safety property of WM plays a key role in their effective use in critical applications. In this work, we review and analyze the impacts of the current state-of-the-art in WM technology from the point of view of trustworthiness and safety based on a comprehensive survey and the fields of application envisaged. We provide an in-depth analysis of state-of-the-art WMs and derive technical research challenges and their impact in order to call on the research community to collaborate on improving the safety and trustworthiness of WM.
• Abstract（参考訳）: LLM(Large Language Model)の普及に伴い、WM(World Models)の概念は、AI研究コミュニティ、特にAIエージェントの文脈において、近年大きな注目を集めている。 それは間違いなく、AIエージェントシステムを構築するための重要な基盤へと進化している。 WMは、エージェントが将来の環境状態の進化を予測するのを助けること、またはエージェントがその行動を計画し、安全に振る舞うために行方不明の情報を埋めるのを助けることを目的としている。 WMの安全性は、重要な応用における有効利用において重要な役割を担っている。 本稿では,WM技術における現在の最先端技術の影響を,総合的な調査とアプリケーション分野に基づく信頼性と安全性の観点から検討し,分析する。 我々は、最先端のWMの詳細な分析を行い、技術研究の課題とその影響を導き、研究コミュニティにWMの安全性と信頼性向上の協力を求める。

関連論文リスト

• Safety at Scale: A Comprehensive Survey of Large Model Safety [299.801463557549]
  我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。 我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
  論文  参考訳（メタデータ） (2025-02-02T05:14:22Z)
• Large Language Model Safety: A Holistic Survey [35.42419096859496]
  大規模言語モデル(LLM)の急速な開発と展開により、人工知能の新たなフロンティアが導入された。 この調査は、LLMの安全性の現在の状況の概要を包括的に紹介し、価値のミスアライメント、敵の攻撃に対する堅牢性、誤用、自律的なAIリスクの4つの主要なカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2024-12-23T16:11:27Z)
• On Large Language Models in Mission-Critical IT Governance: Are We Ready Yet? [7.098487130130114]
  重要なインフラのセキュリティは、コンピュータの登場以来、深刻な問題となっている。 最近の出来事は、これらの課題を満たすことの難しさが増していることを示している。 我々は、ジェネレーティブAIをIT MCSのガバナンスに統合する実践者の視点を探究することを目的としている。
  論文  参考訳（メタデータ） (2024-12-16T12:21:05Z)
• Large Model Based Agents: State-of-the-Art, Cooperation Paradigms, Security and Privacy, and Future Trends [64.57762280003618]
  近い将来、LM駆動の汎用AIエージェントが、生産タスクにおいて不可欠なツールとして機能することが予想される。 本稿では,将来のLMエージェントの自律的協調に関わるシナリオについて検討する。
  論文  参考訳（メタデータ） (2024-09-22T14:09:49Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
  エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。 本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
  論文  参考訳（メタデータ） (2024-02-28T16:09:56Z)
• Towards Safer Generative Language Models: A Survey on Safety Risks, Evaluations, and Improvements [76.80453043969209]
  本調査では,大規模モデルに関する安全研究の枠組みについて述べる。 まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。 トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
  論文  参考訳（メタデータ） (2023-02-18T09:32:55Z)
• Artificial Intelligence for IT Operations (AIOPS) Workshop White Paper [50.25428141435537]
  AIOps(Artificial Intelligence for IT Operations)は、マシンラーニング、ビッグデータ、ストリーミング分析、IT運用管理の交差点で発生する、新たな学際分野である。 AIOPSワークショップの主な目的は、アカデミアと産業界の両方の研究者が集まり、この分野での経験、成果、作業について発表することです。
  論文  参考訳（メタデータ） (2021-01-15T10:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。