論文の概要: Robust Agents in Open-Ended Worlds

• arxiv url: http://arxiv.org/abs/2512.08139v1
• Date: Tue, 09 Dec 2025 00:30:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-10 22:28:07.769612
• Title: Robust Agents in Open-Ended Worlds
• Title（参考訳）: オープンエンド世界のロバストエージェント
• Authors: Mikayel Samvelyan,
• Abstract要約: この論文では、オープンディペンデンスとマルチエージェント学習の方法論を用いて、堅牢なAIエージェントを訓練し、評価する。 まず、手続き的なコンテンツ生成を通じて多様な環境を作成するためのサンドボックスフレームワークであるMiniHackを紹介します。 次に, 2プレイヤーゼロサムゲームにおけるRLエージェントのロバスト性および一般化性を漸進的に向上させる, 対角曲線生成の新しい手法であるMaestroを提案する。
• 参考スコア（独自算出の注目度）: 4.199586801784625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing prevalence of artificial intelligence (AI) in various applications underscores the need for agents that can successfully navigate and adapt to an ever-changing, open-ended world. A key challenge is ensuring these AI agents are robust, excelling not only in familiar settings observed during training but also effectively generalising to previously unseen and varied scenarios. In this thesis, we harness methodologies from open-endedness and multi-agent learning to train and evaluate robust AI agents capable of generalising to novel environments, out-of-distribution inputs, and interactions with other co-player agents. We begin by introducing MiniHack, a sandbox framework for creating diverse environments through procedural content generation. Based on the game of NetHack, MiniHack enables the construction of new tasks for reinforcement learning (RL) agents with a focus on generalisation. We then present Maestro, a novel approach for generating adversarial curricula that progressively enhance the robustness and generality of RL agents in two-player zero-sum games. We further probe robustness in multi-agent domains, utilising quality-diversity methods to systematically identify vulnerabilities in state-of-the-art, pre-trained RL policies within the complex video game football domain, characterised by intertwined cooperative and competitive dynamics. Finally, we extend our exploration of robustness to the domain of LLMs. Here, our focus is on diagnosing and enhancing the robustness of LLMs against adversarial prompts, employing evolutionary search to generate a diverse range of effective inputs that aim to elicit undesirable outputs from an LLM. This work collectively paves the way for future advancements in AI robustness, enabling the development of agents that not only adapt to an ever-evolving world but also thrive in the face of unforeseen challenges and interactions.
• Abstract（参考訳）: さまざまなアプリケーションにおける人工知能(AI)の普及は、絶えず変化するオープンエンドの世界へのナビゲートと適応を成功させるエージェントの必要性を浮き彫りにしている。 重要な課題は、これらのAIエージェントが堅牢であることを保証することだ。 本稿では,オープンディペンデンスとマルチエージェント学習の方法論を用いて,新しい環境,アウト・オブ・ディストリビューション・インプット,他のコプレイヤーエージェントとのインタラクションを一般化できる堅牢なAIエージェントを訓練し,評価する。 まず、手続き的なコンテンツ生成を通じて多様な環境を作成するためのサンドボックスフレームワークであるMiniHackを紹介します。 NetHackのゲームに基づいて、MiniHackは、一般化に焦点を当てた強化学習エージェント(RL)のための新しいタスクの構築を可能にする。 次に, 2プレイヤーゼロサムゲームにおけるRLエージェントのロバスト性および一般化性を漸進的に向上させる, 対角曲線生成の新しい手法であるMaestroを提案する。 我々はさらに,多エージェント領域におけるロバスト性を探求し,複雑なゲームフットボール領域における最先端かつ事前訓練されたRLポリシーの脆弱性を系統的に同定する,品質多様性手法を応用した。 最後に、ロバスト性の探索をLLMの領域に拡張する。 そこで本研究では,LLMから望ましくない出力を抽出する多種多様な効果的な入力を生成するために,進化探索を用いて,敵のプロンプトに対するLDMの堅牢性の診断と強化に重点を置いている。 この作業は、AIの堅牢性の将来的な進歩の道を開くもので、進化し続ける世界に適応するだけでなく、予期せぬ課題や相互作用に直面して成長するエージェントの開発を可能にする。

関連論文リスト

• Learning Robust Social Strategies with Large Language Models [7.697496386429445]
  強化学習は,大規模言語モデル(LLM)を単一エージェント体制で整列させるのに有効である。 マルチエージェント設定における標準RLは、しばしば欠陥のある自己関心のポリシーに収束することを示す。 RLが不均衡に収束する傾向に対処するため、近年の対向学習認識アルゴリズムAdvantage Alignmentを適用した。
  論文  参考訳（メタデータ） (2025-11-24T18:43:46Z)
• A Survey on Agentic Multimodal Large Language Models [84.18778056010629]
  エージェントマルチモーダル大言語モデル(Agentic MLLMs)に関する総合的な調査を行う。 我々は,エージェントMLLMの新たなパラダイムを探求し,その概念的基盤を明確にし,従来のMLLMエージェントとの特徴を区別する。 コミュニティのためのこの分野の研究をさらに加速するため、エージェントMLLMを開発するためのオープンソースのトレーニングフレームワーク、トレーニングおよび評価データセットをコンパイルする。
  論文  参考訳（メタデータ） (2025-10-13T04:07:01Z)
• AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning [129.44038804430542]
  本稿では,マルチターン対話型意思決定のためのLLMエージェントをRLで学習する新しいフレームワークであるAgentGym-RLを紹介する。 本研究では,探索-探索バランスと安定したRL最適化のためのトレーニング手法であるScalingInter-RLを提案する。 当社のエージェントは、さまざまな環境にまたがる27のタスクで、商用モデルにマッチするか、超えています。
  論文  参考訳（メタデータ） (2025-09-10T16:46:11Z)
• Multi-agent Embodied AI: Advances and Future Directions [46.23631919950584]
  エンボディード人工知能(Embodied AI)は、インテリジェントな時代における先進技術の適用において重要な役割を担っている。 本稿では,研究の現状を概観し,重要な貢献を分析し,課題と今後の方向性を明らかにする。
  論文  参考訳（メタデータ） (2025-05-08T10:13:53Z)
• The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
  大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。 単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
  論文  参考訳（メタデータ） (2023-09-14T17:12:03Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• The AI Arena: A Framework for Distributed Multi-Agent Reinforcement Learning [0.3437656066916039]
  分散マルチエージェント強化学習のための柔軟な抽象化を備えたスケーラブルなフレームワークであるAI Arenaを紹介します。 複数の異なる学習環境において、一般的なRL技術よりも分散マルチエージェント学習アプローチによる性能向上を示す。
  論文  参考訳（メタデータ） (2021-03-09T22:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。