論文の概要: PCGRLLM: Large Language Model-Driven Reward Design for Procedural Content Generation Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2502.10906v1
• Date: Sat, 15 Feb 2025 21:00:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:02.287952
• Title: PCGRLLM: Large Language Model-Driven Reward Design for Procedural Content Generation Reinforcement Learning
• Title（参考訳）: PCGRLLM:手続き型コンテンツ生成強化学習のための大規模言語モデル駆動リワード設計
• Authors: In-Chang Baek, Sung-Hyun Kim, Sam Earle, Zehua Jiang, Noh Jin-Ha, Julian Togelius, Kyung-Joong Kim,
• Abstract要約: この研究はPCGRLLM(PCGRLLM)を導入し、フィードバック機構といくつかの推論に基づくプロンプトエンジニアリング技術を採用している。 2つの最先端LCMを用いた2次元環境におけるストーリー・ツー・リワード生成タスクにおける提案手法の評価を行った。
• 参考スコア（独自算出の注目度）: 4.173530949970536
• License:
• Abstract: Reward design plays a pivotal role in the training of game AIs, requiring substantial domain-specific knowledge and human effort. In recent years, several studies have explored reward generation for training game agents and controlling robots using large language models (LLMs). In the content generation literature, there has been early work on generating reward functions for reinforcement learning agent generators. This work introduces PCGRLLM, an extended architecture based on earlier work, which employs a feedback mechanism and several reasoning-based prompt engineering techniques. We evaluate the proposed method on a story-to-reward generation task in a two-dimensional environment using two state-of-the-art LLMs, demonstrating the generalizability of our approach. Our experiments provide insightful evaluations that demonstrate the capabilities of LLMs essential for content generation tasks. The results highlight significant performance improvements of 415% and 40% respectively, depending on the zero-shot capabilities of the language model. Our work demonstrates the potential to reduce human dependency in game AI development, while supporting and enhancing creative processes.
• Abstract（参考訳）: リワードデザインは、ゲームAIのトレーニングにおいて重要な役割を担い、相当量のドメイン固有の知識と人間の努力を必要とする。 近年,ゲームエージェントのトレーニングや,大規模言語モデル(LLM)を用いたロボット制御のための報酬生成について研究されている。 コンテンツ生成の文献では、強化学習エージェントジェネレータに対する報酬関数の生成に関する初期の研究がなされている。 この研究はPCGRLLM(PCGRLLM)を導入し、フィードバック機構といくつかの推論に基づくプロンプトエンジニアリング技術を採用している。 提案手法を2つのLLMを用いて2次元環境下でのストーリー・ツー・リワード生成タスクにおいて評価し,本手法の一般化可能性を示す。 本実験は,コンテンツ生成タスクに不可欠なLCMの能力を示す,洞察に富んだ評価を提供する。 その結果、言語モデルのゼロショット機能によって、それぞれ415%と40%の大幅なパフォーマンス改善が示された。 私たちの研究は、創造的なプロセスをサポートし、強化しながら、ゲームAI開発における人間の依存を減らす可能性を実証しています。

関連論文リスト

• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、20Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)
• ChatPCG: Large Language Model-Driven Reward Design for Procedural Content Generation [3.333383360927007]
  本稿では,大規模言語モデル(LLM)による報酬設計フレームワークChatPCGを提案する。 ゲーム専門知識と組み合わさった人間レベルの洞察を活用して、特定のゲーム機能に合わせた報酬を自動的に生成する。 ChatPCGは深層強化学習と統合されており、マルチプレイヤーゲームコンテンツ生成タスクの可能性を示している。
  論文  参考訳（メタデータ） (2024-06-07T08:18:42Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• Evolving Knowledge Distillation with Large Language Models and Active Learning [46.85430680828938]
  大規模言語モデル(LLM)は、様々なNLPタスクにまたがる顕著な機能を示している。 従来の研究は、注釈付きデータを生成してLPMの知識をより小さなモデルに抽出しようと試みてきた。 EvoKD: Evolving Knowledge Distillationを提案する。これは、アクティブラーニングの概念を利用して、大規模言語モデルを用いたデータ生成のプロセスをインタラクティブに強化する。
  論文  参考訳（メタデータ） (2024-03-11T03:55:24Z)
• Generative Software Engineering [23.584814591463406]
  本稿では,事前学習モデルと大規模言語モデル(LLM)を用いたソフトウェア工学における生成タスクの文献レビューを行う。 LLMには強力な言語表現と文脈認識能力があり、多様なトレーニングデータを活用し、生成タスクに適応することができる。 我々は、既存のアプローチにおける重要な強み、弱点、ギャップを特定し、潜在的研究の方向性を提案する。
  論文  参考訳（メタデータ） (2024-03-05T01:37:37Z)
• RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation [68.70755196744533]
  RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。 我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
  論文  参考訳（メタデータ） (2023-11-02T17:59:21Z)
• Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
  我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。 このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。 マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-14T22:24:58Z)
• Self-Refined Large Language Model as Automated Reward Function Designer for Deep Reinforcement Learning in Robotics [14.773498542408264]
  大規模言語モデル(LLM)は、深い常識の知識を必要とするタスクに対応するために広く採用されている。 本稿では,自動報酬関数設計のための自己補充機構を備えた新しいLLMフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-13T02:56:56Z)
• Towards A Unified Agent with Foundation Models [18.558328028366816]
  強化学習(RL)エージェントにそのような能力を組み込んで活用する方法を検討する。 我々は、言語を中核的推論ツールとして使用するフレームワークを設計し、エージェントが一連の基本的なRL課題にどのように取り組むことができるかを探る。 探索効率とオフラインデータセットからのデータの再利用能力において,ベースラインよりも大幅にパフォーマンスが向上したことを示す。
  論文  参考訳（メタデータ） (2023-07-18T22:37:30Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。