論文の概要: Synthesizing Programmatic Reinforcement Learning Policies with Large Language Model Guided Search

• arxiv url: http://arxiv.org/abs/2405.16450v2
• Date: Sun, 13 Oct 2024 16:12:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:03:41.222521
• Title: Synthesizing Programmatic Reinforcement Learning Policies with Large Language Model Guided Search
• Title（参考訳）: 大規模言語モデルガイド検索によるプログラム強化学習ポリシーの合成
• Authors: Max Liu, Chan-Hung Yu, Wei-Hsu Lee, Cheng-Wei Hung, Yen-Chun Chen, Shao-Hua Sun,
• Abstract要約: LLM誘導検索フレームワーク(LLM-GS)について紹介する。 我々の重要な洞察は、LLMのプログラミングの専門知識と常識推論を活用して、仮定不要でランダムな探索手法の効率を高めることである。 本研究では,プログラム探索空間を効率的に探索し,一貫したプログラムを改善するための探索アルゴリズムであるSchduled Hill Climbingを開発した。
• 参考スコア（独自算出の注目度）: 7.769411917500852
• License:
• Abstract: Programmatic reinforcement learning (PRL) has been explored for representing policies through programs as a means to achieve interpretability and generalization. Despite promising outcomes, current state-of-the-art PRL methods are hindered by sample inefficiency, necessitating tens of millions of program-environment interactions. To tackle this challenge, we introduce a novel LLM-guided search framework (LLM-GS). Our key insight is to leverage the programming expertise and common sense reasoning of LLMs to enhance the efficiency of assumption-free, random-guessing search methods. We address the challenge of LLMs' inability to generate precise and grammatically correct programs in domain-specific languages (DSLs) by proposing a Pythonic-DSL strategy - an LLM is instructed to initially generate Python codes and then convert them into DSL programs. To further optimize the LLM-generated programs, we develop a search algorithm named Scheduled Hill Climbing, designed to efficiently explore the programmatic search space to improve the programs consistently. Experimental results in the Karel domain demonstrate our LLM-GS framework's superior effectiveness and efficiency. Extensive ablation studies further verify the critical role of our Pythonic-DSL strategy and Scheduled Hill Climbing algorithm. Moreover, we conduct experiments with two novel tasks, showing that LLM-GS enables users without programming skills and knowledge of the domain or DSL to describe the tasks in natural language to obtain performant programs.
• Abstract（参考訳）: プログラム強化学習(PRL)は、解釈可能性と一般化を達成する手段として、プログラムを通してポリシーを表現するために研究されている。 有望な結果にもかかわらず、現在の最先端のPRL手法はサンプルの不効率によって妨げられ、数千万のプログラム環境相互作用を必要とする。 この課題に対処するために,新しいLLM誘導検索フレームワーク(LLM-GS)を導入する。 我々の重要な洞察は、LLMのプログラミングの専門知識と常識推論を活用して、仮定不要でランダムな探索手法の効率を高めることである。 LLMがPython-DSL戦略を提案し、ドメイン固有言語(DSL)で正確で文法的に正しいプログラムを生成することができないという課題に対処する。 LLM生成プログラムをさらに最適化するために,プログラム探索空間を効率的に探索し,一貫したプログラムを改善するために,Schduled Hill Climbingという検索アルゴリズムを開発した。 実験結果から, LLM-GS フレームワークの有効性と効率性を実証した。 大規模なアブレーション研究により、Pythonic-DSL戦略とスケジューリングヒルクライミングアルゴリズムの重要な役割がさらに検証される。 さらに,LLM-GSは,プログラムスキルやドメインやDSLの知識を使わずに,自然言語でタスクを記述して実行プログラムを作成できることを示す。

関連論文リスト

• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
  この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。 我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。 本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
  論文  参考訳（メタデータ） (2024-06-18T22:57:06Z)
• LangGPT: Rethinking Structured Reusable Prompt Design Framework for LLMs from the Programming Language [23.692367748537517]
  LLMのプログラミング言語としての2層プロンプト設計フレームワークであるLangGPTを提案する。 LangGPTは、簡単に学習できる規範構造を持ち、マイグレーションと再利用のために拡張された構造を提供する。
  論文  参考訳（メタデータ） (2024-02-26T15:05:16Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Executing Natural Language-Described Algorithms with Large Language Models: An Investigation [48.461999568129166]
  自然言語で概説したアルゴリズムを理解・実行するための,今日の大規模言語モデルの能力について検討する。 我々は、30個のアルゴリズムを選択し、300個のランダムサンプリングされたインスタンスを生成し、人気のあるLCMがこれらのアルゴリズムを理解し実行できるかを評価した。 この結果から,LLM,特にGPT-4は,重数値計算を伴わない限り,自然言語で記述されたプログラムを効果的に実行できることが判明した。
  論文  参考訳（メタデータ） (2024-02-23T05:31:36Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• LgTS: Dynamic Task Sampling using LLM-generated sub-goals for Reinforcement Learning Agents [10.936460061405157]
  LgTS (LLM-Guided Teacher-Student Learning) を提案する。 提案手法では,提案したサブゴールを達成するための事前訓練されたポリシーも必要としない。
  論文  参考訳（メタデータ） (2023-10-14T00:07:03Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Hierarchical Programmatic Reinforcement Learning via Learning to Compose Programs [58.94569213396991]
  プログラムポリシーを作成するための階層型プログラム強化学習フレームワークを提案する。 提案するフレームワークは,プログラム作成の学習を通じて,アウト・オブ・ディストリビュータの複雑な動作を記述するプログラムポリシーを作成することができる。 Karel ドメインの実験結果から,提案するフレームワークがベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-30T14:50:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。