論文の概要: LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models

• arxiv url: http://arxiv.org/abs/2311.18232v1
• Date: Thu, 30 Nov 2023 03:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 18:05:52.292611
• Title: LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models
• Title（参考訳）: LMRL Gym:言語モデルを用いた多段階強化学習のためのベンチマーク
• Authors: Marwa Abdulhai and Isadora White and Charlie Snell and Charles Sun and Joey Hong and Yuexiang Zhai and Kelvin Xu and Sergey Levine
• Abstract要約: 本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
• 参考スコア（独自算出の注目度）: 56.25156596019168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) provide excellent text-generation capabilities, but standard prompting and generation methods generally do not lead to intentional or goal-directed agents and might necessitate considerable prompt tuning. This becomes particularly apparent in multi-turn conversations: even the best current LLMs rarely ask clarifying questions, engage in explicit information gathering, or take actions now that lead to better decisions after multiple turns. Reinforcement learning has the potential to leverage the powerful modeling capabilities of LLMs, as well as their internal representation of textual interactions, to create capable goal-directed language agents. This can enable intentional and temporally extended interactions, such as with humans, through coordinated persuasion and carefully crafted questions, or in goal-directed play through text games to bring about desired final outcomes. However, enabling this requires the community to develop stable and reliable reinforcement learning algorithms that can effectively train LLMs. Developing such algorithms requires tasks that can gauge progress on algorithm design, provide accessible and reproducible evaluations for multi-turn interactions, and cover a range of task properties and challenges in improving reinforcement learning algorithms. Our paper introduces the LMRL-Gym benchmark for evaluating multi-turn RL for LLMs, together with an open-source research framework containing a basic toolkit for getting started on multi-turn RL with offline value-based and policy-based RL methods. Our benchmark consists of 8 different language tasks, which require multiple rounds of language interaction and cover a range of tasks in open-ended dialogue and text games.
• Abstract（参考訳）: 大規模言語モデル(LLM)は優れたテキスト生成機能を提供するが、標準のプロンプトと生成手法は一般的に意図的あるいは目標指向のエージェントを導くものではなく、かなりのプロンプトチューニングを必要とする可能性がある。 最高のLLMでさえ、明確な質問をすることは滅多になく、明確な情報収集に従事したり、複数のターンの後により良い判断を下すような行動を取る。 強化学習は、LLMの強力なモデリング能力とテキストインタラクションの内部表現を活用して、有能な目標指向言語エージェントを作成する可能性がある。 これにより、人間との意図的・時間的に拡張された対話、コーディネートされた説得と慎重に構築された質問、あるいはテキストゲームによるゴール指向のプレイによって望ましい最終結果をもたらすことができる。 しかし、これを実現するためには、LLMを効果的に訓練できる安定的で信頼性の高い強化学習アルゴリズムを開発する必要がある。 このようなアルゴリズムの開発には、アルゴリズム設計の進捗を計測し、多ターンインタラクションに対するアクセシブルで再現可能な評価を提供し、強化学習アルゴリズムを改善するための様々なタスク特性と課題をカバーすることが必要である。 本稿では,LLM のマルチターン RL 評価のための LMRL-Gym ベンチマークと,オフライン値ベースおよびポリシーベースの RL 手法を用いたマルチターン RL を開始するための基本ツールキットを含むオープンソースの研究フレームワークを提案する。 私たちのベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語インタラクションを必要とし、オープンエンドの対話やテキストゲームで様々なタスクをカバーする。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Reinforcement Learning Problem Solving with Large Language Models [0.0]
  大規模言語モデル (LLM) には膨大な量の世界知識があり、自然言語処理 (NLP) タスクの性能向上のために様々な分野に応用できるようになっている。 これはまた、人間とAIシステム間の会話に基づく対話による、意図した問題を解決するための、よりアクセスしやすいパラダイムを促進する。 研究科学者」と「レガリー・マター・インテーク」の2つの詳細なケーススタディを通して、我々のアプローチの実践性を示す。
  論文  参考訳（メタデータ） (2024-04-29T12:16:08Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
  大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。 しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。 本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
  論文  参考訳（メタデータ） (2023-11-09T18:45:16Z)
• On the Performance of Multimodal Language Models [4.677125897916577]
  本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。 大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2023-10-04T23:33:36Z)
• MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language Feedback [78.60644407028022]
  我々は,大規模言語モデルのマルチターンインタラクションによる課題解決能力を評価するベンチマークであるMINTを紹介する。 LLMは一般的に、ツールと言語フィードバックの恩恵を受けます。 LLMの評価、教師あり指導ファインタニング(SIFT)、人間からのフィードバックからの強化学習(RLHF)は、一般的にマルチターン能力を損なう。
  論文  参考訳（メタデータ） (2023-09-19T15:25:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。