論文の概要: MetaReflection: Learning Instructions for Language Agents using Past Reflections
- arxiv url: http://arxiv.org/abs/2405.13009v2
- Date: Thu, 10 Oct 2024 11:51:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-11 14:29:38.454225
- Title: MetaReflection: Learning Instructions for Language Agents using Past Reflections
- Title（参考訳）: メタリフレクション:過去のリフレクションを用いた言語エージェントの学習指導
- Authors: Priyanshu Gupta, Shashank Kirtania, Ananya Singha, Sumit Gulwani, Arjun Radhakrishna, Sherry Shi, Gustavo Soares,
- Abstract要約: 本稿では,言語エージェントの性能を向上させる新しいオフライン強化学習手法であるMetaReflectionを紹介する。
本稿では, 複雑な論理的推論, バイオメディカルセマンティックな類似性, オープンワールド質問応答, 脆弱性検出など, 複数領域にわたる評価によるメタリフレクションの有効性を実証する。
- 参考スコア（独自算出の注目度）: 11.028256182234017
- License:
- Abstract: The popularity of Large Language Models (LLMs) have unleashed a new age ofLanguage Agents for solving a diverse range of tasks. While contemporary frontier LLMs are capable enough to power reasonably good Language agents, the closed-API model makes it hard to improve in cases they perform sub-optimally. To address this, recent works have explored ways to improve their performance using techniques like self-reflection and prompt optimization. Unfortunately, techniques like self-reflection can be used only in an online setup, while contemporary prompt optimization techniques are designed and tested to work on simple tasks. To this end, we introduce MetaReflection, a novel offline reinforcement learning technique that enhances the performance of Language Agents by augmenting a semantic memory based on experiential learnings from past trials. We demonstrate the efficacy of MetaReflection by evaluating across multiple domains, including complex logical reasoning, biomedical semantic similarity, open world question answering, and vulnerability threat detection, in Infrastructure-as-Code, spanning different agent designs. MetaReflection boosts Language agents' performance by 4% to 16.82% over the raw GPT-4 baseline and performs on par with existing state-of-the-art prompt optimization techniques while requiring fewer LLM calls.
- Abstract（参考訳）: LLM(Large Language Models)の人気は、さまざまなタスクを解決するために、Language Agentsの新しい時代を生み出した。
現代フロンティアのLLMは、合理的に優れた言語エージェントを動かすのに十分な能力を持っているが、クローズドAPIモデルは、サブ最適化された場合の改善を困難にしている。
これを解決するために、最近の研究は自己回帰や迅速な最適化といった手法を用いて、パフォーマンスを改善する方法を模索している。
残念なことに、自己回帰のようなテクニックはオンライン設定でのみ使用できる一方で、現代的なプロンプト最適化技術は単純なタスクで機能するように設計され、テストされている。
この目的のために,メタリフレクション(MetaReflection)は,過去の試行からの経験的学習に基づいてセマンティックメモリを増強することにより,言語エージェントの性能を向上させる新しいオフライン強化学習手法である。
本稿では, 複雑な論理的推論, バイオメディカルな意味的類似性, オープンワールドの質問応答, 脆弱性検出など, 多様なエージェント設計を対象とするインフラストラクチャ・アズ・コードにおけるメタリフレクションの有効性を実証する。
MetaReflectionは、生のGPT-4ベースラインで言語エージェントのパフォーマンスを4%から16.82%向上させ、既存の最先端のプロンプト最適化技術と同等に動作し、LLMコールを少なくする。
関連論文リスト
- Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z) - RAG-Modulo: Solving Sequential Tasks using Experience, Critics, and Language Models [5.0741409008225755]
大規模言語モデル(LLM)は、ロボットの課題を解決するための有望なツールとして登場した。
既存のLSMベースのエージェントは、過去の相互作用を維持および学習する能力に欠ける。
RAG-Modulo は,過去のインタラクションを記憶した LLM ベースのエージェントを強化し,エージェントの判断を評価するための批判を取り入れたフレームワークである。
論文 参考訳（メタデータ） (2024-09-18T20:03:32Z) - RePrompt: Planning by Automatic Prompt Engineering for Large Language Models Agents [27.807695570974644]
LLMエージェントに与えられたプロンプトのステップバイステップ命令を最適化するために、段階的な降下を行う新しい方法、textscRePromptを提案する。
中間的なフィードバックを活用することで、 textscRePromptは最終的なソリューションチェッカーを必要とせずにプロンプトを最適化できる。
論文 参考訳（メタデータ） (2024-06-17T01:23:11Z) - Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。
以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。
我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
論文 参考訳（メタデータ） (2024-02-03T09:48:54Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳（メタデータ） (2023-11-30T03:59:31Z) - CLIN: A Continually Learning Language Agent for Rapid Task Adaptation
and Generalization [62.0397906276669]
CLINは、複数のトライアルを継続的に改善した最初の言語ベースのエージェントである。
ゼロショットのパフォーマンスを4ポイント改善し(新しいタスクでは13)、連続的なメモリ更新によってパフォーマンスをさらに向上させることができる。
これは、凍結モデル上に構築されたエージェントのための新しいアーキテクチャを示唆している。
論文 参考訳（メタデータ） (2023-10-16T07:17:27Z) - Retroformer: Retrospective Large Language Agents with Policy Gradient Optimization [103.70896967077294]
本稿では,レトロスペクティブモデルを学習することで,大規模言語エージェントを強化するための原則的枠組みを提案する。
提案するエージェントアーキテクチャは,事前学習した言語モデルを微調整するために,複数の環境やタスクにまたがる報酬から学習する。
様々なタスクの実験結果から、言語エージェントは時間とともに改善することが示された。
論文 参考訳（メタデータ） (2023-08-04T06:14:23Z) - Bridging the Language Gap: Dynamic Learning Strategies for Improving Multilingual Performance in LLMs [15.911445732909849]
大規模言語モデル(LLM)は様々なドメインに革命をもたらしたが、それでも非ラテン語スクリプトや低リソース言語に苦戦している。
本稿では,実行時にクエリ毎のプロンプト戦略,埋め込みモデル,LLMを最適化する,新しい動的学習手法を提案する。
提案手法では,事前学習モデルに比べて10～15%の言語性能向上と4倍のゲインを達成できた。
論文 参考訳（メタデータ） (2023-05-28T14:48:38Z) - Reflexion: Language Agents with Verbal Reinforcement Learning [44.85337947858337]
リフレクション(Reflexion)は、ウェイトを更新するのではなく、言語フィードバックによって言語エージェントを強化する新しいフレームワークである。
様々なタイプ(スカラー値または自由形式言語)とフィードバック信号のソース(外部または内部シミュレート)を組み込むのに十分な柔軟性がある。
例えば、ReflexionはHumanEvalのコーディングベンチマークで91%のパス@1精度を達成した。
論文 参考訳（メタデータ） (2023-03-20T18:08:50Z) - LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of
Vision & Language Models [67.19124099815645]
ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。
LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。
LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
論文 参考訳（メタデータ） (2022-10-03T17:56:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。