論文の概要: MetaReflection: Learning Instructions for Language Agents using Past Reflections
- arxiv url: http://arxiv.org/abs/2405.13009v2
- Date: Thu, 10 Oct 2024 11:51:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-11 14:29:38.454225
- Title: MetaReflection: Learning Instructions for Language Agents using Past Reflections
- Title（参考訳）: メタリフレクション:過去のリフレクションを用いた言語エージェントの学習指導
- Authors: Priyanshu Gupta, Shashank Kirtania, Ananya Singha, Sumit Gulwani, Arjun Radhakrishna, Sherry Shi, Gustavo Soares,
- Abstract要約: 本稿では,言語エージェントの性能を向上させる新しいオフライン強化学習手法であるMetaReflectionを紹介する。
本稿では, 複雑な論理的推論, バイオメディカルセマンティックな類似性, オープンワールド質問応答, 脆弱性検出など, 複数領域にわたる評価によるメタリフレクションの有効性を実証する。
- 参考スコア（独自算出の注目度）: 11.028256182234017
- License:
- Abstract: The popularity of Large Language Models (LLMs) have unleashed a new age ofLanguage Agents for solving a diverse range of tasks. While contemporary frontier LLMs are capable enough to power reasonably good Language agents, the closed-API model makes it hard to improve in cases they perform sub-optimally. To address this, recent works have explored ways to improve their performance using techniques like self-reflection and prompt optimization. Unfortunately, techniques like self-reflection can be used only in an online setup, while contemporary prompt optimization techniques are designed and tested to work on simple tasks. To this end, we introduce MetaReflection, a novel offline reinforcement learning technique that enhances the performance of Language Agents by augmenting a semantic memory based on experiential learnings from past trials. We demonstrate the efficacy of MetaReflection by evaluating across multiple domains, including complex logical reasoning, biomedical semantic similarity, open world question answering, and vulnerability threat detection, in Infrastructure-as-Code, spanning different agent designs. MetaReflection boosts Language agents' performance by 4% to 16.82% over the raw GPT-4 baseline and performs on par with existing state-of-the-art prompt optimization techniques while requiring fewer LLM calls.
- Abstract（参考訳）: LLM(Large Language Models)の人気は、さまざまなタスクを解決するために、Language Agentsの新しい時代を生み出した。
現代フロンティアのLLMは、合理的に優れた言語エージェントを動かすのに十分な能力を持っているが、クローズドAPIモデルは、サブ最適化された場合の改善を困難にしている。
これを解決するために、最近の研究は自己回帰や迅速な最適化といった手法を用いて、パフォーマンスを改善する方法を模索している。
残念なことに、自己回帰のようなテクニックはオンライン設定でのみ使用できる一方で、現代的なプロンプト最適化技術は単純なタスクで機能するように設計され、テストされている。
この目的のために,メタリフレクション(MetaReflection)は,過去の試行からの経験的学習に基づいてセマンティックメモリを増強することにより,言語エージェントの性能を向上させる新しいオフライン強化学習手法である。
本稿では, 複雑な論理的推論, バイオメディカルな意味的類似性, オープンワールドの質問応答, 脆弱性検出など, 多様なエージェント設計を対象とするインフラストラクチャ・アズ・コードにおけるメタリフレクションの有効性を実証する。
MetaReflectionは、生のGPT-4ベースラインで言語エージェントのパフォーマンスを4%から16.82%向上させ、既存の最先端のプロンプト最適化技術と同等に動作し、LLMコールを少なくする。
関連論文リスト
- RAG-Modulo: Solving Sequential Tasks using Experience, Critics, and Language Models [5.0741409008225755]
大規模言語モデル(LLM)は、ロボットの課題を解決するための有望なツールとして登場した。
既存のLSMベースのエージェントは、過去の相互作用を維持および学習する能力に欠ける。
RAG-Modulo は,過去のインタラクションを記憶した LLM ベースのエージェントを強化し,エージェントの判断を評価するための批判を取り入れたフレームワークである。
論文 参考訳（メタデータ） (2024-09-18T20:03:32Z) - VLM Agents Generate Their Own Memories: Distilling Experience into Embodied Programs [38.03704123835915]
大規模生成言語と視覚言語モデルは、意思決定のためのコンテキスト内学習において優れている。
In-Context Abstraction Learning (ICAL) は,マルチモーダルな体験のメモリを構築する手法である。
我々のアプローチは手動のプロンプト工学への依存を著しく減らし、そのような抽象化を欠いたアクションプランからコンテキスト内学習を一貫して上回ります。
論文 参考訳（メタデータ） (2024-06-20T17:45:02Z) - Bridging the Gap: Dynamic Learning Strategies for Improving Multilingual Performance in LLMs [15.911445732909849]
大規模言語モデル(LLM)は、世界中の多くのドメインを変換する最前線にある。
しかしながら、その傾向と有効性は、非ラテン文字や低リソース言語に限られている。
本稿では,LLMの多言語的性能向上を,広範囲の訓練や微調整を伴わずに行うことの必須課題に対処する。
論文 参考訳（メタデータ） (2024-05-28T16:56:42Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
論文 参考訳（メタデータ） (2024-02-27T15:05:32Z) - Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。
以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。
我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
論文 参考訳（メタデータ） (2024-02-03T09:48:54Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳（メタデータ） (2023-11-30T03:59:31Z) - CLIN: A Continually Learning Language Agent for Rapid Task Adaptation
and Generalization [62.0397906276669]
CLINは、複数のトライアルを継続的に改善した最初の言語ベースのエージェントである。
ゼロショットのパフォーマンスを4ポイント改善し(新しいタスクでは13)、連続的なメモリ更新によってパフォーマンスをさらに向上させることができる。
これは、凍結モデル上に構築されたエージェントのための新しいアーキテクチャを示唆している。
論文 参考訳（メタデータ） (2023-10-16T07:17:27Z) - Retroformer: Retrospective Large Language Agents with Policy Gradient Optimization [103.70896967077294]
本稿では,レトロスペクティブモデルを学習することで,大規模言語エージェントを強化するための原則的枠組みを提案する。
提案するエージェントアーキテクチャは,事前学習した言語モデルを微調整するために,複数の環境やタスクにまたがる報酬から学習する。
様々なタスクの実験結果から、言語エージェントは時間とともに改善することが示された。
論文 参考訳（メタデータ） (2023-08-04T06:14:23Z) - Reflexion: Language Agents with Verbal Reinforcement Learning [44.85337947858337]
リフレクション(Reflexion)は、ウェイトを更新するのではなく、言語フィードバックによって言語エージェントを強化する新しいフレームワークである。
様々なタイプ(スカラー値または自由形式言語)とフィードバック信号のソース(外部または内部シミュレート)を組み込むのに十分な柔軟性がある。
例えば、ReflexionはHumanEvalのコーディングベンチマークで91%のパス@1精度を達成した。
論文 参考訳（メタデータ） (2023-03-20T18:08:50Z) - LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of
Vision & Language Models [67.19124099815645]
ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。
LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。
LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
論文 参考訳（メタデータ） (2022-10-03T17:56:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。