論文の概要: Beyond Numeric Awards: In-Context Dueling Bandits with LLM Agents

• arxiv url: http://arxiv.org/abs/2407.01887v3
• Date: Thu, 02 Jan 2025 13:49:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-03 14:35:36.378488
• Title: Beyond Numeric Awards: In-Context Dueling Bandits with LLM Agents
• Title（参考訳）: Beyond Numeric Awards: LLMエージェントによるインコンテキストデュエリングバンド
• Authors: Fanzeng Xia, Hao Liu, Yisong Yue, Tongxin Li,
• Abstract要約: 本稿では,Dueling Bandits (DB) 問題下での文脈内意思決定者としてLarge Language Models (LLMs) を初めて検討する。 GPT-3.5 Turbo, GPT-4, GPT-4 Turbo, Llama 3.1, o1-Previewの9つのDBアルゴリズムとの比較を行った。 我々の最強のLCMであるGPT-4 Turboは、驚くほど弱い後悔を実現するため、ゼロショットの相対的意思決定能力を持っていることを示す。
• 参考スコア（独自算出の注目度）: 25.825941077332182
• License:
• Abstract: In-context reinforcement learning (ICRL) is a frontier paradigm for solving reinforcement learning problems in the foundation model era. While ICRL capabilities have been demonstrated in transformers through task-specific training, the potential of Large Language Models (LLMs) out-of-the-box remains largely unexplored. Recent findings highlight that LLMs often face challenges when dealing with numerical contexts, and limited attention has been paid to evaluating their performance through preference feedback generated by the environment. This paper is the first to investigate LLMs as in-context decision-makers under the problem of Dueling Bandits (DB), a stateless preference-based reinforcement learning setting that extends the classic Multi-Armed Bandit (MAB) model by querying for preference feedback. We compare GPT-3.5 Turbo, GPT-4, GPT-4 Turbo, Llama 3.1, and o1-Preview against nine well-established DB algorithms. Our results reveal that our top-performing LLM, GPT-4 Turbo, has the zero-shot relative decision-making ability to achieve surprisingly low weak regret across all the DB environment instances by quickly including the best arm in duels. However, an optimality gap exists between LLMs and classic DB algorithms in terms of strong regret. LLMs struggle to converge and consistently exploit even when explicitly prompted to do so, and are sensitive to prompt variations. To bridge this gap, we propose an agentic flow framework: LLM with Enhanced Algorithmic Dueling (LEAD), which integrates off-the-shelf DB algorithms with LLM agents through fine-grained adaptive interplay. We show that LEAD has theoretical guarantees inherited from classic DB algorithms on both weak and strong regret. We validate its efficacy and robustness even with noisy and adversarial prompts. The design of our framework sheds light on how to enhance the trustworthiness of LLMs used for in-context decision-making.
• Abstract（参考訳）: In-context reinforcement learning (ICRL)は、基礎モデル時代の強化学習問題を解決するためのフロンティアパラダイムである。 ICRLはタスク固有のトレーニングを通じてトランスフォーマーで実証されているが、LLM(Large Language Models)のアウト・オブ・ボックスの可能性はほとんど探索されていない。 近年の知見は, LLMは数値的文脈を扱う際にしばしば課題に直面し, 環境が生み出す嗜好フィードバックを通じて, 性能評価に注意が払われていることを示している。 本論文は,従来のマルチアーマッド帯域(MAB)モデルを拡張したステートレスな嗜好に基づく強化学習環境であるDueling Bandits(DB)問題の下で,コンテクスト内意思決定者としてLLMを初めて検討したものである。 GPT-3.5 Turbo, GPT-4, GPT-4 Turbo, Llama 3.1, o1-Previewの9つのDBアルゴリズムとの比較を行った。 以上の結果から,最大性能のLDMであるGPT-4 Turboは,全DB環境インスタンスに対して,最も優れたアームをデュエルに組み込むことで,驚くほど低い後悔を達成できる,ゼロショットの相対的意思決定能力を有することが明らかとなった。 しかし、LLMと従来のDBアルゴリズムの間には、強い後悔の点において最適性ギャップが存在する。 LLMは、明示的にそうするように指示しても収束し、一貫して利用するのに苦労し、変化を促すのに敏感である。 このギャップを埋めるためのエージェントフローフレームワーク LLM with Enhanced Algorithmic Dueling (LEAD) を提案する。 LEADは従来のDBアルゴリズムから受け継がれた理論的保証を持つことを示す。 ノイズや逆のプロンプトを伴っても,有効性と堅牢性を検証した。 我々のフレームワークの設計は、文脈内意思決定に使用されるLCMの信頼性を高める方法に光を当てています。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Large Language Model-Enhanced Multi-Armed Bandits [43.34246396804588]
  大規模言語モデル(LLM)は、マルチアーム・バンディット(MAB)のようなシーケンシャルな意思決定タスクを解決するために採用されている。 古典的MABとLLMの強みを組み合わせた代替手法を提案する。 実世界のテキストデータセットを用いて設計したMABタスクと実験の両方を用いて経験的評価を行う。
  論文  参考訳（メタデータ） (2025-02-03T07:19:05Z)
• Eliciting In-context Retrieval and Reasoning for Long-context Large Language Models [27.217391392240113]
  長文言語モデル(LCLM)は知識ベース全体を処理し、直接検索と推論を行うことができる。 LOFTのような既存のベンチマークは、過度に単純化されたコンテキストを提供することでLCLMのパフォーマンスを過大評価することが多い。 ICR2はLCLMをより現実的なシナリオで評価するベンチマークである。 次に, LCLMの性能向上のための3つの手法を提案する。(1) 検索-then-generate fine-tuning, (2) 注意頭を用いてデコード中の長いコンテキストをフィルタリング・復調する検索-attention-probing, (3) 生成ヘッドと併用した共同検索ヘッドトレーニング。
  論文  参考訳（メタデータ） (2025-01-14T16:38:33Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
  実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。 オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。 この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
  論文  参考訳（メタデータ） (2024-10-09T01:25:10Z)
• Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
  Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。 本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-28T17:16:03Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• Improve Temporal Awareness of LLMs for Sequential Recommendation [61.723928508200196]
  大規模言語モデル(LLM)は、幅広い汎用タスクを解く際、印象的なゼロショット能力を示した。 LLMは時間的情報の認識と利用に不足しており、シーケンシャルなデータの理解を必要とするタスクではパフォーマンスが悪い。 LLMに基づくシーケンシャルレコメンデーションのために、歴史的相互作用の中で時間情報を利用する3つのプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-05T00:21:26Z)
• Can large language models explore in-context? [87.49311128190143]
  単純なマルチアームバンディット環境において,エージェントとして大規模言語モデルをデプロイする。 モデルが実質的な介入なしには、探索にしっかりと関わっていないことが分かっています。
  論文  参考訳（メタデータ） (2024-03-22T17:50:43Z)
• Enabling Weak LLMs to Judge Response Reliability via Meta Ranking [38.63721941742435]
  我々は、$textitMeta Ranking$ (MR) と呼ばれるクロスクエリベースの新しい手法を提案する。 MRは、ターゲットクエリ-レスポンスペアを複数の参照クエリ-レスポンスペアにペアでランク付けすることで、信頼性を評価する。 MRはモデルカスケーディングとインストラクションチューニングの2つの実用的応用において、強力なLLMの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-19T13:57:55Z)
• True Knowledge Comes from Practice: Aligning LLMs with Embodied Environments via Reinforcement Learning [37.10401435242991]
  大規模言語モデル(LLM)は、環境とのLLMにおける知識のミスアライメントにより、単純な意思決定タスクの解決に失敗することが多い。 本稿では,LSMを意思決定エージェントとして展開する新しいフレームワークであるTWOSOMEを提案する。
  論文  参考訳（メタデータ） (2024-01-25T13:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。