論文の概要: Comparing Exploration-Exploitation Strategies of LLMs and Humans: Insights from Standard Multi-armed Bandit Tasks

• arxiv url: http://arxiv.org/abs/2505.09901v1
• Date: Thu, 15 May 2025 02:09:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.151892
• Title: Comparing Exploration-Exploitation Strategies of LLMs and Humans: Insights from Standard Multi-armed Bandit Tasks
• Title（参考訳）: LLMとヒトの探索・探索戦略の比較:標準マルチアームバンドタスクからの考察
• Authors: Ziyuan Zhang, Darcy Wang, Ningyuan Chen, Rodrigo Mansur, Vahid Sarhangian,
• Abstract要約: 大規模言語モデル(LLM)は、シーケンシャルな意思決定タスクにおいて、人間の振る舞いをシミュレートしたり、自動化したりするためにますます使われている。 我々は、不確実性の下での動的意思決定の基本的な側面である、探査・探索(E&E)トレードオフに焦点を当てる。 推論は、ランダムな探索と指向的な探索の混在を特徴とする、より人間的な行動へとLSMをシフトさせる。
• 参考スコア（独自算出の注目度）: 6.355245936740126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used to simulate or automate human behavior in complex sequential decision-making tasks. A natural question is then whether LLMs exhibit similar decision-making behavior to humans, and can achieve comparable (or superior) performance. In this work, we focus on the exploration-exploitation (E&E) tradeoff, a fundamental aspect of dynamic decision-making under uncertainty. We employ canonical multi-armed bandit (MAB) tasks introduced in the cognitive science and psychiatry literature to conduct a comparative study of the E&E strategies of LLMs, humans, and MAB algorithms. We use interpretable choice models to capture the E&E strategies of the agents and investigate how explicit reasoning, through both prompting strategies and reasoning-enhanced models, shapes LLM decision-making. We find that reasoning shifts LLMs toward more human-like behavior, characterized by a mix of random and directed exploration. In simple stationary tasks, reasoning-enabled LLMs exhibit similar levels of random and directed exploration compared to humans. However, in more complex, non-stationary environments, LLMs struggle to match human adaptability, particularly in effective directed exploration, despite achieving similar regret in certain scenarios. Our findings highlight both the promise and limits of LLMs as simulators of human behavior and tools for automated decision-making and point to potential areas of improvements.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複雑なシーケンシャルな意思決定タスクにおいて、人間の振る舞いをシミュレートしたり、自動化したりするためにますます使われている。 自然の疑問は、LLMが人間と同じような意思決定行動を示し、同等の(あるいは優れた)パフォーマンスを達成できるかどうかである。 本研究では,不確実性の下での動的意思決定の基本的な側面である探索・探索(E&E)トレードオフに焦点を当てる。 我々は、認知科学や精神医学の文献で導入された標準的なマルチアーム・バンディット(MAB)タスクを用いて、LLM、人間、MABアルゴリズムのE&E戦略の比較研究を行っている。 我々は、解釈可能な選択モデルを用いて、エージェントのE&E戦略を捕捉し、戦略の促進と推論強化モデルの両方を通して、どのように明確な推論を行うかを調べる。 推論は、ランダムな探索と指向的な探索の混在を特徴とする、より人間的な行動へとLSMをシフトさせる。 単純な定常作業では、推論可能なLLMは人間と同じようなランダムで指向的な探索のレベルを示す。 しかし、より複雑な非定常的な環境では、LLMは人間の適応性、特に効果的な指向探索において、ある種のシナリオで同様の後悔を達成しているにもかかわらず、適合性を一致させることに苦慮している。 本研究は,人間の行動シミュレータと自動意思決定ツールとしてのLCMの約束と限界と,潜在的な改善点を指摘するものである。

関連論文リスト

• LLMs are Greedy Agents: Effects of RL Fine-tuning on Decision-Making Abilities [21.42711537107199]
  我々は,Large Language Models (LLMs) が意思決定シナリオにおいてサブ最適に機能する理由を考察する。 自己生成型CoT論理の強化学習(Reinforcement Learning, RL)による微調整によるこれらの欠点の緩和を提案する。
  論文  参考訳（メタデータ） (2025-04-22T17:57:14Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Large Language Models Think Too Fast To Explore Effectively [0.0]
  LLM(Large Language Models)は、多くの知的能力を持つ言語である。 本研究では,オープンエンドタスクにおいて,LLMが人間を超えることができるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-01-29T21:51:17Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• LLM-driven Imitation of Subrational Behavior : Illusion or Reality? [3.2365468114603937]
  既存の作業は、複雑な推論タスクに対処し、人間のコミュニケーションを模倣する大規模言語モデルの能力を強調している。 そこで本研究では,LLMを用いて人工人体を合成し,サブリレーショナル・エージェント・ポリシーを学習する手法を提案する。 我々は,4つの単純なシナリオを通して,サブリレータリティをモデル化するフレームワークの能力について実験的に評価した。
  論文  参考訳（メタデータ） (2024-02-13T19:46:39Z)
• Systematic Biases in LLM Simulations of Debates [12.933509143906141]
  人間の相互作用をシミュレートする際の大規模言語モデルの限界について検討する。 以上の結果から, LLMエージェントがモデル固有の社会的バイアスに適合する傾向が示唆された。 これらの結果は、エージェントがこれらのバイアスを克服するのに役立つ方法を開発するためのさらなる研究の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-02-06T14:51:55Z)
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
  複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。 我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
  論文  参考訳（メタデータ） (2023-05-30T15:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。