論文の概要: K-Level Reasoning with Large Language Models

• arxiv url: http://arxiv.org/abs/2402.01521v1
• Date: Fri, 2 Feb 2024 16:07:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 14:27:32.240346
• Title: K-Level Reasoning with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたKレベル推論
• Authors: Yadong Zhang, Shaoguang Mao, Tao Ge, Xun Wang, Yan Xia, Man Lan, Furu Wei
• Abstract要約: 急速に発展する環境における意思決定のための大規模言語モデル(LLM)の動的推論機能について検討する。 実世界の動的意思決定の複雑さを反映した2つのゲーム理論に基づくパイロットチャレンジを導入する。 これらの課題は明確に定義されており、LLMの動的推論能力の明確で制御可能で正確な評価を可能にする。
• 参考スコア（独自算出の注目度）: 80.13817747270029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Large Language Models (LLMs) have demonstrated their proficiency in complex reasoning tasks, their performance in dynamic, interactive, and competitive scenarios - such as business strategy and stock market analysis - remains underexplored. To bridge this gap, we formally explore the dynamic reasoning capabilities of LLMs for decision-making in rapidly evolving environments. We introduce two game theory-based pilot challenges that mirror the complexities of real-world dynamic decision-making. These challenges are well-defined, enabling clear, controllable, and precise evaluation of LLMs' dynamic reasoning abilities. Through extensive experiments, we find that existing reasoning methods tend to falter in dynamic settings that require k-level thinking - a key concept not tackled by previous works. To address this, we propose a novel reasoning approach for LLMs, named "K-Level Reasoning". This approach adopts the perspective of rivals to recursively employ k-level thinking based on available historical information, which significantly improves the prediction accuracy of rivals' subsequent moves and informs more strategic decision-making. This research not only sets a robust quantitative benchmark for the assessment of dynamic reasoning but also markedly enhances the proficiency of LLMs in dynamic contexts.
• Abstract（参考訳）: 大規模言語モデル(llm)は複雑な推論タスクにおいてその熟練度を示す一方で、ビジネス戦略や株式市場分析といった動的、インタラクティブ、競争的なシナリオにおけるその性能は過小評価されている。 このギャップを埋めるため、急速に発展する環境における意思決定のためのllmの動的推論能力を正式に検討する。 実世界の動的意思決定の複雑さを反映した2つのゲーム理論に基づくパイロットチャレンジを導入する。 これらの課題は明確に定義されており、LLMの動的推論能力を明確かつ制御可能かつ正確に評価することができる。 より広範な実験を通して、既存の推論手法はkレベルの思考を必要とする動的設定に干渉する傾向があることが判明した。 そこで我々は,LLMの新たな推論手法であるK-Level Reasoningを提案する。 このアプローチは、利用可能な履歴情報に基づいてkレベルの思考を再帰的に採用するライバルの視点を採用し、ライバルのその後の動きの予測精度を大幅に向上させ、より戦略的意思決定を知らせる。 本研究は、動的推論の評価のためのロバストな定量的指標を設定するだけでなく、動的文脈におけるllmの熟練度を著しく向上させる。

関連論文リスト

• Game-theoretic LLM: Agent Workflow for Negotiation Games [30.83905391503607]
  本稿では,大規模言語モデル(LLM)の戦略的意思決定文脈における合理性について検討する。 LLMの推論と意思決定を導く複数のゲーム理論を設計する。 この発見は、より堅牢で戦略的に健全なAIエージェントの開発に影響を及ぼす。
  論文  参考訳（メタデータ） (2024-11-08T22:02:22Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• GameBench: Evaluating Strategic Reasoning Abilities of LLM Agents [4.209869303518743]
  大規模言語モデルの戦略的推論能力を評価するためのクロスドメインベンチマークであるGameBenchを紹介する。 戦略的推論能力の向上を目的とした2つの足場フレームワークとともに,GPT-3とGPT-4をベースとして評価を行った。 以上の結果から,試験対象モデルと人体性能は一致せず,GPT-4は無作為な動作よりも悪い結果が得られた。
  論文  参考訳（メタデータ） (2024-06-07T00:28:43Z)
• STRIDE: A Tool-Assisted LLM Agent Framework for Strategic and Interactive Decision-Making [43.734386326024016]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらしており、言語能力と推論能力が顕著である。 本稿では,その戦略的意思決定能力を高めるため,メモリと特殊なツールを備えた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-25T23:25:10Z)
• LLM as a Mastermind: A Survey of Strategic Reasoning with Large Language Models [75.89014602596673]
  戦略推論は、戦略を調整しながら、マルチエージェント設定における敵の行動を理解し、予測する必要がある。 大規模言語モデルを用いた戦略的推論に関連するスコープ,アプリケーション,方法論,評価指標について検討する。 戦略的推論を重要な認知能力として重要視し、将来の研究の方向性や潜在的な改善に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations [87.99872683336395]
  大規模言語モデル(LLM)は、重要な現実世界のアプリケーションに統合される。 本稿では,LLMの競合環境における推論能力について検討する。 まず,広く認識されている10のタスクを構成する言語駆動型環境であるGTBenchを提案する。
  論文  参考訳（メタデータ） (2024-02-19T18:23:36Z)
• ALYMPICS: LLM Agents Meet Game Theory -- Exploring Strategic Decision-Making with AI Agents [77.34720446306419]
  Alympicsは、ゲーム理論の研究にLarge Language Model (LLM)エージェントを利用する、体系的なシミュレーションフレームワークである。 Alympicsは、複雑なゲーム理論の問題を研究するための汎用的なプラットフォームを作成する。
  論文  参考訳（メタデータ） (2023-11-06T16:03:46Z)
• From Heuristic to Analytic: Cognitively Motivated Strategies for Coherent Physical Commonsense Reasoning [66.98861219674039]
  ヒューリスティック分析推論(HAR)戦略は、モデル決定のための合理化のコヒーレンスを大幅に改善する。 以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-24T19:46:04Z)
• Strategic Reasoning with Language Models [35.63300060111918]
  戦略的推論は、エージェントが様々な状況において他のエージェントと協力し、コミュニケーションし、競合することを可能にする。 既存の戦略ゲームに対するアプローチは、広範なトレーニングに依存しており、再訓練なしに新しいシナリオやゲームに一般化しない戦略を生み出している。 本稿では,AIエージェントの戦略的推論を可能にするために,事前訓練された大規模言語モデルと数発の連鎖例を用いたアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-30T16:09:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。