論文の概要: How Different AI Chatbots Behave? Benchmarking Large Language Models in Behavioral Economics Games

• arxiv url: http://arxiv.org/abs/2412.12362v1
• Date: Mon, 16 Dec 2024 21:25:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:01:52.561362
• Title: How Different AI Chatbots Behave? Benchmarking Large Language Models in Behavioral Economics Games
• Title（参考訳）: AIチャットボットはどんなものか? - 行動経済学ゲームにおける大規模言語モデルのベンチマーク
• Authors: Yutong Xie, Yiyao Liu, Zhuang Ma, Lin Shi, Xiyuan Wang, Walter Yuan, Matthew O. Jackson, Qiaozhu Mei,
• Abstract要約: 本稿では,5つの主要な大規模言語モデル(LLM)を,行動経済学の一連のゲームとして包括的に分析する。 私たちは、さまざまなシナリオにまたがって、共通かつ異なる行動パターンを解明し、文書化することを目指しています。 この発見は、各LSMの戦略的嗜好に関する貴重な洞察を与え、重要な意思決定の役割への展開に影響を及ぼす可能性を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 20.129667072835773
• License:
• Abstract: The deployment of large language models (LLMs) in diverse applications requires a thorough understanding of their decision-making strategies and behavioral patterns. As a supplement to a recent study on the behavioral Turing test, this paper presents a comprehensive analysis of five leading LLM-based chatbot families as they navigate a series of behavioral economics games. By benchmarking these AI chatbots, we aim to uncover and document both common and distinct behavioral patterns across a range of scenarios. The findings provide valuable insights into the strategic preferences of each LLM, highlighting potential implications for their deployment in critical decision-making roles.
• Abstract（参考訳）: 多様なアプリケーションに大規模言語モデル(LLM)を配置するには、意思決定戦略と行動パターンを徹底的に理解する必要がある。 行動チューリングテストにおける最近の研究の補足として, 一連の行動経済学ゲームにおいて, LLMをベースとした5つの主要なチャットボットファミリーを包括的に分析した。 これらのAIチャットボットをベンチマークすることで、さまざまなシナリオにまたがる共通の行動パターンと異なる行動パターンの両方を明らかにし、文書化することを目指している。 この発見は、各LSMの戦略的嗜好に関する貴重な洞察を与え、重要な意思決定の役割への展開に影響を及ぼす可能性を浮き彫りにした。

関連論文リスト

• LogiDynamics: Unraveling the Dynamics of Logical Inference in Large Language Model Reasoning [49.58786377307728]
  本稿では、類似推論のための制御された評価環境を導入することにより、探索的アプローチを採用する。 帰納的,帰納的,帰納的,帰納的な推論パイプラインの比較力学を解析する。 仮説選択や検証,洗練といった高度なパラダイムを考察し,論理的推論のスケールアップの可能性を明らかにする。
  論文  参考訳（メタデータ） (2025-02-16T15:54:53Z)
• GLEE: A Unified Framework and Benchmark for Language-based Economic Environments [19.366120861935105]
  大規模言語モデル(LLM)は、経済的および戦略的相互作用において大きな可能性を示す。 これらの疑問は、LLMベースのエージェントを実世界のデータ駆動システムに統合することの経済的および社会的意味について重要なものとなっている。 本稿では,2プレイヤー,シーケンシャル,言語ベースのゲームの研究を標準化するためのベンチマークを紹介する。
  論文  参考訳（メタデータ） (2024-10-07T17:55:35Z)
• LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
  テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。 以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。 具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
  論文  参考訳（メタデータ） (2024-06-24T03:36:29Z)
• Rethinking ChatGPT's Success: Usability and Cognitive Behaviors Enabled by Auto-regressive LLMs' Prompting [5.344199202349884]
  本研究では,2種類の大規模言語モデルと6種類のタスク固有チャネルにおけるモーダル性の構造を分析した。 本研究では,LLMにおける多様な認知行動の刺激について,自由形テキストと言語文脈の導入を通して検討する。
  論文  参考訳（メタデータ） (2024-05-17T00:19:41Z)
• Is English the New Programming Language? How About Pseudo-code Engineering? [0.0]
  本研究では,OpenAIの指導的言語モデルであるChatGPTに異なる入力形式がどのような影響を及ぼすかを検討する。 それは、意図、解釈可能性、完全性、創造性の4つのカテゴリにまたがるモデルの習熟度を調べる。
  論文  参考訳（メタデータ） (2024-04-08T16:28:52Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。 本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。 さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。 これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Characteristic AI Agents via Large Language Models [40.10858767752735]
  本研究は,特有なAIエージェント構築における大規模言語モデルの性能調査に焦点をあてる。 character100''と呼ばれるデータセットがこのベンチマークのために構築されており、ウィキペディアの言語モデルでロールプレイを行う最も訪問者の多い人々で構成されている。 実験結果から,LLMの能力向上に向けた潜在的な方向性が明らかにされた。
  論文  参考訳（メタデータ） (2024-03-19T02:25:29Z)
• Comparing Inferential Strategies of Humans and Large Language Models in Deductive Reasoning [25.732397636695882]
  大規模言語モデル(LLM)では,人間の観察と類似した推論パターンが示される。 我々の研究は、モデルの構造と規模が、その好む推論方法に大きく影響していることを示します。
  論文  参考訳（メタデータ） (2024-02-20T12:58:14Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Machine Psychology [54.287802134327485]
  我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。 本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。 これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
  論文  参考訳（メタデータ） (2023-03-24T13:24:41Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。