論文の概要: Interacting Large Language Model Agents. Interpretable Models and Social Learning

• arxiv url: http://arxiv.org/abs/2411.01271v1
• Date: Sat, 02 Nov 2024 14:49:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:48:34.319158
• Title: Interacting Large Language Model Agents. Interpretable Models and Social Learning
• Title（参考訳）: 解釈可能なモデルと社会学習
• Authors: Adit Jain, Vikram Krishnamurthy,
• Abstract要約: 本稿では,統計処理とマイクロエコノミクスの手法を用いて,大規模言語モデルエージェント(LLMA)と相互作用する理論とアルゴリズムを開発する。 相互作用するLLMAは事前の判断や外部からの入力から学習するため、バイアスや牧畜行動を示す。
• 参考スコア（独自算出の注目度）: 13.440621354486906
• License:
• Abstract: This paper develops theory and algorithms for interacting large language model agents (LLMAs) using methods from statistical signal processing and microeconomics. While both fields are mature, their application to decision-making by interacting LLMAs remains unexplored. Motivated by Bayesian sentiment analysis on online platforms, we construct interpretable models and stochastic control algorithms that enable LLMAs to interact and perform Bayesian inference. Because interacting LLMAs learn from prior decisions and external inputs, they exhibit bias and herding behavior. Thus, developing interpretable models and stochastic control algorithms is essential to understand and mitigate these behaviors. This paper has three main results. First, we show using Bayesian revealed preferences from microeconomics that an individual LLMA satisfies the sufficient conditions for rationally inattentive (bounded rationality) utility maximization and, given an observation, the LLMA chooses an action that maximizes a regularized utility. Second, we utilize Bayesian social learning to construct interpretable models for LLMAs that interact sequentially with each other and the environment while performing Bayesian inference. Our models capture the herding behavior exhibited by interacting LLMAs. Third, we propose a stochastic control framework to delay herding and improve state estimation accuracy under two settings: (a) centrally controlled LLMAs and (b) autonomous LLMAs with incentives. Throughout the paper, we demonstrate the efficacy of our methods on real datasets for hate speech classification and product quality assessment, using open-source models like Mistral and closed-source models like ChatGPT. The main takeaway of this paper, based on substantial empirical analysis and mathematical formalism, is that LLMAs act as rationally bounded Bayesian agents that exhibit social learning when interacting.
• Abstract（参考訳）: 本稿では,統計信号処理とミクロ経済学の手法を用いて,大規模言語モデルエージェント(LLMA)の相互作用の理論とアルゴリズムを開発する。 どちらの分野も成熟しているが、LLMAの相互作用による意思決定への応用は未解明のままである。 オンラインプラットフォーム上でのベイズ感情分析により、LLMAの相互作用とベイズ推論の実行を可能にする解釈可能なモデルと確率制御アルゴリズムを構築した。 相互作用するLLMAは事前の判断や外部からの入力から学習するため、バイアスや牧畜行動を示す。 したがって、解釈可能なモデルと確率論的制御アルゴリズムの開発は、これらの振る舞いを理解し、緩和するために不可欠である。 本論文には3つの主な結果がある。 まず,個別のLLMAが合理的に不注意(有界な合理性)な効用を最大化するための十分な条件を満たすこと,そして観察により,LLMAは正規化された効用を最大化する作用を選択することを,ミクロ経済学から明らかにした。 第二に、ベイズ的社会学習を用いて、ベイズ的推論を行いながら、相互および環境と順次相互作用するLLMAの解釈可能なモデルを構築する。 我々のモデルは、相互作用するLLMAによって示される群れの挙動を捉えている。 第3に,2つの設定条件下での隠れを遅らせ,状態推定精度を向上させる確率的制御フレームワークを提案する。 (a)中央制御LLMAおよび (b)インセンティブ付き自律型LLMA。 本稿では,MistralのようなオープンソースモデルとChatGPTのようなクローズドソースモデルを用いて,ヘイトスピーチ分類と製品品質評価のための実際のデータセットに対する手法の有効性を実証する。 この論文の主な特徴は、経験的分析と数学的形式主義に基づいて、LLMAが合理的に有界なベイズ的エージェントとして機能し、対話時に社会的学習を示すことである。

関連論文リスト

• Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models [42.17166746027585]
  複素データ内の因子化属性とその相互関係を学習するための双方向重み付きグラフベースフレームワークを提案する。 具体的には、グラフの初期ノードとして要素を抽出する$beta$-VAEベースのモジュールを提案する。 これらの相補的加群を統合することで、我々は細粒度、実用性、教師なしの絡み合いをうまく達成できる。
  論文  参考訳（メタデータ） (2024-07-26T15:32:21Z)
• A Unifying Framework for Action-Conditional Self-Predictive Reinforcement Learning [48.59516337905877]
  優れた表現を学ぶことは、強化学習(RL)エージェントにとって重要な課題である。 近年の研究では、これらのアルゴリズムに関する理論的洞察が生まれている。 我々は,行動条件の自己予測的目的を分析することによって,理論と実践のギャップを埋める一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-06-04T07:22:12Z)
• Variational Inference of Parameters in Opinion Dynamics Models [9.51311391391997]
  この研究は、変数推論を用いて、意見力学 ABM のパラメータを推定する。 我々は推論プロセスを自動微分に適した最適化問題に変換する。 提案手法は, シミュレーションベース法とMCMC法より, マクロ的(有界信頼区間とバックファイア閾値)と微視的(200ドル, エージェントレベルの役割)の両方を正確に推定する。
  論文  参考訳（メタデータ） (2024-03-08T14:45:18Z)
• Modeling Boundedly Rational Agents with Latent Inference Budgets [56.24971011281947]
  エージェントの計算制約を明示的にモデル化する潜在推論予算モデル(L-IBM)を導入する。 L-IBMは、最適なアクターの多様な集団のデータを使ってエージェントモデルを学ぶことができる。 我々は,L-IBMが不確実性の下での意思決定のボルツマンモデルに適合しているか,あるいは上回っていることを示す。
  論文  参考訳（メタデータ） (2023-12-07T03:55:51Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• Cross Feature Selection to Eliminate Spurious Interactions and Single Feature Dominance Explainable Boosting Machines [0.0]
  解釈性は法的、倫理的、実践的な理由において不可欠である。 高性能モデルは、冗長な特徴と単一機能支配との素早い相互作用に悩まされることがある。 本稿では,これらの課題に対処するための新しいアプローチとして,代替のクロスフィーチャー選択,アンサンブル機能,モデル構成変更手法について検討する。
  論文  参考訳（メタデータ） (2023-07-17T13:47:41Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。