論文の概要: How Strategic Agents Respond: Comparing Analytical Models with LLM-Generated Responses in Strategic Classification

• arxiv url: http://arxiv.org/abs/2501.16355v1
• Date: Mon, 20 Jan 2025 01:39:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-02 07:52:46.988289
• Title: How Strategic Agents Respond: Comparing Analytical Models with LLM-Generated Responses in Strategic Classification
• Title（参考訳）: 戦略エージェントがどう反応するか:戦略分類における解析モデルとLCM生成応答の比較
• Authors: Tian Xie, Pavan Rauch, Xueru Zhang,
• Abstract要約: 我々は,大規模言語モデルによって生成された戦略的アドバイスを用いて,戦略分類における人間のエージェント応答をシミュレートする。 我々は、雇用、ローン申請、学校入学、個人所得、公的支援プログラムの5つの重要なSCシナリオについて検討する。 次に、得られたエージェント応答と、既存の理論モデルによって生成された最良の応答を比較する。
• 参考スコア（独自算出の注目度）: 9.296248945826084
• License:
• Abstract: When machine learning (ML) algorithms are used to automate human-related decisions, human agents may gain knowledge of the decision policy and behave strategically to obtain desirable outcomes. Strategic Classification (SC) has been proposed to address the interplay between agents and decision-makers. Prior work on SC has relied on assumptions that agents are perfectly or approximately rational, responding to decision policies by maximizing their utilities. Verifying these assumptions is challenging due to the difficulty of collecting real-world agent responses. Meanwhile, the growing adoption of large language models (LLMs) makes it increasingly likely that human agents in SC settings will seek advice from these tools. We propose using strategic advice generated by LLMs to simulate human agent responses in SC. Specifically, we examine five critical SC scenarios -- hiring, loan applications, school admissions, personal income, and public assistance programs -- and simulate how human agents with diverse profiles seek advice from LLMs. We then compare the resulting agent responses with the best responses generated by existing theoretical models. Our findings reveal that: (i) LLMs and theoretical models generally lead to agent score or qualification changes in the same direction across most settings, with both achieving similar levels of fairness; (ii) state-of-the-art commercial LLMs (e.g., GPT-3.5, GPT-4) consistently provide helpful suggestions, though these suggestions typically do not result in maximal score or qualification improvements; and (iii) LLMs tend to produce more diverse agent responses, often favoring more balanced effort allocation strategies. These results suggest that theoretical models align with LLMs to some extent and that leveraging LLMs to simulate more realistic agent responses offers a promising approach to designing trustworthy ML systems.
• Abstract（参考訳）: 機械学習(ML)アルゴリズムが人間の意思決定を自動化するのに使用されるとき、人間のエージェントは意思決定ポリシーの知識を得て、望ましい結果を得るために戦略的に行動する。 エージェントと意思決定者間の相互作用に対処するために戦略分類(SC)が提案されている。 SCの以前の研究は、エージェントは完全あるいはほぼ合理的であり、彼らのユーティリティを最大限にすることで決定ポリシーに反応する、という仮定に依存していた。 これらの仮定の検証は、現実世界のエージェント応答の収集が困難であるため、難しい。 一方、大規模言語モデル(LLMs)の普及により、SC設定のヒューマンエージェントがこれらのツールからアドバイスを求める可能性がますます高まっている。 SCにおける人為的エージェント応答をシミュレートするために,LSMが生み出す戦略的アドバイスを用いることを提案する。 具体的には、雇用、ローン申請、学校入学、個人所得、公的援助プログラムの5つの重要なSCシナリオを調べ、多様なプロファイルを持つ人間エージェントがLLMからどのようにアドバイスを求めるかをシミュレートする。 次に、得られたエージェント応答と、既存の理論モデルによって生成された最良の応答を比較する。 私たちの発見は、こう示しています。 一 理論モデル及び LLM は、一般に、ほとんどの設定において同じ方向のエージェントスコア又は資格変更を引き起こし、両者が同等の公平性を達成する。 (ii)最先端の商用LCM(例えば、GPT-3.5、GPT-4)は、常に有益な提案を提供するが、これらの提案は、通常、最大得点や資格改善をもたらすものではない。 3) LLMは、より多様なエージェント応答を生成し、よりバランスの取れた作業割当戦略を好む傾向があります。 これらの結果は、理論モデルがLLMとある程度一致していることを示し、LLMを利用してより現実的なエージェント応答をシミュレートすることは、信頼できるMLシステムの設計に有望なアプローチをもたらすことを示唆している。

関連論文リスト

• Navigating the Risks: A Survey of Security, Privacy, and Ethics Threats in LLM-Based Agents [67.07177243654485]
  この調査は、大規模言語モデルに基づくエージェントが直面するさまざまな脅威を収集、分析する。 LLMをベースとしたエージェントの6つの重要な特徴を概説する。 4つの代表エージェントをケーススタディとして選択し,実践的に直面する可能性のあるリスクを分析した。
  論文  参考訳（メタデータ） (2024-11-14T15:40:04Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• On the limits of agency in agent-based models [13.130587222524305]
  エージェントベースモデリングは複雑なシステムに対する強力な洞察を提供するが、その実用性は計算の制約によって制限されている。 大規模言語モデル(LLM)の最近の進歩は、適応エージェントによるABMを強化する可能性があるが、大規模なシミュレーションへの統合は依然として困難である。 大規模シミュレーションにおいて,行動複雑性と計算効率のバランスをとる手法であるLSMアーチタイプを提案する。
  論文  参考訳（メタデータ） (2024-09-14T04:17:24Z)
• KoMA: Knowledge-driven Multi-agent Framework for Autonomous Driving with Large Language Models [15.951550445568605]
  自律エージェントとしての大規模言語モデル(LLM)は、知識駆動的な方法で現実の課題に取り組むための新しい道筋を提供する。 我々は,マルチエージェントインタラクション,マルチステップ計画,共有メモリ,ランキングベースのリフレクションモジュールからなるKoMAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-19T12:13:08Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• Explaining Large Language Models Decisions Using Shapley Values [1.223779595809275]
  大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。 しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。 本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T22:49:43Z)
• Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning [56.82041895921434]
  オープンソースの事前訓練された大規模言語モデル(LLM)は、強力な言語理解と生成能力を示す。 現実世界の複雑な問題に対処するエージェントとして使用される場合、ChatGPTやGPT-4のような大型の商用モデルに比べてパフォーマンスははるかに劣る。
  論文  参考訳（メタデータ） (2024-03-29T03:48:12Z)
• Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization [53.510942601223626]
  大規模言語モデル(LLM)は多様なタスクに対して堅牢な問題解決能力を示す。 これらのタスクソルバは、タスクルールを通知し、行動を調整するために手作業によるプロンプトを必要とする。 本稿では,ポリシーレベルのリフレクションと最適化を備えた LLM ベースのエージェントである Agent-Pro を提案する。
  論文  参考訳（メタデータ） (2024-02-27T15:09:20Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• STEER: Assessing the Economic Rationality of Large Language Models [21.91812661475551]
  LLMを意思決定「エージェント」として使うことへの関心が高まっている LLMエージェントが信頼できるかどうかを決定するには、そのようなエージェントの経済的合理性を評価するための方法論が必要である。
  論文  参考訳（メタデータ） (2024-02-14T20:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。