論文の概要: Learning to Sell: Reinforcement Learning for Strategic Large Language Model Agents in Multi-Product Markets

• arxiv url: http://arxiv.org/abs/2609.33289v2
• Date: Thu, 01 Oct 2026 06:28:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.42219
• Title: Learning to Sell: Reinforcement Learning for Strategic Large Language Model Agents in Multi-Product Markets
• Title（参考訳）: 販売への学習:多製品市場における戦略的大規模言語モデルエージェントの強化学習
• Abstract要約: 本研究では,マルチテムバーゲティング環境において,このようなエージェントを効果的に売り手として機能させるための機械学習アプローチを開発する。 我々は,この問題を構造化された4部分メッセージプロトコルを用いて,部分観測可能なマルコフ決定プロセスとして定式化する。 この枠組みを評価するために,制約順守,売り手余剰抽出,割当品質を定量化する多次元計量スイートを構築した。
• 参考スコア（独自算出の注目度）: 32.28218090124958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous large language model (LLM) agents operating in multi-product markets must make sequential decisions under information asymmetry and resource constraints. We develop a machine learning approach for training such agents to act effectively as sellers in a multi-item bargaining environment, where a seller concurrently negotiates a catalog of substitutable assets across a pool of independent buyers. Buyers hold private, heterogeneous valuations across products, and each can purchase at most one item. Facing limits on total communication turns, the seller must dynamically match buyers with the most profitable products considering their private valuations, while strategically allocating its limited interaction budget toward combinations of greater potential value. We formalize this problem as a Partially Observable Markov Decision Process using a structured, four-part message protocol that maps natural language into a parsable and regulated decision space. Using this formalization, we design a post-training method using Reinforcement Learning from Verifiable Rewards (RLVR). To evaluate this framework, we construct a multidimensional metric suite that quantifies constraint adherence, seller surplus extraction, and allocation quality. Our trained seller agent learns to match limited inventory to buyers more effectively, matching or outperforming trillion-parameter frontier models in both seller surplus extraction and buyer-product allocation quality. Finally, these learned strategies generalize robustly to unseen market structures, correlated valuation distributions, and price ranges not encountered during training.
• Abstract（参考訳）: 多製品市場で運用されている自律型大規模言語モデル(LLM)エージェントは、情報非対称性とリソース制約の下でシーケンシャルな決定をしなければならない。 本研究では、販売者が独立した購入者のプールにまたがって置換資産のカタログを同時に交渉するマルチイム取引環境において、そのようなエージェントを効果的に販売者として機能させる機械学習アプローチを開発する。 購入者は、製品全体でプライベートで異質な評価を持ち、それぞれが1つ以上のアイテムを購入できる。 トータル・コミュニケーション・ターンの制限に直面しているため、売り手は個人価値を考慮して購入者と最も利益の高い商品を動的にマッチさせ、一方で、潜在的な価値の組み合わせに向けて、限られた相互作用予算を戦略的に割り当てなければならない。 我々は、自然言語を解析可能かつ規制された決定空間にマッピングする構造化された4部分メッセージプロトコルを用いて、この問題を部分的に観測可能なマルコフ決定プロセスとして定式化する。 この形式化を応用して,検証リワード(RLVR)からの強化学習を用いたポストトレーニング手法を設計する。 この枠組みを評価するために,制約順守,売り手余剰抽出,割当品質を定量化する多次元計量スイートを構築した。 我々の訓練された売り手エージェントは、限られた在庫と買い手とのマッチングをより効果的に学び、売り手余剰の抽出と買い手-商品の割り当て品質の両面で1兆パラメトリフロンティアモデルに適合または性能を向上する。 最後に、これらの学習戦略は、トレーニング中に遭遇しない市場構造、相関評価分布、価格範囲にしっかりと一般化される。

関連論文リスト

• Strategic Bargaining in Multi-Buyer Markets: Reinforcement Learning from Verifiable Rewards for LLM Negotiations [22.41117839056233]
  交渉は経営科学における基本的な戦略的相互作用である。 本稿では,検証リワードからの強化学習を用いた特化学習法を提案する。
  論文  参考訳（メタデータ） (2026-07-07T05:41:54Z)
• SalesSim: Benchmarking and Aligning Multimodal Language Models as Retail User Simulators [63.68151307455963]
  本稿では,マルチモーダル大規模言語モデル(MLLM)の現実的,ペルソナ主導の顧客行動のシミュレート能力を評価するためのフレームワークとテストベッドであるSalesSimを紹介する。 我々は,シミュレータの動作とペルソナ仕様との整合性,および会話品質を測定する。 実験により,UserGRPOは,会話品質を改善しつつ,ベースラインモデルの整合性を13.8%向上させることを示した。
  論文  参考訳（メタデータ） (2026-05-08T17:59:23Z)
• Training Language Models for Bilateral Trade with Private Information [47.25254982913256]
  貿易の利益を達成するためには、個人、戦略的余剰の合理性、協力が必要である。 本研究では,大規模言語モデルがイベント駆動シミュレータ内のツールコールを介して交渉する構造化交渉環境を開発する。 この環境は、フロンティアモデルのベンチマークと、強化学習によるオープンウェイトモデルのトレーニング環境という2つの目的を果たす。
  論文  参考訳（メタデータ） (2026-04-10T03:04:20Z)
• Market-Bench: Benchmarking Large Language Models on Economic and Trade Competition [102.73682784993169]
  本稿では,経済関連タスクにおける大規模言語モデル(LLM)の能力を評価するベンチマークであるtextbfMarket-Benchを紹介する。 我々は、LLMが商品の調達・販売を担当する小売業者として機能するマルチエージェントサプライチェーン経済モデルを構築した。 Market-Benchは入札、価格、スローガン、販売、バランスシートの完全な軌跡を記録し、経済、運用、セマンティックメトリクスによる自動評価を可能にしている。
  論文  参考訳（メタデータ） (2026-04-07T07:23:51Z)
• What Makes a Sale? Rethinking End-to-End Seller--Buyer Retail Dynamics with LLM Agents [22.408631930364788]
  RetailSimは、このパイプラインを統一された環境でモデル化するエンドツーエンドの小売シミュレーションフレームワークである。 本稿では,ペルソナ推論,売り手と買い手のインタラクション分析,販売戦略評価など,意思決定指向のユースケースを通じて,その実用性を実証する。
  論文  参考訳（メタデータ） (2026-04-06T06:38:35Z)
• ChatShopBuddy: Towards Reliable Conversational Shopping Agents via Reinforcement Learning [88.87305027895657]
  本研究では,現実シナリオにおけるショッピングエージェントの強化学習に基づく最適化について検討する。 エージェントは、客観的指標(生産的正確性)、主観的品質(説得性)、成果報酬(最終応答品質)、プロセス報酬(ツール効率)にまたがる複数の相互依存目標を同時に満たさなければならない。 実験の結果、我々のRL学習エージェントであるChatShopBuddyは、一般的な推論に依存する大きなモデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-03-06T09:18:51Z)
• AgenticPay: A Multi-Agent LLM Negotiation System for Buyer-Seller Transactions [49.49718899185783]
  大規模言語モデル(LLM)ベースのエージェントは、自律的に交渉、コーディネート、トランザクショナル化がますます期待されている。 本稿では,自然言語によるマルチエージェント・バイヤー・セラー交渉のためのベンチマークおよびシミュレーションフレームワークであるAgenticPayを紹介する。
  論文  参考訳（メタデータ） (2026-02-05T18:50:36Z)
• Measuring Bargaining Abilities of LLMs: A Benchmark and A Buyer-Enhancement Method [17.388837360641276]
  本稿では,Bargainingタスクを非対称な不完全情報ゲームとして記述する。 これにより、Bargainタスクにおけるエージェントのパフォーマンスを定量的に評価することができます。 本稿では,OG-Narratorと呼ばれる新手法を提案する。
  論文  参考訳（メタデータ） (2024-02-24T13:36:58Z)
• Learning Multi-Agent Intention-Aware Communication for Optimal Multi-Order Execution in Finance [96.73189436721465]
  まず,現実的な制約を考慮したマルチオーダー実行のためのマルチエージェントRL(MARL)手法を提案する。 本稿では,学習可能なマルチラウンド通信プロトコルを提案する。 2つの実世界の市場のデータに関する実験では、優れたパフォーマンスを示し、コラボレーションの有効性が著しく向上した。
  論文  参考訳（メタデータ） (2023-07-06T16:45:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。