論文の概要: Is Anyone Enforcing the Cartel? What Reinforcement Learning Teaches LLM Agents in Markets

• arxiv url: http://arxiv.org/abs/2610.28787v1
• Date: Tue, 20 Oct 2026 18:18:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.118229
• Title: Is Anyone Enforcing the Cartel? What Reinforcement Learning Teaches LLM Agents in Markets
• Title（参考訳）: カルテルを強制する人はいるか? 市場におけるLLMエージェントの強化学習
• Abstract要約: 大規模言語モデル(LLM)エージェントの評価は、価格設定エージェントが他人の費用で共謀していることを報告している。 競争相手が独占利益を共有するカルテルは、不正なメンバーが罰せられる場合にのみ保持される。 市場を偽造した偽造品を会員に強制的に不正にさせ、執行を検査する監査を導入する。
• 参考スコア（独自算出の注目度）: 7.060248012897499
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Evaluations of large language model (LLM) agents report that pricing agents collude at others' expense. Yet collusion is defined by enforcement: a cartel, in which competitors share monopoly profits, holds only if a member who cheats is punished. We introduce an audit that tests enforcement by forcing a member to cheat in counterfactual copies of a market, and use it to study what reinforcement learning (RL) teaches agents in pricing and trading. Small LLMs trained by RL learn what their training rivals reward, but only what they readily try. In self-play, they learn fixed rules ignoring their rivals; against a punishing rival, to be deterred; against a cheating rival, to match its cuts, never the costly price war that would deter it, which they rarely try. A war forced into training is learned, but mostly only where it was forced. Against their own copies, deterred and matching agents can earn the same cartel profits, but only matching ones can enforce them, and then thinly: as a by-product and only against large cuts. Q-learners enforce collusion only in pricing. Prompted LLMs reach cartel-like outcomes mostly through rules that ignore the market. Outcome measures cannot tell these cases apart; the audit can.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントの評価は、価格設定エージェントが他人の費用で共謀していることを報告している。 競争相手が独占利益を共有するカルテルは、不正を犯したメンバーが罰せられる場合にのみ保持される。 本稿では、市場を偽りのコピーで不正にすることを強制して実施を検証し、それを強化学習(RL)が価格やトレーディングにおいてエージェントに何を教えるかを研究するために利用する監査を紹介する。 RLによって訓練された小さなLLMは、彼らのトレーニングのライバルが何に報いるかを学ぶが、彼らが簡単に試すものだけを学ぶ。 自己プレイでは、彼らはライバルを無視する固定されたルールを学び、罰せられるライバルに対して、罰せられるライバルに対して、不正なライバルに対して、そのカットに合わせるために、それを阻止するコストのかかる価格戦争を決して起こさない。 訓練に費やされた戦争は学習されるが、ほとんどは強制された場所のみに限られる。 自作のコピーに対して、洗剤とマッチング剤は同じカルテル利益を得られるが、マッチングエージェントだけがそれらを強制し、その後、副産物として、そして大きなカットに対してのみ薄くすることができる。 Qラーナーは価格のみの共謀を強制する。 LLMは、主に市場を無視したルールを通じて、カルテルのような結果に到達します。 アウトカム対策はこれらのケースを区別できない。

関連論文リスト

• Beyond Supra-Competitive Outcomes: Collusive Behaviour in Deep Reinforcement Learning for Optimal Execution Games [0.0]
  我々は、逸脱を抑え、共謀の行動的証拠を提供する、学習された懲罰的メカニズムを見つける。 有限ホライゾンアルムグレン-クリス液化ゲームにおいて,この機構について検討する。 我々は2つの小切手を定めている:罰が減退の利益を上回るかどうか、また貿易行動の変化が課された損失を考慮に入れられるほど大きいかどうか。
  論文  参考訳（メタデータ） (2026-09-30T19:20:23Z)
• Persistent Partners Raise Prices Among Learning Agents [4.499330798936571]
  同じパートナーを維持することで、競争力と独占利益の差の0.27倍、平均的なトレーニングよりも利益のレベルを上げることができる。 ライバルの価格が隠されている場合、価格設定モジュールはカットを見ることができないため、それを罰することはできない。 ライバルが視認されている場合、静的なベストレスポンサーは、強制退避プローブが罰として読むもののうち3分の1から半分を占める。
  論文  参考訳（メタデータ） (2026-09-28T15:24:23Z)
• LeAct: Learning to Reason from Expert Actions [55.48554303260889]
  エキスパートシステムは、さまざまなドメインにまたがって、ほぼ最適なアクションを生成する。 実証された行動を超えて一般化する学生に専門家の知識を蒸留する方法を示す。 専門的なシステムは、基礎モデルのための教師の推論の分類学的に新しい情報源となる。
  論文  参考訳（メタデータ） (2026-07-23T22:50:23Z)
• Instructing LLMs to Negotiate using Reinforcement Learning with Verifiable Rewards [45.56436052535799]
  検証可能なリワードからの強化学習が,大規模言語モデルに交渉を効果的に教えることができるかを検討する。 我々は,中規模の買い手エージェントを,現実の商品を幅広く流通させた規制された売り手に対して訓練する枠組みを導入する。 以上の結果から,30Bエージェントは,余剰量を抽出する際の10倍のフロンティアモデルを大幅に上回る結果が得られた。
  論文  参考訳（メタデータ） (2026-04-10T19:35:39Z)
• Training Language Models for Bilateral Trade with Private Information [47.25254982913256]
  貿易の利益を達成するためには、個人、戦略的余剰の合理性、協力が必要である。 本研究では,大規模言語モデルがイベント駆動シミュレータ内のツールコールを介して交渉する構造化交渉環境を開発する。 この環境は、フロンティアモデルのベンチマークと、強化学習によるオープンウェイトモデルのトレーニング環境という2つの目的を果たす。
  論文  参考訳（メタデータ） (2026-04-10T03:04:20Z)
• Can Large Language Models Develop Strategic Reasoning? Post-training Insights from Learning Chess [54.5355907369231]
  チェスにおける強化学習(RL)を通して,大規模言語モデル (LLM) が戦略的推論能力を発達させることができるかを検討する。 以上の結果から, 蒸留法に基づく高密度報酬は, 希少な二進報酬よりも優れていることが示唆された。 我々は、チェス推論訓練におけるSFTおよびRLの略語を提供し、この制限が、事前訓練されたモデルのチェスに対する内部理解の欠如に起因する証拠を見つける。
  論文  参考訳（メタデータ） (2025-07-01T13:16:34Z)
• Learning to Charge More: A Theoretical Study of Collusion by Q-Learning Agents [9.053163124987535]
  無限反復ゲームにおいて、この振る舞いに関する最初の理論的説明を提供する。 ゲームが1段階のナッシュ均衡価格と共謀誘発価格の両方を許容すると、企業は相反する価格を一貫して請求することを学ぶ。
  論文  参考訳（メタデータ） (2025-05-28T22:18:35Z)
• LLMs unlock new paths to monetizing exploits [85.60539289753564]
  大規模言語モデル(LLM)はすぐにサイバー攻撃の経済性を変えるだろう。 LLMは、敵がユーザーごとにカスタマイズされた攻撃を起動することを可能にする。
  論文  参考訳（メタデータ） (2025-05-16T17:05:25Z)
• GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations [87.99872683336395]
  大規模言語モデル(LLM)は、重要な現実世界のアプリケーションに統合される。 本稿では,LLMの競合環境における推論能力について検討する。 まず,広く認識されている10のタスクを構成する言語駆動型環境であるGTBenchを提案する。
  論文  参考訳（メタデータ） (2024-02-19T18:23:36Z)
• Learning Not to Spoof [0.0]
  私は、知的株式取引業者が利益を最大化しつつ、市場を汚すことを不注意に学ぶ一連の実験を考えます。 私は、手書きスプーフィングトレーダーを単純な利益最大化RLエージェントに置き換え、スプーフィングを最適な戦略として独立して発見することを観察します。 本稿では,認識者を規範的ガイドとして組み込む方法を紹介し,エージェントの認識した報酬を形作り,選択した行動を変更する。
  論文  参考訳（メタデータ） (2023-06-09T17:49:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。