論文の概要: Do Small Language Models Learn to Negotiate? A Controlled Scaling Study of RL-Trained Sellers

• arxiv url: http://arxiv.org/abs/2610.06204v1
• Date: Mon, 05 Oct 2026 12:17:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 17:55:05.949754
• Title: Do Small Language Models Learn to Negotiate? A Controlled Scaling Study of RL-Trained Sellers
• Title（参考訳）: 小言語モデルは交渉に学ぶか? RL-Trained Seller のスケールニングによる研究
• Abstract要約: 小型モデルは大規模ではコスト効率が良いが、強化学習はそれを有能な売り手に訓練できるだろうか? 我々は、GRPOで4つのGemma 4チェックポイント(2.3Bから31Bの有効パラメータ)をトレーニングし、トレーニングで見たことのない2つのフロンティア購入者に対して、同じ1,152回の交渉ですべての腕を評価する。 同じ学習レート(10～6ドル)で、ベース上のRLモデルのゲインは2.3Bで+0.001ドルから31Bで+0.078ドルに上昇する。
• 参考スコア（独自算出の注目度）: 1.0926835355554552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents are starting to own the full customer experience. Soon, LLMs may be selling and buying on behalf of companies and customers respectively. Small models are more cost-efficient at scale, but can reinforcement learning train them into competent sellers? We train four Gemma 4 checkpoints (2.3B to 31B effective parameters) with GRPO on a programmatic utility reward for bilateral multi-issue bargaining, and evaluate every arm on the same 1,152 negotiations against two frontier buyers it never saw in training. With the same learning rate ($10^{-6}$) for every size, the gain of the RL model over its base rises from $+0.001$ at 2.3B to $+0.078$ at 31B. Each size was trained once and the two smallest checkpoints use a different architecture, so we fit no scaling law. Tripling the learning rate, with the same or fewer training steps, improves on the shared rate at every size by $+0.032$ (2.3B) to $+0.081$ (4.5B). In exploratory comparisons with two frontier models run as sellers, the 12B seller trained at the tripled rate scores above both, though its untrained base already scores as high as they do. The 4.5B seller at that rate shows no detectable difference from either and fits on one 48 GB GPU. A further 2.3B arm at ten times the shared rate raises pooled score, but its gain concentrates on the evaluation buyer that shares a model family with the training pool. These results suggest tuning the learning rate before concluding that a small model cannot learn to negotiate, and testing against buyers from more than one model family.
• Abstract（参考訳）: LLMエージェントは、完全な顧客エクスペリエンスを所有し始めています。 近いうちに、LLMは企業と顧客のためにそれぞれ販売と購入を行うかもしれない。 小型モデルは大規模ではコスト効率が良いが、強化学習はそれを有能な売り手に訓練できるだろうか? 我々は,GRPO を用いた 4 つの Gemma 4 チェックポイント (2.3B から 31B の有効パラメータ) を,二国間マルチイシュー取引におけるプログラム的効用報酬で訓練し,トレーニング中に見なかった2 つのフロンティア購入者に対する1,152 回の交渉において,すべての腕を評価する。 同じ学習レート(10^{-6}$)で、ベース上のRLモデルのゲインは2.3Bで+0.001$から31Bで+0.078$に上昇する。 それぞれのサイズが一度トレーニングされ、2つの最小のチェックポイントが異なるアーキテクチャを使用しているため、スケーリング法則に適合しません。 同じまたは少ないトレーニングステップで学習率をトリプルすると、すべてのサイズの共有レートが$+0.032$ (2.3B) から$+0.081$ (4.5B) に改善される。 2つのフロンティアモデルとの探索的な比較では、この12Bセラーは2つ以上の3倍のレートでトレーニングされている。 4.5Bの売り手はどちらも検出可能な違いはなく、48GBのGPUに収まる。 シェアレートの10倍の2.3Bアームはプールスコアを上げるが、その利得はトレーニングプールとモデルファミリを共有する評価バイヤーに集中する。 これらの結果は,小規模モデルでは交渉を学べないという結論に達する前に学習率を調整し,複数のモデルファミリーの購入者に対して試験を行うことを示唆している。

関連論文リスト

• Instructing LLMs to Negotiate using Reinforcement Learning with Verifiable Rewards [45.56436052535799]
  検証可能なリワードからの強化学習が,大規模言語モデルに交渉を効果的に教えることができるかを検討する。 我々は,中規模の買い手エージェントを,現実の商品を幅広く流通させた規制された売り手に対して訓練する枠組みを導入する。 以上の結果から,30Bエージェントは,余剰量を抽出する際の10倍のフロンティアモデルを大幅に上回る結果が得られた。
  論文  参考訳（メタデータ） (2026-04-10T19:35:39Z)
• Planner-R1: Reward Shaping Enables Efficient Agentic RL with Smaller LLMs [10.044336754070203]
  textscTravelPlannerベンチマークを用いて,大規模言語モデルを用いたエージェントRLについて検討した。 われわれのアプローチである textscNatural-R1 は、わずか180のトレーニングクエリで textbf56.9% のファイナルパスレートを達成した。
  論文  参考訳（メタデータ） (2025-09-30T04:49:36Z)
• Unearthing Skill-Level Insights for Understanding Trade-Offs of Foundation Models [61.467781476005435]
  集約精度を検査する際には、スキルワイドのパフォーマンスが不明確になる。 モデル生成論理を検査することで,任意の評価事例に関連する基礎的スキルを復元する自動手法を提案する。 私たちのスキルスライスとフレームワークは、モデル評価の新しい道を開き、スキル固有の分析を活用して、よりきめ細やかで実用的なモデル機能の理解を解き放ちます。
  論文  参考訳（メタデータ） (2024-10-17T17:51:40Z)
• Compact Language Models via Pruning and Knowledge Distillation [61.56557874432008]
  ミニトロンモデルでは、スクラッチからのトレーニングに比べてMMLUスコアが最大16%改善している。 すでにトレーニング済みの15Bモデルから8Bと4Bモデルを抽出するには、スクラッチからトレーニングするよりも、モデル毎のトレーニングトークンを最大40倍少なくする必要があります。
  論文  参考訳（メタデータ） (2024-07-19T21:47:57Z)
• Toward Inference-optimal Mixture-of-Expert Large Language Models [55.96674056805708]
  大規模言語モデル(LLM)のスケーリング法則について検討する。 少数の(4/8)専門家を持つMoEsは、同じパフォーマンスで最も効率的なソリューションであるが、トレーニングでは2.5-3.5倍のコストがかかる。 検証損失以外の指標として推論効率を導入することで,MoEのスケーリング法則の改正を提案する。
  論文  参考訳（メタデータ） (2024-04-03T16:33:42Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Exploring Sparse Expert Models and Beyond [51.90860155810848]
  Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。 本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。 この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-31T16:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。