論文の概要: Leash: Adaptive Length Penalty and Reward Shaping for Efficient Large Reasoning Model

• arxiv url: http://arxiv.org/abs/2512.21540v1
• Date: Thu, 25 Dec 2025 07:16:26 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-29 12:07:07.604346
• Title: Leash: Adaptive Length Penalty and Reward Shaping for Efficient Large Reasoning Model
• Title（参考訳）: Leash: 高精度大共振モデルにおける適応長ペナルティと逆方向整形
• Authors: Yanhao Li, Lu Ma, Jiaran Zhang, Lexiang Tang, Wentao Zhang, Guibo Luo,
• Abstract要約: LeashはLLMの効率的な推論のための強化学習フレームワークである。 Leashは、さまざまなタスクで平均推論の長さを60%削減します。 そこで本研究は, 制御可能かつ効率的なLCMを開発するための, 実用的で効果的なパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 12.881680088950008
• License:
• Abstract: Existing approaches typically rely on fixed length penalties, but such penalties are hard to tune and fail to adapt to the evolving reasoning abilities of LLMs, leading to suboptimal trade-offs between accuracy and conciseness. To address this challenge, we propose Leash (adaptive LEngth penAlty and reward SHaping), a reinforcement learning framework for efficient reasoning in LLMs. We formulate length control as a constrained optimization problem and employ a Lagrangian primal-dual method to dynamically adjust the penalty coefficient. When generations exceed the target length, the penalty is intensified; when they are shorter, it is relaxed. This adaptive mechanism guides models toward producing concise reasoning without sacrificing task performance. Experiments on Deepseek-R1-Distill-Qwen-1.5B and Qwen3-4B-Thinking-2507 show that Leash reduces the average reasoning length by 60% across diverse tasks - including in-distribution mathematical reasoning and out-of-distribution domains such as coding and instruction following - while maintaining competitive performance. Our work thus presents a practical and effective paradigm for developing controllable and efficient LLMs that balance reasoning capabilities with computational budgets.
• Abstract（参考訳）: 既存のアプローチは通常、固定長の罰則に依存するが、そのような罰則は調整が困難であり、LLMの進化する推論能力に適応できないため、正確さと簡潔さの間の準最適トレードオフをもたらす。 この課題に対処するために、LLMにおける効率的な推論のための強化学習フレームワークであるLeash(Adaptive LEngth penAlty and reward SHaping)を提案する。 制約付き最適化問題として長さ制御を定式化し、ラグランジアン法を用いてペナルティ係数を動的に調整する。 世代がターゲットの長さを超えると、ペナルティが強化され、短い場合はリラックスする。 この適応機構は、タスク性能を犠牲にすることなく、簡潔な推論をモデルに導く。 Deepseek-R1-Distill-Qwen-1.5B と Qwen3-4B-Thinking-2507 の実験は、Leash が平均推論長を、様々なタスクにわたって60%削減していることを示している。 そこで本研究は,計算予算と推論能力のバランスをとる制御可能かつ効率的なLCMを開発するための,実用的で効果的なパラダイムを提案する。

関連論文リスト

• From Long to Short: LLMs Excel at Trimming Own Reasoning Chains [48.692414597960244]
  O1/R1スタイルの大推論モデル(LRM)は、従来の命令追従 LLM よりも大幅に進歩している。 近年の研究では、LEMは過剰思考に苦しむ傾向があることが示されている。 本研究では,LRMを効率よく誘導し,テスト時に最も短い正しい推論経路を特定するテスト時間スケーリング手法EDITを提案する。
  論文  参考訳（メタデータ） (2025-09-07T19:00:44Z)
• Pruning Long Chain-of-Thought of Large Reasoning Models via Small-Scale Preference Optimization [26.462701299259248]
  大規模推論モデル(LRM)は、長いチェーン・オブ・ソート(CoT)推論を通じて複雑なタスクに強い性能を示す。 長いアウトプットは計算コストを増大させ、過度に考え直し、推論の有効性と効率のバランスをとる上での課題を提起する。 本稿では, LRMの生成時間を削減するための効率的な手法について検討する。
  論文  参考訳（メタデータ） (2025-08-13T20:00:09Z)
• Thinking Fast and Right: Balancing Accuracy and Reasoning Length with Adaptive Rewards [17.829990749622496]
  大規模言語モデルに対する適応的な報酬形成手法を提案する。 本手法はモデルの性能に基づいて,精度と応答長のトレードオフを動的に調整する。 実験の結果,提案手法は精度を保ちながら推論時間を大幅に短縮することがわかった。
  論文  参考訳（メタデータ） (2025-05-23T18:44:46Z)
• Learn to Reason Efficiently with Adaptive Length-based Reward Shaping [23.626013831589212]
  大規模共振モデル(LRM)は、強化学習(RL)を通して複雑な問題を解く際、顕著な能力を示した。 本稿では,長さに基づく報酬形成のレンズを用いて,様々な効率的な推論手法を定式化する統一フレームワークを提案する。 DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-32Bの実験により、本手法は推論性能と応答長の効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2025-05-21T15:03:26Z)
• Ada-R1: Hybrid-CoT via Bi-Level Adaptive Reasoning Optimization [86.56120216550232]
  適応的で効率的な推論のための新しい2段階のフレームワークを提案する。 まず、長いCoTモデルと短いCoTモデルを組み合わせてハイブリッド推論モデルを構築する。 第二に、モデルに適切な推論スタイルを選択するための2段階の選好訓練を適用する。
  論文  参考訳（メタデータ） (2025-04-30T14:01:45Z)
• O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning [98.3430004984531]
  精度を維持しながら推論オーバーヘッドを最小限に抑えるため,Longth-Harmonizing Fine-Tuning (O1-Pruner)を提案する。 私たちのコードはもうすぐhttps://github.com/StarDewXXX/O1-Pruner.comで公開されます。
  論文  参考訳（メタデータ） (2025-01-22T01:35:11Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。