論文の概要: AutoL2S: Auto Long-Short Reasoning for Efficient Large Language Models

• arxiv url: http://arxiv.org/abs/2505.22662v1
• Date: Wed, 28 May 2025 17:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.798667
• Title: AutoL2S: Auto Long-Short Reasoning for Efficient Large Language Models
• Title（参考訳）: AutoL2S: 効率的な大規模言語モデルのためのオートロングショート推論
• Authors: Feng Luo, Yu-Neng Chuang, Guanchu Wang, Hoang Anh Duy Le, Shaochen Zhong, Hongyi Liu, Jiayi Yuan, Yang Sui, Vladimir Braverman, Vipin Chaudhary, Xia Hu,
• Abstract要約: 推論可能な大規模言語モデル(LLM)は、複雑な推論タスクにおいて強力な性能を示す。 最近のアプローチでは、長い推論や短い推論をいつ適用すべきかを手動で決めることによって、この問題に対処しようとしている。 本稿では,LLMが生成した推論経路を動的に圧縮できる動的かつモデルに依存しないフレームワークであるAuto Long-Short Reasoning (AutoL2S)を提案する。
• 参考スコア（独自算出の注目度）: 56.063571989395946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The reasoning-capable large language models (LLMs) demonstrate strong performance on complex reasoning tasks but often suffer from overthinking, generating unnecessarily long chain-of-thought (CoT) reasoning paths for easy reasoning questions, thereby increasing inference cost and latency. Recent approaches attempt to address this challenge by manually deciding when to apply long or short reasoning. However, they lack the flexibility to adapt CoT length dynamically based on question complexity. In this paper, we propose Auto Long-Short Reasoning (AutoL2S), a dynamic and model-agnostic framework that enables LLMs to dynamically compress their generated reasoning path based on the complexity of the reasoning question. AutoL2S enables a learned paradigm, in which LLMs themselves can decide when longer reasoning is necessary and when shorter reasoning suffices, by training on data annotated with our proposed method, which includes both long and short CoT paths and a special <EASY> token. We then use <EASY> token to indicate when the model can skip generating lengthy CoT reasoning. This proposed annotation strategy can enhance the LLMs' ability to generate shorter CoT reasoning paths with improved quality after training. Extensive evaluation results show that AutoL2S reduces the length of reasoning generation by up to 57% without compromising performance, demonstrating the effectiveness of AutoL2S for scalable and efficient LLM reasoning.
• Abstract（参考訳）: 推論可能な大規模言語モデル(LLM)は、複雑な推論タスクにおいて強力なパフォーマンスを示すが、しばしば過度に考え直し、必要以上に長いチェーン・オブ・シークレット(CoT)推論パスを生成して、推論コストと遅延を増大させる。 最近のアプローチでは、長い推論や短い推論をいつ適用すべきかを手動で決めることによって、この問題に対処しようとしている。 しかし、疑問の複雑さに基づいてCoT長を動的に適用する柔軟性は欠如している。 本稿では,LLMが生成した推論パスを,推論の複雑さに基づいて動的に圧縮できる動的かつモデルに依存しないフレームワークであるAuto Long-Short Reasoning(AutoL2S)を提案する。 AutoL2Sは、長いCoTパスと短いCoTパスと特別な<EASY>トークンの両方を含む提案手法にアノテートしたデータに基づいて、LLM自体が長い推論がいつ必要か、より短い推論がいつ必要かを決定することができる学習パラダイムを実現する。 次に<EASY>トークンを使用して、モデルが長いCoT推論の生成をスキップできることを示す。 提案したアノテーション戦略は,訓練後の品質向上を図り,短いCoT推論経路を生成するLLMの能力を高めることができる。 大規模評価の結果,AutoL2Sは性能を損なうことなく推理生成期間を最大57%短縮し,スケーラブルで効率的なLCM推論におけるAutoL2Sの有効性を示した。

関連論文リスト

• Adaptive Deep Reasoning: Triggering Deep Thinking When Needed [28.575411507835973]
  大規模言語モデル(LLM)は、ロングチェーン推論による複雑なタスクの処理において、優れた機能を示している。 本稿では,問題複雑性に基づいて,短鎖と長鎖の推論チェーンを自律的に切り替える手法を提案する。 この進歩は、現実世界の応用のための大規模言語モデルにおける推論の実践性を高める。
  論文  参考訳（メタデータ） (2025-05-26T15:08:51Z)
• Efficient Long CoT Reasoning in Small Language Models [26.579760423359673]
  小さな言語モデル(SLM)を直接トレーニングして、長いチェーン・オブ・シークレット(CoT)推論ステップを創出することは困難である。 提案手法では, 不要なステップを長いCoTで実行し, 有効かつ有用なCoTトレーニングデータをキュレートするために, SLM自体の法則を用いる。
  論文  参考訳（メタデータ） (2025-05-24T00:22:52Z)
• Prolonged Reasoning Is Not All You Need: Certainty-Based Adaptive Routing for Efficient LLM/MLLM Reasoning [27.498043430208085]
  チェーン・オブ・ソート(CoT)推論への過剰依存はモデル性能を損なう可能性がある。 我々はCAR(Adaptive Reasoning)を提案する。 CARは、モデルの難易度に基づいて、短い回答と長い形式の推論を切り替える。
  論文  参考訳（メタデータ） (2025-05-21T06:20:17Z)
• Thinkless: LLM Learns When to Think [57.857534644932194]
  推論モデル(Reasoning Language Models)は、複雑な論理的推論を必要とするタスクにおいて顕著な性能を示す。 我々は,LLMが短文推論と長文推論を適応的に選択できる学習可能なフレームワークであるThinklessを提案する。 Minerva Algebra、MATH-500、GSM8Kなどのベンチマークでは、Thinklessはロングチェーン思考の使用を50%から90%削減することができる。
  論文  参考訳（メタデータ） (2025-05-19T17:24:16Z)
• Short-Path Prompting in LLMs: Analyzing Reasoning Instability and Solutions for Robust Performance [33.16322104912836]
  大規模言語モデル (LLM) の推論は、主にチェーン・オブ・シント (CoT) のアプローチによるものである。 LLMは、推論に関連する質問に応答するときに、長くて詳細なCoT経路を提供するように、命令調整される。 人間は自然に認知的な惨事であり、言語モデルにかなり短い反応を与えるよう促す。
  論文  参考訳（メタデータ） (2025-04-13T14:12:14Z)
• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [54.04678363287392]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• When More is Less: Understanding Chain-of-Thought Length in LLMs [51.631483479081645]
  大規模言語モデル(LLM)は複雑な問題を分解するためにChain-of-Thought(CoT)推論を用いる。 本稿は、長いCoTがより優れていると仮定されることがしばしばあり、長いCoTが常に優れているとは限らない、と論じる。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。