論文の概要: Efficient Reasoning Models: A Survey

• arxiv url: http://arxiv.org/abs/2504.10903v1
• Date: Tue, 15 Apr 2025 06:28:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:11:56.451162
• Title: Efficient Reasoning Models: A Survey
• Title（参考訳）: 効率的な推論モデル:サーベイ
• Authors: Sicheng Feng, Gongfan Fang, Xinyin Ma, Xinchao Wang,
• Abstract要約: 本調査は,近年の効率的な推論の進歩を包括的に概観することを目的としている。 1)短い圧縮CoTを簡潔で効果的な推論チェーンに、(2)より小さい - 強力な推論能力を持つコンパクトな言語モデルを開発する、(3)より高速に、という3つの重要な方向性に分類する。
• 参考スコア（独自算出の注目度）: 52.96232442322824
• License:
• Abstract: Reasoning models have demonstrated remarkable progress in solving complex and logic-intensive tasks by generating extended Chain-of-Thoughts (CoTs) prior to arriving at a final answer. Yet, the emergence of this "slow-thinking" paradigm, with numerous tokens generated in sequence, inevitably introduces substantial computational overhead. To this end, it highlights an urgent need for effective acceleration. This survey aims to provide a comprehensive overview of recent advances in efficient reasoning. It categorizes existing works into three key directions: (1) shorter - compressing lengthy CoTs into concise yet effective reasoning chains; (2) smaller - developing compact language models with strong reasoning capabilities through techniques such as knowledge distillation, other model compression techniques, and reinforcement learning; and (3) faster - designing efficient decoding strategies to accelerate inference. A curated collection of papers discussed in this survey is available in our GitHub repository.
• Abstract（参考訳）: 推論モデルは、最終回答に到達する前に拡張されたチェーン・オブ・ソート(CoT)を生成することによって、複雑で論理集約的なタスクの解決において顕著な進歩を見せている。 しかし、この「スローシンキング」パラダイムの出現は、多くのトークンが順番に生成され、必然的にかなりの計算オーバーヘッドをもたらす。 この目的のために、効果的な加速に対する緊急の要求を強調している。 本調査は,近年の効率的な推論の進歩を包括的に概観することを目的としている。 2)知識蒸留、他のモデル圧縮技術、強化学習といった技術による強力な推論能力を持つコンパクトな言語モデルの開発、3)推論を加速する効率的な復号法を設計する。 この調査で論じられた論文の収集は、GitHubリポジトリで公開されています。

関連論文リスト

• Stepwise Perplexity-Guided Refinement for Efficient Chain-of-Thought Reasoning in Large Language Models [56.37421741507468]
  CoT推論は大規模言語モデル(LLM)の性能を大幅に向上させた。 本稿では,その重要性の尺度としてパープレキシティを用いた批判的推論ステップの同定手法を提案する。
  論文  参考訳（メタデータ） (2025-02-18T20:04:51Z)
• SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models [4.328173053224842]
  本稿では、自己干渉パラダイムによる推論を改善するために設計された新しいプロンプト技術であるSQuAREを紹介する。 CoTフレームワーク上に構築されているSQuAREでは,メインクエリに対処する前に,複数の補助的な質問の生成と解決をモデルに促している。 Llama 3 と GPT-4o モデルを用いて複数の質問応答データセットを用いて評価を行った結果,SQuARE が従来の CoT プロンプトや既存のrephrase-and- corresponding 手法をはるかに上回っていることが示された。
  論文  参考訳（メタデータ） (2025-02-13T15:07:20Z)
• Imitate, Explore, and Self-Improve: A Reproduction Report on Slow-thinking Reasoning Systems [92.89673285398521]
  o1のような推論システムは、複雑な推論タスクを解く際、顕著な能力を示した。 推論モデルをトレーニングするために、模倣、探索、自己改善のフレームワークを導入します。 提案手法は,産業レベルの推論システムと比較して競争性能が向上する。
  論文  参考訳（メタデータ） (2024-12-12T16:20:36Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)
• Closer Look at Efficient Inference Methods: A Survey of Speculative Decoding [1.3479499607624648]
  投機的復号化は、ドラフトと検証という2段階のフレームワークを導入することでボトルネックに対処する。 より小さく効率的なモデルが予備のドラフトを生成し、より大きくより洗練されたモデルによって洗練される。 本稿では、投機的復号法を包括的に調査し、それらをドラフト中心およびモデル中心のアプローチに分類する。
  論文  参考訳（メタデータ） (2024-11-20T09:46:30Z)
• Expediting and Elevating Large Language Model Reasoning via Hidden Chain-of-Thought Decoding [14.175444025026508]
  大規模言語モデル(LLM)は、チェーン・オブ・シント(CoT)のプロンプトを必要とするタスクにおいて顕著な機能を示した。 完全なCoTプロセスを生成すると、出力シーケンスが大幅に長くなり、推論時の計算コストと遅延が増大する。 セマンティックアライメントによってCoTプロセスを圧縮し、CoT推論の利点を保ちながらより効率的な復号化を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T06:29:20Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding [46.485363806259265]
  投機的デコーディングは、LLM(Large Language Models)推論のための新しいデコーディングパラダイムとして登場した。 復号処理の各ステップにおいて、この手法はまず、複数の将来のトークンを効率的にドラフトし、それらを並列に検証する。 本稿では,この有望な復号化パラダイムの概観と解析について述べる。
  論文  参考訳（メタデータ） (2024-01-15T17:26:50Z)
• Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
  大規模言語モデルに対して,多段階推論を行うための課題について検討する。 中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。 多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
  論文  参考訳（メタデータ） (2022-10-03T05:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。