Fugu-MT 論文翻訳(概要): Tandem: Riding Together with Large and Small Language Models for Efficient Reasoning

論文の概要: Tandem: Riding Together with Large and Small Language Models for Efficient Reasoning

arxiv url: http://arxiv.org/abs/2604.23623v1
Date: Sun, 26 Apr 2026 09:33:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-28 17:12:07.467346
Title: Tandem: Riding Together with Large and Small Language Models for Efficient Reasoning
Title（参考訳）: Tandem: 効率的な推論のために,大規模かつ小規模な言語モデルと併用する
Abstract要約: 計算コストを大幅に削減した高品質な推論を実現するために,タンデムを提案する。このフレームワークは、大小の言語モデル(LLMとSLM)を相乗化し、高品質な推論を実現する。数学的推論とコード生成ベンチマークの実験により、タンデムは計算コストを約40%削減することを示した。
参考スコア（独自算出の注目度）: 37.624319973066925
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent advancements in large language models (LLMs) have catalyzed the rise of reasoning-intensive inference paradigms, where models perform explicit step-by-step reasoning before generating final answers. While such approaches improve answer quality and interpretability, they incur substantial computational overhead due to the prolonged generation sequences. In this paper, we propose Tandem, a novel collaborative framework that synergizes large and small language models (LLMs and SLMs) to achieve high-quality reasoning with significantly reduced computational cost. Specifically, the LLM serves as a strategic coordinator, efficiently generating a compact set of critical reasoning insights. These insights are then used to guide a smaller, more efficient SLM in executing the full reasoning process and delivering the final response. To balance efficiency and reliability, Tandem introduces a cost-aware termination mechanism that adaptively determines when sufficient reasoning guidance has been accumulated, enabling early stopping of the LLM's generation. Experiments on mathematical reasoning and code generation benchmarks demonstrate that Tandem reduces computational costs by approximately 40% compared to standalone LLM reasoning, while achieving superior or competitive performance. Furthermore, the sufficiency classifier trained on one domain transfers effectively to others without retraining. The code is available at: https://github.com/Applied-Machine-Learning-Lab/ACL2026_Tandem.
Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は推論集約的推論パラダイムの台頭を触媒し、モデルが最終的な答えを生成する前にステップバイステップの推論を行う。このようなアプローチは、応答品質と解釈可能性を改善するが、長い生成シーケンスのため、かなりの計算オーバーヘッドを発生させる。本稿では,大規模・小言語モデル(LLMとSLM)を相乗化して,計算コストを大幅に削減した高品質な推論を実現する,新しい協調フレームワークであるTandemを提案する。具体的には、LSMは戦略コーディネータとして機能し、批判的推論の洞察のコンパクトなセットを効率的に生成する。これらの洞察は、完全な推論プロセスを実行し、最終的な応答を提供する際に、より小さく、より効率的なSLMを導くために使用されます。効率性と信頼性のバランスをとるため、Tandemは、十分な推論ガイダンスが蓄積されたときに適応的に決定するコスト対応の終了メカニズムを導入し、LCMの生成を早期に停止することを可能にする。数学的推論とコード生成ベンチマークの実験では、タンデムはスタンドアロンのLCM推論と比較して計算コストを約40%削減し、優れた性能や競争性能を実現している。さらに、あるドメインの転送で訓練された十分分類器は、再訓練することなく、効果的に他への転送を行うことができる。コードは、https://github.com/Applied-Machine-Learning-Lab/ACL2026_Tandemで入手できる。

関連論文リスト

A State-Transition Framework for Efficient LLM Reasoning [58.18141262230392]
ロングチェイン・オブ・ソート (Long Chain-of-Thought, CoT) 推論は、複雑な推論タスクにおいて、Large Language Models (LLM) のパフォーマンスを大幅に改善する。既存の研究は通常、COT配列を圧縮することでLCMの推論効率を高める。状態遷移過程としてLLMの推論過程をモデル化する効率的な推論フレームワークを提案する。
論文参考訳（メタデータ） (2026-02-01T12:40:40Z)
Learning to Reason: Training LLMs with GPT-OSS or DeepSeek R1 Reasoning Traces [2.0789230137053014]
テストタイムのスケーリングにより、複雑な問題から推論できる新しいLarge Language Models(LLM)が実現された。 2種類の推論トレースを用いた後学習後の数学問題に対する中規模のLLMの性能の比較を行った。
論文参考訳（メタデータ） (2025-11-24T17:26:58Z)
Language Ranker: A Lightweight Ranking framework for LLM Decoding [70.01564145836129]
本稿では,レコメンデーションパイプラインのランク付け段階に類似した復号過程を概念化する。この知見に触発されて、我々はLanguage Rankerを提案する。実験の結果、Language Rankerは大規模報酬モデルに匹敵するパフォーマンスを達成する一方で、0.5Mの追加パラメータしか必要としないことがわかった。
論文参考訳（メタデータ） (2025-10-23T17:56:46Z)
Encode, Think, Decode: Scaling test-time reasoning with recursive latent thoughts [19.518525241726916]
Encode-Think-Decode (ETD) は、トレーニング中の推論関連レイヤの小さなサブセットを反復するようにトレーニングすることで、ベースモデルの推論能力を向上する手法である。 ETDモデルは、GSM8Kで+28.4%、OLMo-2 1Bベースモデルで+36%の相対精度の改善を含む17の推論ベンチマークで大幅に向上した。
論文参考訳（メタデータ） (2025-10-08T15:58:35Z)
Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [49.61246073215651]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。しかし、冗長な出力と冗長な出力による計算オーバーヘッドも大幅に発生する。
論文参考訳（メタデータ） (2025-03-20T17:59:38Z)
Cost-Optimal Grouped-Query Attention for Long-Context Modeling [45.981681856747365]
Grouped-Query Attention(GQA)は、大規模言語モデルにおける注目層の計算コストを削減するための広く採用されている戦略である。我々は,文脈長,モデルサイズ,GQA構成,モデル損失の関係を分析する。コスト最適GQA構成の導出法を提案する。
論文参考訳（メタデータ） (2025-03-12T17:50:42Z)
SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
論文参考訳（メタデータ） (2025-02-17T18:52:29Z)
Rational Metareasoning for Large Language Models [17.479428400594028]
大きな言語モデル(LLM)を使用するためのコアテクニックとして,推論への関与を促す声が上がっている。本研究は,認知科学で用いられるメタレゾニングの計算モデルに基づく新しいアプローチを導入する。我々は不必要な推論を罰することで計算の価値を組み込む報酬関数を開発する。
論文参考訳（メタデータ） (2024-10-07T23:48:52Z)
Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [68.29746557968107]
本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
論文参考訳（メタデータ） (2024-05-23T08:33:19Z)
SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。