論文の概要: Token-Budget-Aware LLM Reasoning

• arxiv url: http://arxiv.org/abs/2412.18547v1
• Date: Tue, 24 Dec 2024 16:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:56:53.785301
• Title: Token-Budget-Aware LLM Reasoning
• Title（参考訳）: トーケン予算対応LDM推論
• Authors: Tingxu Han, Chunrong Fang, Shiyu Zhao, Shiqing Ma, Zhenyu Chen, Zhenting Wang,
• Abstract要約: CoT(Chain-of-Thought)推論はトークンの使用にかなりのオーバーヘッドをもたらす。 トークン予算を考慮したLCM推論フレームワークを提案する。 提案手法は,CoT推論におけるトークンコストをわずかな性能低下のみで効果的に低減する。
• 参考スコア（独自算出の注目度）: 33.81357562939748
• License:
• Abstract: Reasoning is critical for large language models (LLMs) to excel in a wide range of tasks. While methods like Chain-of-Thought (CoT) reasoning enhance LLM performance by decomposing problems into intermediate steps, they also incur significant overhead in token usage, leading to increased costs. We find that the reasoning process of current LLMs is unnecessarily lengthy and it can be compressed by including a reasonable token budget in the prompt, but the choice of token budget plays a crucial role in the actual compression effectiveness. We then propose a token-budget-aware LLM reasoning framework, which dynamically estimates token budgets for different problems based on reasoning complexity and uses the estimated token budgets to guide the reasoning process. Experiments show that our method effectively reduces token costs in CoT reasoning with only a slight performance reduction, offering a practical solution to balance efficiency and accuracy in LLM reasoning. Code: https://github.com/GeniusHTX/TALE.
• Abstract（参考訳）: 推論は大規模言語モデル(LLM)が幅広いタスクで優れているために重要である。 CoT(Chain-of-Thought)推論のような手法は、問題を中間ステップに分解することでLCMのパフォーマンスを向上させるが、トークン使用のオーバーヘッドが大きくなり、コストが増大する。 従来のLCMの推論プロセスは必要以上に長大であり,適切なトークン予算をプロンプトに組み込むことで圧縮することができるが,トークン予算の選択は実際の圧縮効率において重要な役割を担っている。 次に、推論複雑性に基づいて異なる問題に対するトークン予算を動的に推定し、推定トークン予算を用いて推論プロセスを導出するトークン予算対応LLM推論フレームワークを提案する。 実験により,本手法はCOT推論におけるトークンコストを僅かな性能低下で効果的に低減し,LCM推論における効率と精度のバランスをとるための実用的なソリューションを提供することが示された。 コード:https://github.com/GeniusHTX/TALE。

関連論文リスト

• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 本稿では,LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• Investigating the Shortcomings of LLMs in Step-by-Step Legal Reasoning [34.427730009102966]
  推論誤りを特定し,LLMの性能を評価するための自動評価フレームワークを開発した。 我々の研究は、論理集約的な複雑なタスクに対する推論チェーンの詳細なエラー解析に使用できる評価フレームワークとしても機能する。
  論文  参考訳（メタデータ） (2025-02-08T19:49:32Z)
• S$^2$-MAD: Breaking the Token Barrier to Enhance Multi-Agent Debate Efficiency [5.195584743414427]
  マルチエージェント・ディベート(MAD)は、大規模言語モデル(LLM)の推論能力を高めるための実行可能なアプローチとして登場した。 我々は,MAD内のトークンコストを削減するために,新しいスペーシフィケーション戦略を導入する。 このアプローチは、エージェント間の情報交換や非生産的議論の非効率を最小化し、議論プロセスの全体的な効率を向上する。
  論文  参考訳（メタデータ） (2025-02-07T09:49:56Z)
• Efficient Reasoning with Hidden Thinking [48.96945580741641]
  CoT(Chain-of-Thought)推論は、複雑な問題解決能力を改善するための強力なフレームワークになっています。 我々は,隠された潜在空間におけるCoTの推論を利用した効率的な推論フレームワークであるtextbfHeima$(隠されたラマとして)を提案する。 ハイマモデルは、ゼロショットタスクの精度を維持しつつ、より高い生成効率を達成する。
  論文  参考訳（メタデータ） (2025-01-31T15:10:29Z)
• Inference Optimal VLMs Need Only One Visual Token but Larger Models [54.01228554126122]
  視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。 VLMは、大量の入力トークンを処理するのに必要な計算量が多いため、推論中に高いレイテンシで制約されることが多い。 高いトークン圧縮設定に適したアプローチを構築するために、最初のステップを踏み出します。
  論文  参考訳（メタデータ） (2024-11-05T18:54:21Z)
• Rational Metareasoning for Large Language Models [5.5539136805232205]
  大きな言語モデル(LLM)を使用するためのコアテクニックとして,推論への関与を促す声が上がっている。 本研究は,認知科学で用いられるメタレゾニングの計算モデルに基づく新しいアプローチを導入する。 我々は不必要な推論を罰することで計算の価値を組み込む報酬関数を開発する。
  論文  参考訳（メタデータ） (2024-10-07T23:48:52Z)
• LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning [61.7853049843921]
  Chain-of-Thoughting(CoT)プロンプトは、大規模言語モデル(LLM)のための一般的なコンテキスト内学習手法である。 本稿では、教師なし学習を用いて有理数の潜在空間表現を生成するLaRS(Lalatnt Reasoning Skills)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-07T20:36:10Z)
• Large Language Model Cascades with Mixture of Thoughts Representations for Cost-efficient Reasoning [19.472937476936636]
  大きな言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示していますが、この強力なパフォーマンスは、しばしば有料のAPIサービスを使用するコストが高くなります。 本稿では, LLM のコスト削減を目的とした LLM カスケードの構築について検討する。 提案するカスケードは,より強力なLCMのみを使用すれば性能が向上するが,コストの40%しか必要としない。
  論文  参考訳（メタデータ） (2023-10-04T18:21:17Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。