論文の概要: CITER: Collaborative Inference for Efficient Large Language Model Decoding with Token-Level Routing

• arxiv url: http://arxiv.org/abs/2502.01976v2
• Date: Wed, 05 Feb 2025 17:26:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:29:24.416795
• Title: CITER: Collaborative Inference for Efficient Large Language Model Decoding with Token-Level Routing
• Title（参考訳）: CITER:Token-Level Routingを用いた効率的な大規模言語モデルデコーディングのための協調推論
• Authors: Wenhao Zheng, Yixiao Chen, Weitong Zhang, Souvik Kundu, Yun Li, Zhengzhong Liu, Eric P. Xing, Hongyi Wang, Huaxiu Yao,
• Abstract要約: CITERはトークンレベルのルーティング戦略を通じて、小規模および大規模言語モデル(SLMs & LLMs)間の効率的な協調を可能にする。 実時間および資源制約のあるアプリケーションに対して有望なソリューションを提供するため、CITERは高品質な生成を保ちながら推論コストを削減できることを示す。
• 参考スコア（独自算出の注目度）: 56.98081258047281
• License:
• Abstract: Large language models have achieved remarkable success in various tasks but suffer from high computational costs during inference, limiting their deployment in resource-constrained applications. To address this issue, we propose a novel CITER (\textbf{C}ollaborative \textbf{I}nference with \textbf{T}oken-l\textbf{E}vel \textbf{R}outing) framework that enables efficient collaboration between small and large language models (SLMs & LLMs) through a token-level routing strategy. Specifically, CITER routes non-critical tokens to an SLM for efficiency and routes critical tokens to an LLM for generalization quality. We formulate router training as a policy optimization, where the router receives rewards based on both the quality of predictions and the inference costs of generation. This allows the router to learn to predict token-level routing scores and make routing decisions based on both the current token and the future impact of its decisions. To further accelerate the reward evaluation process, we introduce a shortcut which significantly reduces the costs of the reward estimation and improving the practicality of our approach. Extensive experiments on five benchmark datasets demonstrate that CITER reduces the inference costs while preserving high-quality generation, offering a promising solution for real-time and resource-constrained applications.
• Abstract（参考訳）: 大規模言語モデルは様々なタスクで顕著な成功を収めてきたが、推論中に高い計算コストに悩まされ、リソースに制約のあるアプリケーションへの展開が制限された。 この問題に対処するため,トークンレベルのルーティング戦略を用いて,小規模および大規模言語モデル (SLMs & LLMs) 間の効率的な協調を可能にするCITER (\textbf{C}ollaborative \textbf{I}nference with \textbf{T}oken-l\textbf{E}vel \textbf{R}outing) フレームワークを提案する。 特に、CITERは、非臨界トークンをSLMに、効率を、臨界トークンをLLMに、一般化品質を指示する。 我々は,ルータの学習をポリシー最適化として定式化し,予測の質と生成の推論コストの両方に基づいて報酬を受け取る。 これにより、ルータはトークンレベルのルーティングスコアを予測し、現在のトークンと将来の決定の影響の両方に基づいてルーティング決定を行うことができる。 報奨評価プロセスをさらに加速するために,報奨評価のコストを大幅に削減し,提案手法の実用性を向上させるショートカットを導入する。 5つのベンチマークデータセットに対する大規模な実験によると、CITERは高品質な生成を維持しながら推論コストを削減し、リアルタイムおよびリソース制約のあるアプリケーションに有望なソリューションを提供する。

関連論文リスト

• Universal Model Routing for Efficient LLM Inference [72.65083061619752]
  我々は,これまで観測されていなかった新しいLLMがテスト時に利用可能となる動的ルーティングの問題を考察する。 本稿では,各LSMを特徴ベクトルとして表現する手法を提案する。 これらの戦略が理論的に最適なルーティングルールの推定であり、エラーを定量化するための過剰なリスクを提供する。
  論文  参考訳（メタデータ） (2025-02-12T20:30:28Z)
• Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
  大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。 1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。 我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:11Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• FTP: A Fine-grained Token-wise Pruner for Large Language Models via Token Routing [17.01412432658081]
  大規模言語モデル(LLM)は、法則を拡張することによって、様々なタスクにおいて優れた性能を示す。 重要でないトークンを適応的に識別する学習可能なルータを提案する。 提案手法は,既存の刈り込み手法を超越して,最先端(SOTA)刈り込み結果を実現する。
  論文  参考訳（メタデータ） (2024-12-16T07:09:46Z)
• Pruning All-Rounder: Rethinking and Improving Inference Efficiency for Large Vision Language Models [42.124670377223175]
  我々は Pruning All-Rounder (PAR) と呼ばれる推論加速のための新しいフレームワークを提案する。 自己教師付き学習方式により,提案手法は性能と効率のバランスが良好である。特にPARは柔軟であり,複数のプルーニングバージョンを提供し,様々なプルーニングシナリオに対処する。
  論文  参考訳（メタデータ） (2024-12-09T13:02:35Z)
• RouteLLM: Learning to Route LLMs with Preference Data [41.687640419561504]
  大きな言語モデル(LLM)は、幅広いタスクにわたって印象的な機能を示すが、どのモデルを使うかの選択は、パフォーマンスとコストのトレードオフを伴うことが多い。 推論において,より強いLLMと弱いLLMを動的に選択する効率的なルータモデルを提案する。 我々は、人間の嗜好データとデータ拡張技術を利用して、これらのルータのためのトレーニングフレームワークを開発し、性能を向上する。
  論文  参考訳（メタデータ） (2024-06-26T18:10:22Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。