論文の概要: One Model, Multiple Compute Budgets: Multi-Ratio ConceptMoE for Flexible Compute Across Turns

• arxiv url: http://arxiv.org/abs/2610.14074v1
• Date: Thu, 08 Oct 2026 03:56:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.00805
• Title: One Model, Multiple Compute Budgets: Multi-Ratio ConceptMoE for Flexible Compute Across Turns
• Title（参考訳）: フレキシブル・コンピュート・アクロス・ターンのためのマルチ比概念MoEの一モデル
• Abstract要約: 共有バックボーン内に2,4,8のトークン対概念圧縮比を共同でサポートするマルチ比概念MoEを導入する。 CodeChatとCoでは、混合比の推論により、計算トレードオフの精度が向上し、Large MoEの5.87ポイントと2.68ポイントを上回っている。
• 参考スコア（独自算出の注目度）: 21.01302894450885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models typically support different inference budgets through separate model sizes or fixed compute configurations. In multi-turn interactions, however, compute demand can vary substantially across turns. Using a high-compute model for every turn wastes computation, while routing among independent models may require rebuilding model-specific history states after switches. We therefore ask whether a single shared model can support multiple compute budgets that can be flexibly assigned across turns. We introduce Multi-Ratio ConceptMoE, which jointly supports token-to-concept compression ratios of 2, 4, and 8 (CR2/CR4/CR8) within a shared backbone. Lightweight full-token modules reduce compression-independent cost, ratio-specific boundary routers support distinct compression levels, and cross-ratio training enables mixed-ratio processing within the same context. Across PTBench and SFTBench, the three fixed modes outperform their compute-matched MoE baselines in all 6 comparisons while remaining competitive with independently trained fixed-ratio specialists. On CodeChat and CoSQL, mixed-ratio inference improves the accuracy--compute trade-off, outperforming the Large MoE by 5.87 and 2.68 percentage points while reducing FLOPs by 41.1% and 12.3%, respectively. Under the same turn-wise budget schedule, Multi-Ratio ConceptMoE further reduces FLOPs by 78.4% and 46.9% relative to routing among independent models. These results demonstrate that a single shared model can provide multiple compute budgets for flexible compute allocation across turns.
• Abstract（参考訳）: 大規模言語モデルは通常、異なるモデルサイズまたは固定された計算構成を通じて異なる推論予算をサポートする。 しかし、マルチターン相互作用では、計算要求はターン毎に大きく変化する。 ターン毎に高速なモデルを使用することで計算を無駄にしますが、独立したモデル間のルーティングでは、スイッチ後にモデル固有の履歴状態を再構築する必要があります。 したがって、1つの共有モデルが、ターン毎に柔軟に割り当てられる複数の計算予算をサポートすることができるかどうかを問う。 共有バックボーン内に2,4,8(CR2/CR4/CR8)のトークン対概念圧縮比を共同でサポートするマルチ比概念MoEを導入する。 軽量のフルトーケンモジュールは圧縮非依存のコストを削減し、比比特異なバウンダリルータは異なる圧縮レベルをサポートし、クロス比トレーニングは、同じコンテキスト内で混合比処理を可能にする。 PTBenchとSFTBenchの3つの固定モードは、独立に訓練された固定比のスペシャリストと競争しながら、計算に適合したMoEベースラインを6つの比較で上回った。 CodeChatとCoSQLでは、混合比の推論により精度が向上し、Large MoEの5.87ポイントと2.68ポイントを上回っ、FLOPを41.1%、12.3%削減した。 同じターンワイドの予算スケジュールの下では、Multi-Ratio ConceptMoEはFLOPを独立モデル間のルーティングと比較して78.4%、46.9%削減する。 これらの結果は、1つの共有モデルが複数の計算予算を提供し、ターン間のフレキシブルな計算割り当てを実現することを実証している。

関連論文リスト

• Contribution-Aware Bandwidth Allocation for Multimodal Split Learning [7.440677492469226]
  Split Learningは、デバイス上の最初のレイヤのみを保持することで、マルチモーダルトレーニングを実現する。 ModalShareは、サーバがすでに受け取ったアクティベーションの連立を計算しているShapleyコントリビューションスコアから、各モダリティの維持比率を設定する。 このスコアを測定することで、アップリンクトラフィックやクライアント側の計算が不要になり、どのストリームがどのストリームであるかを事前に知る必要がなくなる。
  論文  参考訳（メタデータ） (2026-09-01T15:28:16Z)
• Scaling Trends for Multi-Hop Contextual Reasoning in Mid-Scale Language Models [0.0]
  大規模言語モデルにおけるマルチホップ文脈推論の制御に関する研究について述べる。 マルチエージェントシステムは逆パターンを示し、ルールベースのメソッドが失敗する推論タスクを最大80%達成する。
  論文  参考訳（メタデータ） (2026-01-06T20:18:55Z)
• Efficient Multi-Model Orchestration for Self-Hosted Large Language Models [2.3275796286410677]
  Pick and Spinは、セルフホストのオーケストレーションと経済性を実現するフレームワークである。 統合されたHelmベースのデプロイメントシステム、適応型スケールツーゼロ自動化、ハイブリッドルーティングモジュールを統合している。 最大21.6%の成功率、30%のレイテンシ、クエリ毎のコストの33%削減を実現している。
  論文  参考訳（メタデータ） (2025-12-26T22:42:40Z)
• Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs [80.72350166388601]
  Nemotron Elasticは推論指向のLLMを構築するためのフレームワークである。 ネストしたサブモデルを単一の親モデルに組み込む。 これらのサブモデルはそれぞれ、親モデルと重みを共有し、デプロイ中にゼロショットを抽出できる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:21Z)
• Mixture of States: Routing Token-Level Dynamics for Multimodal Generation [60.15447534872979]
  マルチモーダル拡散モデルのための新しい融合パラダイムであるMoS(Mixture of States)を紹介する。 MoSは学習可能なトークン指向ルータで、遅延時間ステップと入力依存のインタラクションを生成する。 我々は,画像のテキスト生成と編集による設計の検証を行い,その結果を得た。
  論文  参考訳（メタデータ） (2025-11-15T13:24:57Z)
• Layerwise Recurrent Router for Mixture-of-Experts [42.36093735411238]
  Mixture-of-Experts (MoE)アーキテクチャは、トレーニングコストを大幅に増加させることなく、モデルサイズをスケールできる能力で際立っている。 現在のMoEモデルはパラメータ非効率をしばしば表示する。 我々はMixture-of-Experts(RMoE)のためのLayerwise Recurrent Routerを紹介する。
  論文  参考訳（メタデータ） (2024-08-13T10:25:13Z)
• Tangent Model Composition for Ensembling and Continual Fine-tuning [69.92177580782929]
  タンジェントモデル合成(Tangent Model composition, TMC)は、事前訓練された点を中心に微調整されたコンポーネントモデルを独立に結合する手法である。 TMCの精度は4.2%向上し、非線形微調整モデルの精度は4.2%向上した。
  論文  参考訳（メタデータ） (2023-07-16T17:45:33Z)
• On Optimal Caching and Model Multiplexing for Large Model Inference [66.50550915522551]
  大きな言語モデル(LLM)や他の大きな基盤モデルは注目すべき成功を収めているが、そのサイズは既存のリソース消費とレイテンシーの問題を悪化させている。 キャッシュを用いて以前のクエリを格納し、モデルの多重化を学習し、クエリ処理のためのモデルの集合から選択する。
  論文  参考訳（メタデータ） (2023-06-03T05:01:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。