論文の概要: Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data

• arxiv url: http://arxiv.org/abs/2610.37386v1
• Date: Tue, 27 Oct 2026 15:11:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.671608
• Title: Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data
• Title（参考訳）: 校正データを必要としないMixture-of-Expertsデコーディングのためのチャネル選択
• Abstract要約: Mixture-of-Experts (MoE)モデルは、小さなバッチサイズでインタラクティブデコーディング中にメモリからルート付きエクスプロイト重みをロードすることでボトルネックとなる。 チャネル選択はキャリブレーションデータを必要としないことを示す。 3つのスケッチでチャンネルを画面表示し、低ランクマップでスキップされたチャンネルを復元する。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models are bottlenecked by loading routed-expert weights from memory during interactive decoding at small batch sizes. Because most intermediate channels in a routed expert contribute little to any single token, channel selectors predict which channels matter and read only their weights, typically keeping channels above a threshold calibrated on offline data. We show that channel selection needs no calibration data. First, a calibrated threshold does not fix how much a selector reads, because the number of channels passing it varies across inputs; Prox with thresholds calibrated for an 18% read budget actually reads only 12.9% on average across our benchmarks. Second, top-k keeps each token's k highest-scoring channels and needs no calibration data. At the calibrated budget, a selector's top-k version matches or beats its threshold version on the same score in 40 of 43 comparisons at 13% and 18% budgets, including all 23 on generation tasks. The top-k versions also avoid the repetition-loop collapse that calibrated thresholds cause on Gemma 4. Calibrating a threshold thus provides neither of the two things selectors use it for: a known read budget and a consistent accuracy gain at that budget. We furthermore introduce a reader built entirely from the model's weights, which screens channels with a ternary sketch and recovers the skipped ones with a low-rank map. Across three post-trained MoE models, our reader retains 98.1% of full-model accuracy at 17.8% of routed-expert reads, with Triton kernels running MoE blocks 1.60 to 1.90x faster than optimized vLLM at batch one and up to 2.69x at larger batches on the same three models.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、小さなバッチサイズでインタラクティブデコーディング中にメモリからルート付きエクスプロイト重みをロードすることでボトルネックとなる。 ルーティングされた専門家のほとんどの中間チャネルは単一のトークンにはほとんど寄与しないため、チャネルセレクタはどのチャネルが重要かを予測し、重みだけを読み取る。 チャネル選択はキャリブレーションデータを必要としないことを示す。 まず、キャリブレーションされた閾値は、入力毎にチャンネル数が異なるため、セレクタの読み出し量を固定しない。 第2に、トップkは各トークンの最高スコアチャネルを保持し、キャリブレーションデータを必要としない。 キャリブレーションされた予算では、セレクタの上位kバージョンは、生成タスクの23点を含む43点中40点と13%と18%の予算で、同じスコアで閾値バージョンと一致または負かされる。 トップkバージョンは、Gemma 4で発生する閾値を調整した繰り返しループの崩壊も避けている。 これにより、しきい値のキャリブレーションは、既知の読み取り予算と、その予算における一貫した精度向上という、セレクタが使用する2つのもののいずれかを提供しません。 さらに、モデルの重みから完全に構築された読み手を導入し、3つのスケッチでチャンネルをスクリーニングし、低ランクマップでスキップされたものを復元する。 3つのトレーニング後のMoEモデル全体で、我々の読者は全モデルの精度を17.8%で98.1%保持し、MoEブロックを実行しているTritonカーネルはバッチ1で最適化されたvLLMより1.60～1.90倍速く、同じ3つのモデルでより大きなバッチで2.69倍高速である。

関連論文リスト

• Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
  System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。 オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
  論文  参考訳（メタデータ） (2026-10-01T05:57:14Z)
• CORDIAL: Calibrating Ordinal LLM Outputs from Few Labels [2.9661986198815655]
  大規模言語モデル(LLM)は、テキストを順序付きスケール上の分布に変換することができるが、その分布はノイズの多い測定値である。 提案するCORDIALは,モデル出力を真のラベルのノイズリードとして扱う。 結果のキャリブレーションは1次順序を保っていることを証明している。
  論文  参考訳（メタデータ） (2026-09-24T13:41:29Z)
• LWCal: Loss-Weighted Calibration for Tabular Classifiers with Noisy Calibration Labels [22.23301921278794]
  ポストホック確率キャリブレーションは通常、楽観的な仮定の下で評価される。 本稿では,CPUのみのポストホックキャリブレータであるLWCalを提案する。 第2の変種であるGated-LWCalは、キャリブレーション分割が極めて矛盾しているように見えるとき、元のスコアに向かって後退する保守的な不一致ゲートを追加する。
  論文  参考訳（メタデータ） (2026-09-22T00:41:17Z)
• A Calibrated Instrument for Measuring How Inference Optimizations Affect Output Quality [0.0]
  大規模言語モデルの最適化は活発な研究領域であり、モデルの重みの量子化、層をスキップする早期排他法、投機的復号化にまたがる。 本稿では,クロスシステムおよびクロス技術比較に適した出力品質測定のための厳密な手法を提案する。
  論文  参考訳（メタデータ） (2026-09-16T01:49:12Z)
• Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
  LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。 最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。 本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
  論文  参考訳（メタデータ） (2026-09-02T10:30:05Z)
• What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
  GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。 各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
  論文  参考訳（メタデータ） (2025-10-13T16:31:50Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)
• SplitMixer: Fat Trimmed From MLP-like Models [53.12472550578278]
  視覚認識のためのシンプルで軽量な等方的アーキテクチャであるSplitMixerを提案する。 情報(空間混合)とチャネル(チャネル混合)の2種類のインターリーブ畳み込み操作を含む。
  論文  参考訳（メタデータ） (2022-07-21T01:37:07Z)
• Optimising the selection of samples for robust lidar camera calibration [5.489796702858156]
  シーン全体に適したキャリブレーションパラメータを推定するためのキャリブレーションサンプルの選択を最適化する,ロバストなキャリブレーションパイプラインを提案する。 このVOQスコアは,推定キャリブレーションパラメータがシーン全体に対してよく一般化する能力と相関していることを示す。 提案するキャリブレーションパイプラインは90秒で1-1.2cm,標準偏差0.4-0.5cmで46のシーンに均等に分布する。
  論文  参考訳（メタデータ） (2021-03-23T03:46:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。