論文の概要: Where Prefill Expert Reduction Hurts MoE Models: A Few Prompt Tokens Carry Most of the Short-Answer F1 Loss

• arxiv url: http://arxiv.org/abs/2610.22454v1
• Date: Thu, 15 Oct 2026 16:26:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.599799
• Title: Where Prefill Expert Reduction Hurts MoE Models: A Few Prompt Tokens Carry Most of the Short-Answer F1 Loss
• Title（参考訳）: プレフィルのエキスパートがMoEモデルに挑戦:F1の短距離損失の大半を運ばせる
• Abstract要約: プリフィルの間、より少ないルートの専門家を通してプロンプトトークンを実行することは、エキスパートの混在を安くする簡単な方法である。 トークン,レイヤ,アテンションパスによる介入が,MoEファミリー4家族の短解答に影響を及ぼすことが判明した。
• 参考スコア（独自算出の注目度）: 11.89004293900197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Running prompt tokens through fewer routed experts during prefill is a simple way to make mixture-of-experts (MoE) serving cheaper, yet it is unclear what this damages. We locate the damage with token-, layer- and attention-path interventions on short-answer question answering in four MoE families. At half the experts the F1 loss of three families is mostly answer form: the model still finds the answer but stops answering briefly. In Qwen3-30B-A3B this loss is made at the two chat-template tokens before the answer, and in DeepSeek-V2-Lite at the first 8-32 prompt tokens, where its instruction sits; by answer likelihood these positions account for about half and a fifth of the damage. Reduction changes the first token's attention mass, norm and largest activation by less than 4%, and restoring super experts or massive activations recovers at most about a quarter of the loss, well below keeping the sensitive positions full. On real prompts with about 4% of tokens at full experts, placing them on the task interface keeps F1 within one point of the unmodified model, while placing them at random in the documents is about 3 points worse (two of five prespecified primary comparisons; the others were undecided or not run). Because the answer boundary always ends a single-turn prompt, and DeepSeek's loss was no longer detectable once its instruction moved away from the start, the sensitive tokens lay at the prompt ends in every sensitive layout we found, so rules that keep the ends are not distinguished from rules that read application marks. Time to first token falls about 14% on 11K-token prompts and not at 2K tokens.
• Abstract（参考訳）: プリフィルの間、より少ないルートの専門家を通してプロンプトを発行することは、Mix of-experts(MoE)を安価に利用するための簡単な方法である。 トークン,レイヤ,アテンションパスの介入により,MoEファミリー4家族の短問答答に対するダメージが検出された。 専門家の半数は、F1の3家族の損失は、大半が答えの形式である:モデルはまだ答えを見つけるが、短時間で答えが止まる。 Qwen3-30B-A3Bでは、この損失は答えの前に2つのチャットテンプレートトークンで行われ、DeepSeek-V2-Liteでは最初の8-32のプロンプトトークンでその命令が配置されている。 減量により、トークンの注意質量、ノルム、最大アクティベーションが4%以下に変化し、スーパーエキスパートの回復や大規模なアクティベーションは損失の4分の1以上で回復する。 実際のプロンプトでは、フルエキスパートで約4%のトークンをタスクインターフェースに配置すると、F1は修正されていないモデルの1つのポイントに留まるが、ドキュメントにランダムに配置すると約3ポイント悪くなる(5つのプリミティブ比較のうち2つは、決定されていないか、実行されていないか)。 応答境界は常にシングルターンプロンプトを終了するので、DeepSeekの損失は、インストラクションが開始から離れてしまえば検出できないため、センシティブなトークンは私たちが見つけたすべてのセンシティブなレイアウトでプロンプトの端に置かれるため、エンドを維持するルールはアプリケーションマークを読むルールと区別されない。 最初のトークンの時間は11Kトークンのプロンプトで約14%で、2Kトークンではない。

関連論文リスト

• On the Tip of the Tongue: First-Token Cueing as a Behavioral Probe of Recall Failures in LLMs [8.902793668615567]
  多くのクローズドブックエラーは、第一にリコール失敗であることを示す。 我々は、金の答えの最初のトークンで応答をプリフィルする行動プローブであるFirst-Token Cueingを用いてこれを研究した。 16個のオープンモデルにまたがって、このトークンは英語のQAにおける多点解の5分の1から半分の誤差を補正する。
  論文  参考訳（メタデータ） (2026-10-16T12:55:36Z)
• Unlocking Token Rewards via Training-Free Reward Attribution [85.18171317447187]
  本稿では,既存のディープ報酬モデルから直接トークンレベルの報酬信号を抽出する,極めて効率的なトレーニング不要な手法を提案する。 トークン埋め込みとヌルトークン埋め込みの差の内積への影響計算を単純化する一階述語Taylor近似を用いる。 トークンレベルの報酬により、標準的なRLアルゴリズムは、追加の報酬モデルトレーニングを必要とせずに、正確なクレジット割り当てを行うことができる。
  論文  参考訳（メタデータ） (2026-10-13T16:53:27Z)
• The Undetected Damage of Quantization on Retrieval and How to Fix It [51.02977749156532]
  分類精度を保った量子モデルでは,トップ1検索結果の14ドルから46%の値がまだ変化していることを示す。 この失敗を2つの上位モデルスコア間のギャップに結び付け、そのギャップを使用して、定量化された回答をいつ信頼するかを決めます。 この差が最大の丸め誤差の2倍を超える場合にのみ、トップ1結果が量子化を継続することが保証されていることを示す。
  論文  参考訳（メタデータ） (2026-09-21T09:26:35Z)
• Your Model Already Knows Don't Teach It, Learn to Ask It: Soft Prompting for Few-Shot Adaptation of Vision-Language Models [36.10583933406835]
  航空、産業、医療画像などの領域外設定において、視覚言語モデル(VLM)を用いた数発の物体検出に対処する。 既存の適応法は離散的なプロンプト最適化とLoRA微調整である。 ソフトプロンプトでは、トレーニング済みのバックボーンが凍結されている間、少数の連続プロンプトトークンが最適化される。
  論文  参考訳（メタデータ） (2026-09-10T09:38:11Z)
• Shorter Reasoning, Earlier Answers? An Evaluation of Reasoning Interfaces [4.821442958610436]
  大規模な言語モデルは、答えの前に長さを推論し、コストとレイテンシを増大させる。 GPQAダイヤモンド198問とMMLU-Pro500問を比較検討した。
  論文  参考訳（メタデータ） (2026-08-04T09:54:37Z)
• PARTREP: Learning What to Repeat for Decoder-only LLMs [12.053018926036678]
  PartRepは、最も情報性の高いトークンのみを付加する選択的な拡張方法である。 我々は、初期層隠れ状態から高NLLトークンを予測する軽量ゲートを訓練する。 PartRep は KV キャッシュの 59.4% と 79.0% のプレフィル FLOP を使用しながら、フル繰り返しの利益のほとんどを維持している。
  論文  参考訳（メタデータ） (2026-07-02T07:07:28Z)
• Answer Presence Drives RAG Rewriting Gains [21.554301305644156]
  検索可能な増補QAパイプラインは、小さい読み手より前に、LLMエンプレライターを介して取得した経路をルートすることが多い。 我々は、リライトコンテキストに現れる金の応答文字列によって、リフトが因果的に駆動されるかどうかを問う。
  論文  参考訳（メタデータ） (2026-06-04T03:00:42Z)
• Are you going to finish that? A Practical Study of the Partial Token Problem [85.49816027251013]
  言語モデル(LM)はトークンのシーケンスによって訓練されるが、ユーザはテキストを介してLMと対話する。 このミスマッチは、ユーザーが期待する次のトークンの途中でプロンプトを終了したときに発生する部分トークン問題を引き起こす。 この研究では、トークンと"ワード"境界がしばしば並んでいない3つのドメインを特定します。
  論文  参考訳（メタデータ） (2026-01-30T17:47:16Z)
• Behavior-Equivalent Token: Single-Token Replacement for Long Prompts in LLMs [55.827877498548965]
  単一プロンプト固有の振る舞い等価トークン([BE])を学習する軽量なトレーニングフレームワークを提案する。 フレームワークはまず[BE]に、元のシステムプロンプトの自然言語内容を再構成してエンコードし、その後、プロンプトの下流の振る舞いをこの単一のトークンに蒸留するように訓練する。 3つのデータセットに対する実証的な評価は、1つの[BE]トークンが3000倍の高速化を実現し、元のシステムの下流性能の約98%を維持していることを示している。
  論文  参考訳（メタデータ） (2025-11-28T15:22:52Z)
• One Token Embedding Is Enough to Deadlock Your Large Reasoning Model [91.48868589442837]
  我々は, LRMの生成制御フローをハイジャックする資源枯渇手法であるDeadlock Attackを提案する。 提案手法は4つの先進LEMにおいて100%の攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-10-12T07:42:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。