論文の概要: Half the Experts, All the Code: One-Shot Domain Pruning of Mixture-of-Experts LLMs for Coding

• arxiv url: http://arxiv.org/abs/2607.16721v1
• Date: Sat, 18 Jul 2026 09:17:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.235008
• Title: Half the Experts, All the Code: One-Shot Domain Pruning of Mixture-of-Experts LLMs for Coding
• Title（参考訳）: エキスパートの半分, すべてのコード: コーディングのためのミックス・オブ・エキスパート LLM のワンショットドメインプルーニング
• Abstract要約: オープンウェイトコーディングモデルは、Mix-of-experts (MoE)ネットワークである。 その大きさの大半は「エキスパート」ワークの大きなプールから来ています。 専門家のプルーニングは機能しますが、モデルが実際に機能するタスクに対して、モデルごとのバリデーションが必要です。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The strongest open-weight coding models are mixture-of-experts (MoE) networks: most of their size comes from large pools of "expert" subnetworks, of which only a few act on any token. That pool is why these models do not fit on the machines most developers own, yet for a user who only wants coding help, most experts encode abilities that will never be invoked. We ask how many experts can be removed, and which, by pruning two recent open-weight MoE models from different families (Qwen3.6-35B-A3B and Gemma-4-26B-A4B) under five selection strategies, judged the way a user would: by whether the model still writes correct code. Half the experts can be removed from either model with no statistically detectable loss on the primary code benchmark, and the damage lands almost entirely on abilities outside coding, the intended trade. But the winning strategy flips between the two models, so a recipe validated on one family cannot be assumed to work on another. We further show that perplexity, the metric much of the pruning literature leans on, can rate a broken model above an intact one; that a lightweight fine-tune recovers about half of what aggressive pruning loses; and that against quantizing the full model to the same memory, pruning wins only where quantization would have to drop below 3 bits per weight. Five attempts to overturn that crossover, with failure criteria fixed in advance (better calibration, guarded selection, causal expert importance, failure attribution, and an agentic evaluation letting each model repair its failures from execution feedback), all leave it standing; the last shows single-shot benchmarks overstate compression penalties broadly, as one repair turn erases the 2-bit quantization penalty entirely. Expert pruning works, but it demands per-model validation on the task the model will actually serve.
• Abstract（参考訳）: 最大のオープンウェイトコーディングモデルは、Mixix-of-experts (MoE)ネットワークである。 このプールは、これらのモデルがほとんどの開発者が所有するマシンに適合しない理由であるが、コーディング支援のみを望むユーザにとって、ほとんどの専門家は、決して呼び出されない能力をエンコードしている。 我々は、どれだけの専門家を排除できるかを問うとともに、5つの選択戦略の下で異なるファミリー(Qwen3.6-35B-A3BとGemma-4-26B-A4B)から最近の2つのオープンウェイトなMoEモデルを抽出することで、モデルが正しいコードを書き続けるかどうかを判断した。 専門家の半分は、主要なコードベンチマークで統計的に検出可能な損失を伴わず、どちらのモデルからでも排除することができる。 しかし、勝利戦略は2つのモデルの間を行き来するため、ある家庭で検証されたレシピは別の家庭で作業することが想定できない。 さらに、急激なプルーニングの損失の約半分を軽量のファインチューンは回復し、フルモデルを同じメモリに量子化する代わりに、プルーニングは量子化が1ウェイトあたり3ビット以下になる場合にのみ勝利することを示した。 クロスオーバーをひっくり返そうとする5つの試み(キャリブレーション、ガードされた選択、因果的専門家の重要度、失敗の帰結、各モデルが実行フィードバックから失敗を修復できるようにするエージェント評価)は、すべてそのままで、最後の1回のベンチマークでは、一回の修正ターンで2ビット量子化のペナルティを完全に消去する。 エキスパートプルーニングは機能するが、モデルが実際に機能するタスクに対して、モデルごとのバリデーションを要求する。

関連論文リスト

• Off-Policy Evaluation for Semantic ID Recommenders: Does the Model's Own Code Hierarchy Help? [1.438318734827691]
  遺伝子レコメンデーターは、セマンティックID(SID)をますます発行する モデル自身のSIDツリーは、そのOPEのアクション抽象化として機能するのか? 条件バイアス境界は、粗いバイアスとノブ量子化器の最悪のケース再構成残差を結びつける。
  論文  参考訳（メタデータ） (2026-08-28T22:11:22Z)
• Spend Experts Where You Are Unsure: Confidence-Adaptive Routing for Mixture-of-Experts LoRA [0.0]
  CARE(Confidence-Adaptive Routing of Experts)を紹介します。 CAREは一致した計算における固定トップkのMoE-LoRAよりも改善され、固定k=4のベースラインと一致し、専門家のアクティベートは少ない。 同じ信頼と不一致の信号は、MSP、エントロピー、マルチパスプロキシに対する分布外検出も改善する。
  論文  参考訳（メタデータ） (2026-07-28T17:59:16Z)
• Decoding-Time Debiasing via Process Reward Models: From Controlled Fill-in to Open-Ended Generation [0.0]
  大規模な言語モデルは、トレーニングされたデータから社会的バイアスを拾い上げ、下流のアプリケーションにバイアスを運ぶ。 本稿では,デコーディング時にモデルをデバイアス化し,モデルの重みに触れることなく,候補トークンに対するバイアス緩和を構造化された探索として扱う。 我々は、高度化のための3つのスキーム(Best-of-N selection, Sequential critique-and-Revise, Constitutional self-audit)を設計し、4つのモデルで評価する。
  論文  参考訳（メタデータ） (2026-05-04T08:51:34Z)
• Path-Lock Expert: Separating Reasoning Mode in Hybrid Thinking via Architecture-Level Separation [16.560201276956175]
  ハイブリッド思考言語モデルは明示的な思考と非思考モードを露呈するが、現在の設計ではそれらをきれいに分離していない。 一つの計算層を意味的にロックされた2つの専門家に置き換えるアーキテクチャレベルのソリューションであるPath-Lock Expert (PLE)を提案する。 PLEは、より正確で、より簡潔で、リークの原因となる可能性がはるかに低い、はるかに強力なノンシンクモードを生成する。
  論文  参考訳（メタデータ） (2026-04-29T21:07:47Z)
• How Many Tries Does It Take? Iterative Self-Repair in LLM Code Generation Across Model Scales and Benchmarks [0.0]
  7つの大言語モデルにわたる反復的自己修復について検討する。 HumanEvalとMBPPは最大5回の試行で衛生化され、自己修復はパスレートを普遍的に改善する。 エラータイプの分析では、アサーションエラーは45%で修正するのが最も難しいが、構文や名前のエラーはかなり高い速度で修正される。
  論文  参考訳（メタデータ） (2026-04-12T07:51:41Z)
• MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
  微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。 ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
  論文  参考訳（メタデータ） (2026-01-15T15:15:53Z)
• Dual-Stage Reweighted MoE for Long-Tailed Egocentric Mistake Detection [85.0189917888094]
  本稿では,微妙で頻繁なミスによって生じる課題に対処するため,Dual-Stage Reweighted Mixture-of-Experts (DR-MoE) フレームワークを提案する。 提案手法は,特に稀かつ曖昧な誤りの特定において,高い性能を達成する。
  論文  参考訳（メタデータ） (2025-09-16T12:00:42Z)
• MICE for CATs: Model-Internal Confidence Estimation for Calibrating Agents with Tools [54.63478102768333]
  十分に校正されたモデル信頼度は、潜在的な行動の報酬に対するリスクを測るために使用することができる。 本稿では,ツール呼び出し時の信頼度を評価するために,モデル内信頼度推定器(MICE)の新たなクラスを提案する。
  論文  参考訳（メタデータ） (2025-04-28T18:06:38Z)
• GW-MoE: Resolving Uncertainty in MoE Router with Global Workspace Theory [49.536752342048075]
  モデルのスケールアップに有効な方法として,Mixture-of-Experts (MoE) が実証されている。 本稿では,この問題に対処する新しい微調整手法GW-MoEを提案する。
  論文  参考訳（メタデータ） (2024-06-18T08:03:51Z)
• Is Self-Repair a Silver Bullet for Code Generation? [68.02601393906083]
  大規模な言語モデルは、コード生成において顕著な適性を示しているが、それでも複雑なタスクを実行するのに苦労している。 自己修復(Self-repair) — モデルが自身のコードをデバッグし、修復する — は、最近、パフォーマンスを向上する一般的な方法になっている。 我々は,Code Llama, GPT-3.5, GPT-4によるHumanEvalとAPPSの自己修復能力について分析した。
  論文  参考訳（メタデータ） (2023-06-16T15:13:17Z)
• One Loss for All: Deep Hashing with a Single Cosine Similarity based Learning Objective [86.48094395282546]
  ディープハッシュモデルは通常、学習されたバイナリハッシュコードの識別と量子化エラーの最小化という2つの学習目標を持つ。 本稿では,1つの学習目的しか持たない新しい深層ハッシュモデルを提案する。 我々のモデルは,3つの大規模インスタンス検索ベンチマークにおいて,最先端のマルチロスハッシュモデルより優れている。
  論文  参考訳（メタデータ） (2021-09-29T14:27:51Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。