論文の概要: When Does Blockwise Additivity Break? Diagnosing and Repairing the Additive Assumption in Distillation-Based Architecture Search
- arxiv url: http://arxiv.org/abs/2611.07487v2
- Date: Wed, 11 Nov 2026 01:24:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 11:08:29.289271
- Title: When Does Blockwise Additivity Break? Diagnosing and Repairing the Additive Assumption in Distillation-Based Architecture Search
- Title(参考訳): ブロックワイド付加率はいつ崩壊するか? 蒸留アーキテクチャー検索における付加的仮定の診断と修復
- Abstract要約: ブロックワイズ蒸留法は、それぞれの候補置換ブロックを分離してスコアを加算的に組み合わせる。
この追加性仮定がどの予算で失敗するか、微調整が失敗を修復するかどうか、何の診断を行うのか、どのように安価に修復できるかを尋ねる。
- 参考スコア(独自算出の注目度): 11.463858596773361
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Blockwise distillation methods for architecture search, such as DNA, DONNA, LANA and Puzzle, score each candidate replacement block in isolation and combine the scores additively. We ask at which budgets this additivity assumption fails, whether fine-tuning repairs the failure, what diagnoses it, and how it can be repaired cheaply. On DeiT-S, DeiT-B, Swin-T and Qwen2.5-0.5B with seven latency budgets each, an additive integer program trails a pairwise interaction-aware program after fine-tuning by at most 1.6 top-1 points on ImageNet-1k at the mildest budgets, but by up to 17.5 points, and a factor of 1.9 in perplexity, at aggressive ones. After 10,000 fine-tuning steps 3.3-9.9 points remain on DeiT, whereas on Swin-T the gap shrinks to at most about 1.8 points within 500 steps. In a learning-rate sweep with the standard 2,000 steps, 6.0-10.7 points remain on DeiT when each method's rate is chosen by its evaluation-set accuracy. An intervention that keeps the block library and only forbids more than two removals in any three adjacent layers shrinks the DeiT gap from 5.8-17.5 to 0.7-5.2 points, mostly by improving the additive solution: adjacent removals are a major failure pattern. Splitting the additivity error into a metric and a functional part, relative to additive logit changes, indicates where a cheap logit-sum predictor can be trusted. A hybrid search that ranks moves with this predictor and measures only the best needs no pair measurements and, after Holm adjustment, is significantly better than the pairwise program in 10 of 14 ImageNet-1k settings, with no statistically significant losses. An ablation shows that its ranking helps except at the most aggressive DeiT-B budget, where the predictor misleads and random ranking or ten-times-costlier evolution does better.
- Abstract(参考訳): DNA、DONNA、LANA、Puzzleなどのアーキテクチャ探索のためのブロックワイズ蒸留法は、それぞれの候補置換ブロックを分離してスコアを加算的に組み合わせる。
この追加性仮定がどの予算で失敗するか、微調整が失敗を修復するかどうか、何の診断を行うのか、どのように安価に修復できるかを尋ねる。
DeiT-S、DeiT-B、Swin-T、Qwen2.5-0.5Bの各遅延予算について、加算整数プログラムは、ImageNet-1k上の少なくとも1.6トップ1ポイントの微調整後にペアワイズ対応プログラムをパスする。
1万ステップの微調整の後、3.3-9.9ポイントはDeiTに残るが、Swin-Tでは少なくとも500ステップ以内に1.8ポイントの差が縮まる。
標準2000ステップの学習レートスイープでは、評価セットの精度で各メソッドのレートが選択されたときに6.0-10.7ポイントがDeiTに残る。
ブロックライブラリを保持し、隣接する3つの層で2つ以上の除去を禁止している介入は、DeiTギャップを5.8-17.5から0.7-5.2ポイントに縮める。
加算誤差をメートル法と関数部分に分割すると、加算ロジットの変化に対して、安価なロジットサム予測器を信頼できる場所を示す。
この予測器でランク付けするハイブリッドサーチは、ペア測定を必要とせず、ホルム調整後の14のImageNet-1k設定のうち10のペアワイズプログラムよりもはるかに優れているが、統計的に有意な損失はない。
アブレーションによると、このランキングは最も攻撃的なDeiT-B予算を除いて有効である。
関連論文リスト
- Turing LLM Post-Training: Calibrated Distillation and Efficient Dynamic-MoE Execution [48.87945011066967]
本研究では, 動的経路混合(MoE)モデルのポストトレーニングについて検討し, コンソリデーション効率を維持しつつ, 独立的に最適化されたスペシャリストの統合に着目した。
提案手法は,教師が選択したTop-$K$サポートと教師の損失正規化とクリッピングを併用した校正型多目的蒸留(C-MOPD)と,ポストキャパシティ境界幅ディスパッチ,終局リプレイ,非同期ロールアウト-トレーニングオーバーラップを用いた実行パスを組み合わせたものである。
論文 参考訳(メタデータ) (2026-10-29T11:52:20Z) - QK-Wanda: Coupling Queries and Keys for Unstructured Pruning [53.657104889705856]
個々の削除コストによってクエリとキーウェイトをスコアするQK-Wandaを導入する。
我々は,TinyLlama,Llama 2,Llama 3,Qwen2.5の15モデルを対象に,0.5B-72BパラメータにまたがるQKのみのプルーニングを評価した。
論文 参考訳(メタデータ) (2026-10-01T12:22:44Z) - The Complexity Kink: A Prompt-Side Structural Complexity Index for Code-Generation Reliability [0.3186130813218338]
6次元のプロンプト側構造複雑度指数は、生成前にスコアし、正確性から分離する。
予備的なシングルラタールーブリックの6つのバンドで5,000のPythonプロンプトを選択します。
人間の合意は穏健であり、不一致に富んだ校正セットに依存している。
論文 参考訳(メタデータ) (2026-09-17T03:07:39Z) - Safe Error Correction for Language Models: Frozen-Base Adjustment with Capability Preservation [0.0]
凍結した言語モデルの上に,軽量なロジットレベルの補正モジュールを提案する。
CRN v2は53.3%のベースモデルのエラーを補正するが、テストされた性能ベンチマークの劣化は示さない。
テストした代替設定は、ランク128ロジット結果を超えなかった。
論文 参考訳(メタデータ) (2026-09-14T18:00:15Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳(メタデータ) (2026-08-31T06:35:07Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳(メタデータ) (2026-06-04T05:43:12Z) - Adaptive Consensus in LLM Ensembles via Sequential Evidence Accumulation: Automatic Budget Identification and Calibrated Commit Signals [0.0]
DASEは、ベンチマークをまたいで一般化するコミット型ルーティングパーティションを生成する。
インジェクション帯域ではなく、適応的な停止が正確さを駆動する。
インジェクションベースの手法は、逆Uの精度-vs-推論軌道を示す。
論文 参考訳(メタデータ) (2026-05-05T19:24:10Z) - THEIA: Learning Complete Kleene Three-Valued Logic in a Pure-Neural Modular Architecture [0.0]
THEIAは2.75Mのモジュラー・ニューラルアーキテクチャで、外部のシンボル推論や手書きのK3ゲートプリミティブを使わずにタスクデータから完全Kleene 3値論理(K3)真理表を学習する。
トランスフォーマーのベースラインは39の規則すべてで99%に到達し、フラットは0.04pp以内のフェーズ1の精度でTheIAと一致している。
論文 参考訳(メタデータ) (2026-04-13T10:44:15Z) - HRank: Filter Pruning using High-Rank Feature Map [149.86903824840752]
我々は高階特徴写像(HRank)を探索する新しいフィルタ刈り法を提案する。
私たちのHRankは、単一のフィルタで生成された複数の特徴マップの平均ランクが常に同じであるという発見にインスピレーションを受けています。
HRankに基づいて,低ランク特徴写像を持つプーンフィルタに数学的に定式化する手法を開発した。
論文 参考訳(メタデータ) (2020-02-24T11:50:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。