論文の概要: When Does Blockwise Additivity Break? Diagnosing and Repairing the Additive Assumption in Distillation-Based Architecture Search

• arxiv url: http://arxiv.org/abs/2611.07487v1
• Date: Thu, 05 Nov 2026 05:46:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.559272
• Title: When Does Blockwise Additivity Break? Diagnosing and Repairing the Additive Assumption in Distillation-Based Architecture Search
• Title（参考訳）: ブロックワイド付加率はいつ崩壊するか? 蒸留アーキテクチャー検索における付加的仮定の診断と修復
• Abstract要約: DNA、DONNA、LANA、Puzzleなどのアーキテクチャ探索のためのブロックワイズ蒸留法は、それぞれの候補置換ブロックを個別にスコアし、子ネットワークを組み立てる。 DeiT-S と DeiT-B に対して,7つの置換ブロック,70% から40% のブロック遅延予算,3 つの微調整種子,および2 つのブートストラップ信頼区間を付加的に仮定した。
• 参考スコア（独自算出の注目度）: 11.463858596773361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Blockwise distillation methods for architecture search, such as DNA, DONNA, LANA and Puzzle, score each candidate replacement block in isolation and assemble a child network by minimizing the sum of per-block scores. We test this additive assumption on DeiT-S and DeiT-B with seven replacement blocks per layer, seven block-latency budgets from 70% to 40%, three fine-tuning seeds and paired bootstrap confidence intervals. (i) At mild compression the additive integer linear program (ILP) is close to a pairwise integer quadratic program (IQP) that models block interactions, but the post-fine-tuning gap widens sharply between the 60% and 55% budgets: at 55%-40% the ILP trails the IQP by 3.3-16.6 top-1 points on ImageNet-100. (ii) We split the KL additivity error into a metric component, caused by the non-linearity of the KL in summed logit changes and computable from cached single-block logits, and a functional component, the score-level effect of non-additive logit changes. The metric component accounts for most of the error on DeiT-S (59-65%), the functional component for most of it on DeiT-B (73-76%). (iii) A hybrid search ranks moves with the logit-sum predictor and measures only the best ones. It needs no dedicated pair measurements, costs 13-27% of the IQP's pair stage, and on ImageNet-100 significantly outperforms the IQP in 7 of 14 settings, with no significant difference in 6 and a significant loss in 1. Further reducing the pre-fine-tuning KL, or scoring after a short fine-tune, gives no consistent gain. On full ImageNet-1k with 1000-class fine-tuning, the sharp widening between 60% and 55% (5.8-17.5 points at 55%-40%), the model-dependent decomposition and the hybrid's advantage (significantly better than the IQP in 13 of 14 settings, no the other) are reproduced.
• Abstract（参考訳）: DNA、DONNA、LANA、Puzzleなどのアーキテクチャ探索のためのブロックワイズ蒸留法は、それぞれの候補置換ブロックを個別にスコアし、ブロック当たりのスコアの総和を最小化して子ネットワークを組み立てる。 DeiT-S と DeiT-B に対して,7つの置換ブロック,70% から40% のブロック遅延予算,3 つの微調整種子,および2 つのブートストラップ信頼区間を付加的に仮定した。 (i)加法的整数線形プログラム (ILP) は、ブロック相互作用をモデル化する対整数二次プログラム (IQP) に近いが、微調整後のギャップは、60%から55%の予算で大きく広がり、55%から40%のILPは、画像Net-100でIQPを3.3～16.6のポイントで追っている。 (II)KL添加率誤差を,累積ロジット変化におけるKLの非線形性に起因する計量成分と,キャッシュされたシングルブロックロジットから計算可能な機能成分,非付加ロジット変化のスコアレベル効果に分割した。 計量成分はDeiT-S (59-65%) の誤差の大部分を占めており、ほとんどはDeiT-B (73-76%) の機能成分である。 三 ハイブリッド検索ランクは、ロジットサム予測器とともに動き、最良のもののみを測定する。 専用のペア測定は不要で、IQPのペアステージの13～27%のコストがかかり、ImageNet-100では、14設定中7設定でIQPを著しく上回っている。 さらに、微調整前のKLを減らしたり、短い微調整の後に得点したりしても、一貫した利得は得られない。 1000級ファインチューニングのフルImageNet-1kでは、60%から55%(5.8-17.5ポイントは55%-40%)の急激な拡大、モデル依存の分解とハイブリッドの利点(14設定のうち13設定のIQPよりも顕著に優れているが、他の設定はない)が再現される。

関連論文リスト

• Turing LLM Post-Training: Calibrated Distillation and Efficient Dynamic-MoE Execution [48.87945011066967]
  本研究では, 動的経路混合(MoE)モデルのポストトレーニングについて検討し, コンソリデーション効率を維持しつつ, 独立的に最適化されたスペシャリストの統合に着目した。 提案手法は,教師が選択したTop-$K$サポートと教師の損失正規化とクリッピングを併用した校正型多目的蒸留(C-MOPD)と,ポストキャパシティ境界幅ディスパッチ,終局リプレイ,非同期ロールアウト-トレーニングオーバーラップを用いた実行パスを組み合わせたものである。
  論文  参考訳（メタデータ） (2026-10-29T11:52:20Z)
• QK-Wanda: Coupling Queries and Keys for Unstructured Pruning [53.657104889705856]
  個々の削除コストによってクエリとキーウェイトをスコアするQK-Wandaを導入する。 我々は,TinyLlama,Llama 2,Llama 3,Qwen2.5の15モデルを対象に,0.5B-72BパラメータにまたがるQKのみのプルーニングを評価した。
  論文  参考訳（メタデータ） (2026-10-01T12:22:44Z)
• The Complexity Kink: A Prompt-Side Structural Complexity Index for Code-Generation Reliability [0.3186130813218338]
  6次元のプロンプト側構造複雑度指数は、生成前にスコアし、正確性から分離する。 予備的なシングルラタールーブリックの6つのバンドで5,000のPythonプロンプトを選択します。 人間の合意は穏健であり、不一致に富んだ校正セットに依存している。
  論文  参考訳（メタデータ） (2026-09-17T03:07:39Z)
• Safe Error Correction for Language Models: Frozen-Base Adjustment with Capability Preservation [0.0]
  凍結した言語モデルの上に,軽量なロジットレベルの補正モジュールを提案する。 CRN v2は53.3%のベースモデルのエラーを補正するが、テストされた性能ベンチマークの劣化は示さない。 テストした代替設定は、ランク128ロジット結果を超えなかった。
  論文  参考訳（メタデータ） (2026-09-14T18:00:15Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• Adaptive Consensus in LLM Ensembles via Sequential Evidence Accumulation: Automatic Budget Identification and Calibrated Commit Signals [0.0]
  DASEは、ベンチマークをまたいで一般化するコミット型ルーティングパーティションを生成する。 インジェクション帯域ではなく、適応的な停止が正確さを駆動する。 インジェクションベースの手法は、逆Uの精度-vs-推論軌道を示す。
  論文  参考訳（メタデータ） (2026-05-05T19:24:10Z)
• THEIA: Learning Complete Kleene Three-Valued Logic in a Pure-Neural Modular Architecture [0.0]
  THEIAは2.75Mのモジュラー・ニューラルアーキテクチャで、外部のシンボル推論や手書きのK3ゲートプリミティブを使わずにタスクデータから完全Kleene 3値論理(K3)真理表を学習する。 トランスフォーマーのベースラインは39の規則すべてで99%に到達し、フラットは0.04pp以内のフェーズ1の精度でTheIAと一致している。
  論文  参考訳（メタデータ） (2026-04-13T10:44:15Z)
• HRank: Filter Pruning using High-Rank Feature Map [149.86903824840752]
  我々は高階特徴写像(HRank)を探索する新しいフィルタ刈り法を提案する。 私たちのHRankは、単一のフィルタで生成された複数の特徴マップの平均ランクが常に同じであるという発見にインスピレーションを受けています。 HRankに基づいて,低ランク特徴写像を持つプーンフィルタに数学的に定式化する手法を開発した。
  論文  参考訳（メタデータ） (2020-02-24T11:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。