論文の概要: When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning
- arxiv url: http://arxiv.org/abs/2608.02940v1
- Date: Mon, 03 Aug 2026 23:07:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:22.95771
- Title: When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning
- Title（参考訳）: 圧縮スコアが決定できないとき--グループロバストLDMプルーニングのための情報境界
- Abstract要約: 圧縮統計学は依然として間違った候補を選択することができる。
それぞれの統計支援を区別する情報インターフェースを通してギャップをモデル化する。
選択は完全な候補エンドポイントまたは検証された統一保証によってライセンスされる。
- 参考スコア（独自算出の注目度）: 2.8699714648237387
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A reproducible compression statistic can still select the wrong candidate. A dense pruning score with 0.906 split-half reliability predicted a 16.1% gain. Its selected endpoint was 6.0% and 7.7% worse than two controls. We model the gap through information interfaces that delimit which distinctions each statistic supports. For equal-weight groups, a conic law gives the exact pooling price for positive linear fixed-candidate damage, including diagonal and full PSD second moments. Three two-world constructions and an exact observation-fiber radius characterize what pooled moments, group-local moments, and reference-path curvature leave unresolved. A group-resolved diagonal recovers broad damage order (Spearman 0.9239) while fine order remains weak. Relative to balanced uniform allocation, a coarse depth allocation cuts worst-group perplexity inflation by 12.6--20.9% across three dense LLMs. Model-specific complete-mask endpoint selection improves over those references by 2.7--8.0%. In OLMoE, router traces predict singleton direction (114/192 versus 81/192 under the strongest relabeling). Finite-menu decisions on one layer yield held-out worst-group KL reductions of 13.7% and 7.2%. Local measurements construct candidates. Selection is licensed by complete candidate endpoints or a validated uniform guarantee, with uncertainty calibrated to every comparison.
- Abstract（参考訳）: 再現可能な圧縮統計は、まだ間違った候補を選択することができる。
0.906の高密度プルーニングスコアは16.1%の上昇を予測した。
選択したエンドポイントは2つのコントロールよりも6.0%と7.7%悪い。
それぞれの統計支援を区別する情報インターフェースを通してギャップをモデル化する。
等重量群に対しては、円錐法則は正の線形固定候補の損傷に対して正の正のプール価格を与え、対角線と完全なPSD第二モーメントを含む。
3つの2世界構造と正確な観測ファイバー半径は、プールされたモーメント、グループ局所モーメント、参照パス曲率が未解決のまま残すものの特徴である。
群分解対角線は広い損傷順序(スピアマン0.9239)を回復するが、微細な秩序は弱いままである。
バランスの取れた均一割当とは対照的に、粗い深さ割当は、3つの密集したLLMで最悪のグループパープレキシティインフレーションを12.6-20.9%削減する。
モデル固有の完全マスクエンドポイントの選択は、これらの参照よりも2.7～8.0%改善する。
OLMoEでは、ルータトレースはシングルトン方向(114/192対81/192)を予測する。
1層での有限メニュー決定は、最悪のグループ KL の 13.7% と 7.2% の減少を保留する。
局所測定は候補を構成する。
選択は完全な候補エンドポイントまたは検証された統一保証によってライセンスされ、すべての比較で不確実性は調整される。
関連論文リスト
- Symmetry-Aware Likelihood-Orbit Aggregation for Selective Left-Right Claim Verification [14.108900142001628]
クローズド形式のコントラストであるRelation-Orbitを導入する。
VSRとGQAの4つの凍結された視覚言語モデルでは、Relation-Orbitは10%選択リスクキャリブレーションターゲットで平均テストカバレッジを高くする。
論文 参考訳（メタデータ） (2026-09-15T11:19:03Z) - One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。
トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。
OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
論文 参考訳（メタデータ） (2026-09-06T08:32:59Z) - Coverage, Not Targeting: A Structural Regime in Multi-Turn Agent Credit Assignment [5.864346468963738]
マルチターンエージェントRLは、ますますターゲット問題としてクレジット割り当てを扱うようになっている。
端末状態検証器は、ターゲットが間違った軸である低V_d方式で深い位置にあることを示す。
論文 参考訳（メタデータ） (2026-09-02T10:37:12Z) - Frozen Cores Need Task Signal: Fisher-Whitened Cross-Covariance for Low-Resource LLM Adaptation [18.8104643146881]
厳格な訓練州予算の下で, コンストラクタ効率の高い微調整の選択について検討した。
我々は、署名された入力-エラーの相互共分散を推定し、対角的なフィッシャーモーメントと白くし、その結果の局所距離でそれを切り離し、選択した方向を写像し、より薄いQRを適用して安定したコア座標を得るFCCAを紹介する。
Qwen2.5-3B では、FCCA は 83.0 のマクロ平均値に達し、その2.3 ポイントは、マッチした予算のコンストラクタよりも高く、11 タスクすべてにおいて未白の RawGrad コントロールを超えている。
論文 参考訳（メタデータ） (2026-09-01T05:52:38Z) - WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。
アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。
凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
論文 参考訳（メタデータ） (2026-08-10T11:22:53Z) - BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries [82.41764922522565]
BOUNDは、永続的な探索ドリフトのための短いガイド付き修正選好蒸留フレームワークである。
Trajectory SFT は Bamboogle で 5.6 EM 、BrowseComp-Plus で 4.8 の精度で上回っている。
論文 参考訳（メタデータ） (2026-08-09T15:32:16Z) - Filtered ANN as a Phase Transition: When Selectivity-Estimation Error Causes Plan Regret [0.0]
選択性推定誤差は、これらの境界付近の臨界領域でのみ、計画後悔(記憶喪失とオラクル戦略)を引き起こすことを示す。
真の近似指数は境界線を誤定しないが、バイアス付きコストモデルは、推定エラーの堅牢性を修正することができない永続的な誤判定帯域を開放する。
論文 参考訳（メタデータ） (2026-06-15T07:44:58Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - Ternary Decision Trees with Locally-Adaptive Uncertainty Zones [0.0]
3次決定木は、最適しきい値を中心とする半幅デルタの不確かさゾーンを持つ各分割ノードを増大させる。
デルタは、標準のCART分割探索時に既に利用可能な統計から各ノードでローカルに計算される。
デルタ推定手法として,品質プレート,クラスオーバーラップ,ゲイン比,ノードブートストラップ,マージンの5つを評価した。
論文 参考訳（メタデータ） (2026-05-21T17:11:19Z) - Beyond Mode Collapse: Distribution Matching for Diverse Reasoning [69.88237286885065]
GRPOのようなオンライン強化学習手法はモード崩壊に悩まされる。
このことは、逆KL最小化のモード探索行動に由来することを示す。
KL最小化の原理的近似によりモード崩壊を防止するDMPOを提案する。
論文 参考訳（メタデータ） (2026-05-19T07:13:00Z) - The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。
Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
論文 参考訳（メタデータ） (2026-05-09T06:48:00Z) - Adaptive Consensus in LLM Ensembles via Sequential Evidence Accumulation: Automatic Budget Identification and Calibrated Commit Signals [0.0]
DASEは、ベンチマークをまたいで一般化するコミット型ルーティングパーティションを生成する。
インジェクション帯域ではなく、適応的な停止が正確さを駆動する。
インジェクションベースの手法は、逆Uの精度-vs-推論軌道を示す。
論文 参考訳（メタデータ） (2026-05-05T19:24:10Z) - The Evaluation Blind Spot: A Stereological Theory of Benchmark Coverage for Large Language Models [0.0]
実証的に、3つの独立したリーダーボード(Open LLM v2、拡張12ベンチマークスイート、LiveBench)は、いずれも[2.86, 4.80]のd_effを持つ。
Nemhauser (1 − 1/e) 保証付き部分モジュラーグリードアルゴリズムは、4つのベンチマークの安定なコアを見つける。
12のベンチマークと27のカテゴリの反実的な検証では、固有構造がどの評価が置き換えられないかを予測している。
論文 参考訳（メタデータ） (2026-04-15T08:56:58Z) - BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。
両課題に対処する統合フレームワークであるBadCLIP++を提案する。
ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。
持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
論文 参考訳（メタデータ） (2026-02-19T08:31:16Z) - Environment-Aware Indoor LoRaWAN Path Loss: Parametric Regression Comparisons, Shadow Fading, and Calibrated Fade Margins [3.776919981139063]
内部のLoRaWAN伝播は、構造的および時間的変化の文脈因子によって形成される。
リークセーフなクロスバリデーションを用いて評価した,環境に配慮した統計的に規律のある経路損失フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-05T20:14:48Z) - Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。
我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
論文 参考訳（メタデータ） (2025-10-02T15:22:28Z) - Correcting Underrepresentation and Intersectional Bias for Classification [49.1574468325115]
我々は、表現不足のバイアスによって破損したデータから学習する問題を考察する。
偏りのないデータの少ない場合、グループワイドのドロップアウト率を効率的に推定できることが示される。
本アルゴリズムは,有限VC次元のモデルクラスに対して,効率的な学習を可能にする。
論文 参考訳（メタデータ） (2023-06-19T18:25:44Z) - Optimal Clustering with Bandit Feedback [57.672609011609886]
本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。
これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。
合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
論文 参考訳（メタデータ） (2022-02-09T06:05:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。