論文の概要: When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning
- arxiv url: http://arxiv.org/abs/2608.02940v2
- Date: Thu, 06 Aug 2026 13:21:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.726764
- Title: When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning
- Title（参考訳）: 圧縮スコアが決定できないとき--グループロバストLDMプルーニングのための情報境界
- Abstract要約: 密度の高い調査では、分割半信頼パス四分法スコアは16.1%上昇し、選択されたエンドポイントは2つの制御よりも6.0-7.7%低下した。
我々は、最も供給の悪いグループがいつデプロイに気を配るのか、圧縮統計が正当化できるものは何なのかを尋ねる。
- 参考スコア（独自算出の注目度）: 2.8699714648237387
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A stable compression score can still select the worse model. In our dense study, a split-half reliable path-quadratic score predicted a 16.1\% gain, while the selected endpoints were 6.0--7.7% worse than two controls. We ask what a compression statistic can justify when deployment cares about the worst supplied group. We treat each statistic as an information interface. Its observation leaves a fiber of compatible endpoint-risk tables, and only orders fixed across that fiber are identified. Cone and fiber identities quantify the remaining uncertainty, while matched observations reverse endpoint order for pooled moments, group-local moments, and reference-path curvature. Sequential composition adds one state variable: the slack from each group risk to the current maximum. This vector determines every unrestricted one-step response, and a margin condition keeps the active group fixed along paths with bounded relative drift. The experiments follow the same ladder. Across three dense LLMs, an early-preserving allocation reduces worst-group perplexity inflation by 12.6--20.9%; target-matched complete-menu selection improves over its references by 2.7--8.0%. Across all 16 routed layers of OLMoE, pooled endpoint refresh lowers held-out worst-group teacher KL by 15.8% over the best static score. A compute-matched hard-max trajectory ends 32.7% worse than pooled, and neither adaptive trajectory improves excess NLL. Local evidence can narrow a menu. Complete endpoints rank that menu, while multistep claims also require control of the evolving active face and future candidates.
- Abstract（参考訳）: 安定した圧縮スコアは、悪いモデルを選択することができる。
より密度の高い研究では,2つの制御よりも6.0～7.7%,信頼性の高いパス四分数点のスコアが16.1\%上昇した。
我々は、最も供給の悪いグループがいつデプロイに気を配るのか、圧縮統計が正当化できるものは何なのかを尋ねる。
それぞれの統計を情報インターフェースとして扱う。
その観察では、互換性のあるエンドポイントリスクテーブルのファイバーが残され、そのファイバーに固定された順序のみが識別される。
コーンとファイバーのアイデンティティは残りの不確実性を定量化し、プールされたモーメント、グループ局所モーメント、参照パス曲率に対する観測の逆の終端順序と一致する。
逐次構成は1つの状態変数を追加する: 各グループリスクから現在の最大値へのスラック。
このベクトルは制限のない1段階の応答を全て決定し、マージン条件は、有界な相対的ドリフトを持つ経路に沿って固定された活性群を維持する。
実験は同じはしごを踏襲する。
3つの密集LLM全体では、早期保存割り当てにより、最悪のグループ間インフレーションが12.6-20.9%減少し、目標整合完全メニュー選択はその基準よりも2.7-8.0%改善する。
16のルートされたOLMoEのすべてのレイヤで、プールされたエンドポイントリフレッシュは、最高の静的スコアに対して、最悪のグループ教師KLを15.8%下げる。
計算マッチングされたハードマックス軌道は、プールよりも32.7%悪い結果となり、適応軌道も過剰なNLLを改善する。
ローカルなエビデンスはメニューを狭めることができます。
完全なエンドポイントはそのメニューをランク付けするが、マルチステップのクレームは進化するアクティブな顔と将来の候補を制御する必要がある。
関連論文リスト
- Symmetry-Aware Likelihood-Orbit Aggregation for Selective Left-Right Claim Verification [14.108900142001628]
クローズド形式のコントラストであるRelation-Orbitを導入する。
VSRとGQAの4つの凍結された視覚言語モデルでは、Relation-Orbitは10%選択リスクキャリブレーションターゲットで平均テストカバレッジを高くする。
論文 参考訳（メタデータ） (2026-09-15T11:19:03Z) - One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。
トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。
OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
論文 参考訳（メタデータ） (2026-09-06T08:32:59Z) - Coverage, Not Targeting: A Structural Regime in Multi-Turn Agent Credit Assignment [5.864346468963738]
マルチターンエージェントRLは、ますますターゲット問題としてクレジット割り当てを扱うようになっている。
端末状態検証器は、ターゲットが間違った軸である低V_d方式で深い位置にあることを示す。
論文 参考訳（メタデータ） (2026-09-02T10:37:12Z) - Frozen Cores Need Task Signal: Fisher-Whitened Cross-Covariance for Low-Resource LLM Adaptation [18.8104643146881]
厳格な訓練州予算の下で, コンストラクタ効率の高い微調整の選択について検討した。
我々は、署名された入力-エラーの相互共分散を推定し、対角的なフィッシャーモーメントと白くし、その結果の局所距離でそれを切り離し、選択した方向を写像し、より薄いQRを適用して安定したコア座標を得るFCCAを紹介する。
Qwen2.5-3B では、FCCA は 83.0 のマクロ平均値に達し、その2.3 ポイントは、マッチした予算のコンストラクタよりも高く、11 タスクすべてにおいて未白の RawGrad コントロールを超えている。
論文 参考訳（メタデータ） (2026-09-01T05:52:38Z) - WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。
アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。
凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
論文 参考訳（メタデータ） (2026-08-10T11:22:53Z) - BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries [82.41764922522565]
BOUNDは、永続的な探索ドリフトのための短いガイド付き修正選好蒸留フレームワークである。
Trajectory SFT は Bamboogle で 5.6 EM 、BrowseComp-Plus で 4.8 の精度で上回っている。
論文 参考訳（メタデータ） (2026-08-09T15:32:16Z) - Filtered ANN as a Phase Transition: When Selectivity-Estimation Error Causes Plan Regret [0.0]
選択性推定誤差は、これらの境界付近の臨界領域でのみ、計画後悔(記憶喪失とオラクル戦略)を引き起こすことを示す。
真の近似指数は境界線を誤定しないが、バイアス付きコストモデルは、推定エラーの堅牢性を修正することができない永続的な誤判定帯域を開放する。
論文 参考訳（メタデータ） (2026-06-15T07:44:58Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - Ternary Decision Trees with Locally-Adaptive Uncertainty Zones [0.0]
3次決定木は、最適しきい値を中心とする半幅デルタの不確かさゾーンを持つ各分割ノードを増大させる。
デルタは、標準のCART分割探索時に既に利用可能な統計から各ノードでローカルに計算される。
デルタ推定手法として,品質プレート,クラスオーバーラップ,ゲイン比,ノードブートストラップ,マージンの5つを評価した。
論文 参考訳（メタデータ） (2026-05-21T17:11:19Z) - Beyond Mode Collapse: Distribution Matching for Diverse Reasoning [69.88237286885065]
GRPOのようなオンライン強化学習手法はモード崩壊に悩まされる。
このことは、逆KL最小化のモード探索行動に由来することを示す。
KL最小化の原理的近似によりモード崩壊を防止するDMPOを提案する。
論文 参考訳（メタデータ） (2026-05-19T07:13:00Z) - The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。
Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
論文 参考訳（メタデータ） (2026-05-09T06:48:00Z) - Adaptive Consensus in LLM Ensembles via Sequential Evidence Accumulation: Automatic Budget Identification and Calibrated Commit Signals [0.0]
DASEは、ベンチマークをまたいで一般化するコミット型ルーティングパーティションを生成する。
インジェクション帯域ではなく、適応的な停止が正確さを駆動する。
インジェクションベースの手法は、逆Uの精度-vs-推論軌道を示す。
論文 参考訳（メタデータ） (2026-05-05T19:24:10Z) - The Evaluation Blind Spot: A Stereological Theory of Benchmark Coverage for Large Language Models [0.0]
実証的に、3つの独立したリーダーボード(Open LLM v2、拡張12ベンチマークスイート、LiveBench)は、いずれも[2.86, 4.80]のd_effを持つ。
Nemhauser (1 − 1/e) 保証付き部分モジュラーグリードアルゴリズムは、4つのベンチマークの安定なコアを見つける。
12のベンチマークと27のカテゴリの反実的な検証では、固有構造がどの評価が置き換えられないかを予測している。
論文 参考訳（メタデータ） (2026-04-15T08:56:58Z) - BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。
両課題に対処する統合フレームワークであるBadCLIP++を提案する。
ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。
持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
論文 参考訳（メタデータ） (2026-02-19T08:31:16Z) - Environment-Aware Indoor LoRaWAN Path Loss: Parametric Regression Comparisons, Shadow Fading, and Calibrated Fade Margins [3.776919981139063]
内部のLoRaWAN伝播は、構造的および時間的変化の文脈因子によって形成される。
リークセーフなクロスバリデーションを用いて評価した,環境に配慮した統計的に規律のある経路損失フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-05T20:14:48Z) - Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。
我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
論文 参考訳（メタデータ） (2025-10-02T15:22:28Z) - Correcting Underrepresentation and Intersectional Bias for Classification [49.1574468325115]
我々は、表現不足のバイアスによって破損したデータから学習する問題を考察する。
偏りのないデータの少ない場合、グループワイドのドロップアウト率を効率的に推定できることが示される。
本アルゴリズムは,有限VC次元のモデルクラスに対して,効率的な学習を可能にする。
論文 参考訳（メタデータ） (2023-06-19T18:25:44Z) - Optimal Clustering with Bandit Feedback [57.672609011609886]
本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。
これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。
合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
論文 参考訳（メタデータ） (2022-02-09T06:05:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。