論文の概要: PruneShift: A Framework for Evaluating Decision Reliability in Structured Pruning
- arxiv url: http://arxiv.org/abs/2608.29765v1
- Date: Sun, 30 Aug 2026 12:52:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.059638
- Title: PruneShift: A Framework for Evaluating Decision Reliability in Structured Pruning
- Title(参考訳): PruneShift: 構造化プルーニングにおける決定信頼性評価フレームワーク
- Abstract要約: 構造化プルーニングは、すべての実現可能なマスクに対する直接的なタスク評価が高すぎるため、サロゲート目的を使用する。
本研究では,予測忠実度,セレクタ出力近傍の忠実度,選択されたプルーニング判定の品質を分離する評価フレームワークPruneShiftを紹介する。
- 参考スコア(独自算出の注目度): 1.8023933646971537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured pruning uses surrogate objectives because direct task evaluation over every feasible mask is too expensive. Most evaluations report average surrogate error or rank correlation on broadly sampled masks. These summaries do not directly test the mask chosen by the surrogate. We introduce PruneShift, an evaluation framework that separates broad predictive fidelity, fidelity near selector outputs, and the quality of the selected pruning decision. We first prove that Spearman and Kendall agreement can approach one while normalized selection regret remains maximal. We then derive sufficient conditions based on uniform error, selector suboptimality, decision margin, density ratio, and comparison mass. The analysis also yields a finite pool certificate with an explicit excess cost bound. Four studies test different links in this argument. External TextbookQA confirmation is heterogeneous: 7 of 20 simultaneous intervals favor the surrogate-selected mask, 6 favor its fixed comparator, and 7 cross zero. On a fixed Natural Questions pool, strict improvement holds in one of four settings. A controlled QQP experiment supports the proposed coverage mechanism in all 16 prespecified endpoints, although the sufficient bounds are conservative. Finally, a restricted OSSCAR reconstruction study on OPT-125M shows better local than broad fidelity in 68 of 75 primary endpoints. Independent fixed-mask confirmation is inconclusive in 24 of 25 endpoints and favors the comparator in one. These results show why predictive fit, decision reliability, and pruning method quality require separate evidence.
- Abstract(参考訳): 構造化プルーニングは、すべての実現可能なマスクに対する直接的なタスク評価が高すぎるため、サロゲート目的を使用する。
ほとんどの評価では、広範囲にサンプリングされたマスクの平均代理誤差やランク相関が報告されている。
これらのサマリーは、サロゲートによって選択されたマスクを直接テストしません。
本研究では,予測忠実度,セレクタ出力近傍の忠実度,選択されたプルーニング判定の品質を分離する評価フレームワークPruneShiftを紹介する。
我々はまず、スピアマンとケンドールの合意が、正規化された選択後悔が極大のままである間に接近できることを証明した。
次に,一様誤差,セレクタ準最適性,決定マージン,密度比,比較質量に基づいて十分な条件を導出する。
この分析は、明らかな余剰コスト境界を持つ有限プール証明書も生成する。
この議論では4つの研究が異なるリンクをテストしている。
20間隔のうち7つはサロゲート選択マスク、6つは固定コンパレータ、7つはクロスゼロである。
固定された自然質問プールでは、4つの設定のうちの1つで厳格な改善が達成される。
制御されたQQP実験は、十分な境界は保守的であるが、16の事前指定エンドポイントすべてにおいて、提案されたカバレッジメカニズムをサポートする。
最後に, OPT-125MにおけるOSSCAR再構成の制限により, 75個の一次終点のうち68個において, 局所性よりも局所性が高いことが示された。
独立した固定マスク確認は25のエンドポイントのうち24で不確定であり、コンパレータを1つに好んでいる。
これらの結果から, 予測適合性, 決定信頼性, プルーニング法の品質が異なる証拠を必要とすることが示唆された。
関連論文リスト
- Symmetry-Aware Likelihood-Orbit Aggregation for Selective Left-Right Claim Verification [14.108900142001628]
クローズド形式のコントラストであるRelation-Orbitを導入する。
VSRとGQAの4つの凍結された視覚言語モデルでは、Relation-Orbitは10%選択リスクキャリブレーションターゲットで平均テストカバレッジを高くする。
論文 参考訳(メタデータ) (2026-09-15T11:19:03Z) - Which Medical Questions Deserve Rationales? Perturbation-Sensitive Selection for Robust QA [12.797519888387628]
本稿では,ルート平均2乗ロバスト性に基づくサンプル優先化(RMS-RSP)を提案する。
RMS-RSPは5つのデータセットで同じ方向で平均1.91点と2.85点の堅牢な精度とセマンティック一貫性を改善する。
論文 参考訳(メタデータ) (2026-09-09T03:58:59Z) - Reliable Benchmarking of Artifact Detection in Computational Pathology: A Reproducibility and Uncertainty Analysis [1.8864137667201766]
メソッド: このプロトコルは、テストセットサンプリング、トレーニング性、パーティション構成、文書化前処理の4つの変数ソースを定量化する。
拡散型人工物検出装置を独立に再構築し, 元の24スライディング分割と教師付きベースラインに対して評価した。
結果: 本手法の中枢機構は、補助的コントラスト項は、プールされたF1を0.673から0.688に改善し、第2シードで複製する。
論文 参考訳(メタデータ) (2026-08-31T14:07:15Z) - Agreement Before Diversity: Verification-First Complementarity for Heterogeneous Language-Model Coordination [11.215813718564283]
候補のヘッドルームを置換権限から切り離し、後者を明示的で監査可能なオブジェクトとします。
提案手法であるCon Agreement-Before-Diversityは,フリーフリーでラベルのない決定ルールである。
論文 参考訳(メタデータ) (2026-08-05T09:24:39Z) - Cross-Fitted Residual Utility for Primary-Preserving Cognitive Decision Correction in Automatic Modulation Classification [1.547549252134621]
本稿では,クロスフィット型残効ユーティリティとプライマリ保存型認知決定ポリシーを用いて,推論後の問題について検討する。
構造化されたkan-Fourier分類器はデフォルトの確率を提供し、ニューラルおよび非ニューラル候補は観測可能な証拠を提供する。
RMLA、RMLB、HISARでは、完全なシステムは全体の精度を63.632%から66.332%、65.161%から66.168%、77.769%から79.867%に改善している。
論文 参考訳(メタデータ) (2026-08-03T11:07:37Z) - Oracle Gap and Signal Fidelity: A Fixed-Pool Diagnostic for Test-Time Collaboration [8.515185888009833]
テストタイムのコラボレーションはLLM推論の改善と評価されることが多いが、その利益は不均一であり、時にはネガティブである。
固定候補プールに対しては、セレクタまたは検証器のネットゲインを測定可能な要素に分解する。
このことは、マルチエージェントトポロジーの本質的な性質としてではなく、候補選択問題として協調を再構築する。
論文 参考訳(メタデータ) (2026-07-20T04:09:19Z) - Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。
K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。
EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文 参考訳(メタデータ) (2026-05-22T08:26:08Z) - Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。
集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。
提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
論文 参考訳(メタデータ) (2026-05-13T20:33:59Z) - Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。
モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。
我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
論文 参考訳(メタデータ) (2026-03-06T04:03:13Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳(メタデータ) (2025-06-25T07:04:49Z) - Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。
我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
論文 参考訳(メタデータ) (2025-03-07T08:41:53Z) - Masksembles for Uncertainty Estimation [60.400102501013784]
ディープニューラルネットワークは、その強みを巧みに実証しているが、その予測の信頼性を推定することは依然として困難である。
深層アンサンブルは不確かさを推定する最良の方法の1つと考えられているが、訓練や評価は非常に高価である。
mc-dropoutも人気の高い代替品で、安価だが信頼性も低い。
論文 参考訳(メタデータ) (2020-12-15T14:39:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。