論文の概要: SAFE-KD: Risk-Controlled Early-Exit Distillation for Vision Backbones
- arxiv url: http://arxiv.org/abs/2602.03043v1
- Date: Tue, 03 Feb 2026 03:07:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 18:37:15.214863
- Title: SAFE-KD: Risk-Controlled Early-Exit Distillation for Vision Backbones
- Title（参考訳）: SAFE-KD:ビジョンバックボーンの早期蒸留
- Authors: Salim Khazem,
- Abstract要約: アーリーエグジットネットワークは、簡単な入力を早期に停止させることで、推論コストを削減する。
本稿では,現代の視覚バックボーンのための汎用マルチエグジットラッパーSAFE-KDを紹介する。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Early-exit networks reduce inference cost by allowing ``easy'' inputs to stop early, but practical deployment hinges on knowing \emph{when} early exit is safe. We introduce SAFE-KD, a universal multi-exit wrapper for modern vision backbones that couples hierarchical distillation with \emph{conformal risk control}. SAFE-KD attaches lightweight exit heads at intermediate depths, distills a strong teacher into all exits via Decoupled Knowledge Distillation (DKD), and enforces deep-to-shallow consistency between exits. At inference, we calibrate per-exit stopping thresholds on a held-out set using conformal risk control (CRC) to guarantee a user-specified \emph{selective} misclassification risk (among the samples that exit early) under exchangeability. Across multiple datasets and architectures, SAFE-KD yields improved accuracy compute trade-offs, stronger calibration, and robust performance under corruption while providing finite-sample risk guarantees.
- Abstract（参考訳）: early-exit ネットワークは ``easy'' 入力を早期に停止させることで推論コストを削減するが、実際のデプロイメントは \emph{when} 早期終了を知っていれば安全である。
本稿では, 階層型蒸留とemph{conformal risk control}を結合した, 現代の視覚バックボーン用汎用多出口ラッパーSAFE-KDを紹介する。
SAFE-KDは軽量な出口ヘッドを中間深度で取り付け、DKD(Decoupled Knowledge Distillation)を介して強力な教師を全ての出口に蒸留し、出口間の深い一貫性を強制する。
推測では,コンフォメーションリスク制御(CRC)を用いてホールトアウトセットの停止閾値をキャリブレーションし,ユーザ指定の「emph{elect}」誤分類リスク(早期に離脱するサンプルを含む)を保証する。
複数のデータセットとアーキテクチャにわたって、SAFE-KDは、有限サンプルリスク保証を提供しながら、精度の向上した計算トレードオフ、キャリブレーションの強化、汚職下での堅牢なパフォーマンスを提供する。
関連論文リスト
- LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳（メタデータ） (2025-12-01T11:27:09Z) - Conformal Risk Training: End-to-End Optimization of Conformal Risk Control [41.45834526675908]
我々は,モデルトレーニングや微調整において,コンフォーマルなOCEリスク制御を通じて区別する,エンドツーエンドのアプローチである「コンフォーマルリスクトレーニング」を導入する。
提案手法は,実証可能なリスク保証を実現するとともに,ポストホック手法よりも平均ケース性能が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2025-10-09T19:05:45Z) - Tail-Safe Hedging: Explainable Risk-Sensitive Reinforcement Learning with a White-Box CBF--QP Safety Layer in Arbitrage-Free Markets [4.235667373386689]
Tail-Safeは、デリバティブヘッジのためのデプロイ性指向のフレームワークである。
学習コンポーネントは、IQNベースの分布批判とCVaRの目的を組み合わせる。
安全コンポーネントは、ドメイン固有の制約とともに離散時間CBF不等式を強制する。
論文 参考訳（メタデータ） (2025-10-06T07:39:45Z) - Distributionally Robust Safety Verification of Neural Networks via Worst-Case CVaR [3.0458514384586404]
本稿では、ニューラルネットワーク検証のためのFazlyabの2次制約(QC)と半定値プログラミング(SDP)フレームワークを構築する。
この統合により、入力不確かさをカバーする楕円体、ポリトープ、超平面が拡張され、安全クリティカルドメインへの適用性も拡張される。
論文 参考訳（メタデータ） (2025-09-22T07:04:53Z) - Anchoring Refusal Direction: Mitigating Safety Risks in Tuning via Projection Constraint [52.878820730054365]
インストラクションファインチューニング(IFT)は,大規模言語モデル(LLM)の能力向上のための効果的なポストトレーニング戦略として広く採用されている。
LLMの内部機構に関する最近の研究は、隠蔽状態における拒絶方向(r方向)を同定し、拒絶行動の制御において重要な役割を担っている。
このようなドリフトを緩和するため,提案手法では,各トレーニングサンプルの隠れ状態のr方向への投射の大きさを規則化する投射制約損失項を導入する。
論文 参考訳（メタデータ） (2025-09-08T15:24:33Z) - Core Safety Values for Provably Corrigible Agents [2.6451153531057985]
我々は,複数段階の部分的に観察された環境において,検証可能な保証を付与し,適応性のための最初の実装可能なフレームワークを紹介した。
私たちのフレームワークは、単一の報酬を5つの*構造的に分離された*ユーティリティヘッドに置き換えます。
敵がエージェントを修正できるオープンエンド設定では、任意のポストハックエージェントが調整性に反するかどうかを判断することは不可能である。
論文 参考訳（メタデータ） (2025-07-28T16:19:25Z) - ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning [64.93140713419561]
大型推論モデル (LRM) は、Chain-of-Thought (CoT) による複雑な推論タスクで強く機能するが、しばしば冗長な出力に悩まされる。
既存の微調整ベースの圧縮手法は、ポストホックプルーニングを動作させるか、コヒーレンスを推論する破壊を危険にさらすか、サンプリングベースの選択に依存するかのいずれかである。
ConCISEは、簡潔な推論連鎖を生成するために設計されたフレームワークであり、信頼注入を統合して推論の信頼性を高める。
論文 参考訳（メタデータ） (2025-05-08T01:40:40Z) - Coverage-Guaranteed Speech Emotion Recognition via Calibrated Uncertainty-Adaptive Prediction Sets [0.0]
しばしば感情的な抑圧と突然のアウトバーストによって引き起こされる道路の怒りは、衝突や攻撃的な行動を引き起こすことによって道路の安全を著しく脅かす。
音声感情認識技術は、ネガティブな感情を早期に識別し、タイムリーな警告を発することにより、このリスクを軽減することができる。
本稿では,予測精度を統計的に厳格に保証するリスク制御予測フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-24T12:26:28Z) - Safe Deployment for Counterfactual Learning to Rank with Exposure-Based
Risk Minimization [63.93275508300137]
本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。
提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
論文 参考訳（メタデータ） (2023-04-26T15:54:23Z) - Certifiably Adversarially Robust Detection of Out-of-Distribution Data [111.67388500330273]
我々は,OOD点における信頼度を低くすることで,OOD検出の証明可能な最悪のケースを保証することを目的としている。
トレーニング時に見られるOODデータセットを超えて一般化されたOODデータの信頼性の非自明な境界が可能であることを示す。
論文 参考訳（メタデータ） (2020-07-16T17:16:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。