論文の概要: Distilling Calibration via Conformalized Credal Inference

• arxiv url: http://arxiv.org/abs/2501.06066v2
• Date: Tue, 21 Jan 2025 10:48:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:22.691125
• Title: Distilling Calibration via Conformalized Credal Inference
• Title（参考訳）: 等角化クレダル推論による蒸留校正
• Authors: Jiayi Huang, Sangwoo Park, Nicola Paoletti, Osvaldo Simeone,
• Abstract要約: 信頼性を高める方法の1つは、ベイズ推定による不確実な定量化である。 本稿では,より複雑なモデルからキャリブレーション情報を抽出することにより,この問題に対処する低複雑さ手法を提案する。 視覚的および言語的タスクの実験により,提案手法はCD-CI (Conformalized Distillation for Credal Inference) と呼ばれ,校正性能が著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 36.01369881486141
• License:
• Abstract: Deploying artificial intelligence (AI) models on edge devices involves a delicate balance between meeting stringent complexity constraints, such as limited memory and energy resources, and ensuring reliable performance in sensitive decision-making tasks. One way to enhance reliability is through uncertainty quantification via Bayesian inference. This approach, however, typically necessitates maintaining and running multiple models in an ensemble, which may exceed the computational limits of edge devices. This paper introduces a low-complexity methodology to address this challenge by distilling calibration information from a more complex model. In an offline phase, predictive probabilities generated by a high-complexity cloud-based model are leveraged to determine a threshold based on the typical divergence between the cloud and edge models. At run time, this threshold is used to construct credal sets -- ranges of predictive probabilities that are guaranteed, with a user-selected confidence level, to include the predictions of the cloud model. The credal sets are obtained through thresholding of a divergence measure in the simplex of predictive probabilities. Experiments on visual and language tasks demonstrate that the proposed approach, termed Conformalized Distillation for Credal Inference (CD-CI), significantly improves calibration performance compared to low-complexity Bayesian methods, such as Laplace approximation, making it a practical and efficient solution for edge AI deployments.
• Abstract（参考訳）: エッジデバイスに人工知能(AI)モデルをデプロイするには、メモリやエネルギーリソースの制限といった厳しい複雑さの制約を満たすことと、機密性の高い意思決定タスクにおいて信頼性の高いパフォーマンスを確保することの微妙なバランスが伴う。 信頼性を高める方法の1つは、ベイズ推定による不確実な定量化である。 しかし、このアプローチは通常、複数のモデルをアンサンブルで維持および実行する必要があるが、これはエッジデバイスの計算限界を超える可能性がある。 本稿では,より複雑なモデルからキャリブレーション情報を抽出することにより,この問題に対処する低複雑さ手法を提案する。 オフラインフェーズでは、高複雑さのクラウドベースモデルによって生成された予測確率を利用して、クラウドとエッジモデルの典型的なばらつきに基づいてしきい値を決定する。 実行時には、このしきい値は、クラウドモデルの予測を含むように、ユーザが選択した信頼性レベルで保証される、さまざまな予測確率のクレーダルセットを構築するために使用される。 クレダル集合は、予測確率の単純度における発散測度の閾値付けによって得られる。 視覚的および言語的タスクの実験では、提案手法であるCD-CI(Conformalized Distillation for Credal Inference)が、Laplace近似のような低複雑さベイズ法と比較してキャリブレーション性能を大幅に向上し、エッジAIデプロイメントの実用的で効率的なソリューションであることが示されている。

関連論文リスト

• Conformal Risk Minimization with Variance Reduction [37.74931189657469]
  コンフォーマル予測(CP)は、ブラックボックスモデルにおける確率的保証を達成するための分布自由フレームワークである。 最近の研究は、トレーニング中のCP効率の最適化に重点を置いている。 我々は、この概念を共形リスク最小化の問題として定式化する。
  論文  参考訳（メタデータ） (2024-11-03T21:48:15Z)
• From Conformal Predictions to Confidence Regions [1.4272411349249627]
  モデルパラメータに対する信頼領域を確立するために,モデル出力に共形予測間隔を組み合わせたCCRを導入する。 本稿では,雑音に対する最小限の仮定の下でのカバレッジ保証について述べる。 本手法は, 完全あるいはクロスコンフォーマルなアプローチを含む, 分割共形予測とブラックボックス手法の両方に適用可能である。
  論文  参考訳（メタデータ） (2024-05-28T21:33:12Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery [4.446017969073817]
  ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。 このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-01-30T04:07:59Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Calibrating Over-Parametrized Simulation Models: A Framework via Eligibility Set [3.862247454265944]
  厳密な頻繁な統計的保証を満たす校正手法を開発するための枠組みを開発する。 本手法は,書籍市場シミュレータのキャリブレーションへの応用を含む,いくつかの数値例で実証する。
  論文  参考訳（メタデータ） (2021-05-27T00:59:29Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited [68.8204255655161]
  確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
  論文  参考訳（メタデータ） (2020-08-07T08:22:26Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。