論文の概要: Learning to Cascade: Confidence Calibration for Improving the Accuracy and Computational Cost of Cascade Inference Systems

• arxiv url: http://arxiv.org/abs/2104.09286v1
• Date: Thu, 15 Apr 2021 07:09:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-04-20 13:40:54.244591
• Title: Learning to Cascade: Confidence Calibration for Improving the Accuracy and Computational Cost of Cascade Inference Systems
• Title（参考訳）: カスケードへの学習:カスケード推論システムの精度と計算コストを改善するための信頼度校正
• Abstract要約: ディープニューラルネットワークは非常に正確だが、自信過剰であることが知られている。 信頼度スコアが信頼度スコアを使用するシステムのパフォーマンスを改善するかどうかは不明だ。 カスケードへの学習」という新しい信頼性校正法を提案します。
• 参考スコア（独自算出の注目度）: 2.28438857884398
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, deep neural networks have become to be used in a variety of applications. While the accuracy of deep neural networks is increasing, the confidence score, which indicates the reliability of the prediction results, is becoming more important. Deep neural networks are seen as highly accurate but known to be overconfident, making it important to calibrate the confidence score. Many studies have been conducted on confidence calibration. They calibrate the confidence score of the model to match its accuracy, but it is not clear whether these confidence scores can improve the performance of systems that use confidence scores. This paper focuses on cascade inference systems, one kind of systems using confidence scores, and discusses the desired confidence score to improve system performance in terms of inference accuracy and computational cost. Based on the discussion, we propose a new confidence calibration method, Learning to Cascade. Learning to Cascade is a simple but novel method that optimizes the loss term for confidence calibration simultaneously with the original loss term. Experiments are conducted using two datasets, CIFAR-100 and ImageNet, in two system settings, and show that naive application of existing calibration methods to cascade inference systems sometimes performs worse. However, Learning to Cascade always achieves a better trade-off between inference accuracy and computational cost. The simplicity of Learning to Cascade allows it to be easily applied to improve the performance of existing systems.
• Abstract（参考訳）: 近年、ディープニューラルネットワークは様々なアプリケーションで利用されるようになった。 ディープニューラルネットワークの精度が向上している一方で、予測結果の信頼性を示す信頼スコアがより重要になっている。 ディープニューラルネットワークは、精度が高いが信頼度が高いことが知られており、信頼度スコアの校正が重要である。 信頼度校正に関する多くの研究が行われている。 モデルの信頼度スコアを精度に合わせるように調整するが、信頼度スコアが信頼度スコアを使用するシステムのパフォーマンスを改善するかどうかは不明だ。 本稿では,信頼度スコアを用いたシステムの一つであるカスケード推論システムに着目し,推定精度と計算コストの観点からシステム性能を向上させるための信頼度スコアについて考察する。 そこで,本研究ではカスケードを学習する新しい信頼度校正手法を提案する。 カスケードへの学習は、信頼度校正のための損失項と元の損失項を同時に最適化する単純だが新しい方法である。 CIFAR-100とImageNetの2つのシステム設定を用いて実験を行い、既存のキャリブレーション手法のカスケード推論システムへの適用は時として悪化することを示した。 しかし、Learning to Cascadeは推論精度と計算コストのトレードオフを常に改善します。 カスケードへの学習の単純さは、既存のシステムのパフォーマンスを改善するために簡単に適用できる。

関連論文リスト

• Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
  CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。 推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-08T07:08:25Z)
• Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
  強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。 しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。 本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
  論文  参考訳（メタデータ） (2026-04-25T14:40:13Z)
• Socrates Loss: Unifying Confidence Calibration and Classification by Leveraging the Unknown [4.503897051444244]
  ディープニューラルネットワークは、高い精度にもかかわらず、しばしば信頼性のキャリブレーションが低く、高い精度のアプリケーションでの信頼性を制限している。 現在のアドホック信頼度校正法は、トレーニング中にこれを修正しようとするが、基本的なトレードオフに直面している。 本稿では、この安定性と性能のトレードオフに対処し緩和する。 補助的未知のクラスを組み込むことにより、不確実性を明確に活用する、新規で統一された損失関数であるSocrates Lossを提案する。
  論文  参考訳（メタデータ） (2026-04-14T03:43:15Z)
• Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning [10.123352394689134]
  よく校正された信頼性により、下流のシステムは、いつモデルを信頼するか、いつフォールバックメカニズムを延期するかを決定できる。 RLVRはタスク性能を向上するが、極めて自信過剰なモデルを生成する。 本稿では,意思決定確率を直接調整するキャリブレーション対応強化学習の定式化を提案する。
  論文  参考訳（メタデータ） (2026-01-19T18:31:31Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Bag of Coins: A Statistical Probe into Neural Confidence Structures [0.0]
  Bag-of-Coins (BoC) テストは、分類器の内部の整合性を調べる。 ViT(Vision Transformers)では、BoC出力は最先端の信頼性スコアとして機能し、ほぼ完璧なキャリブレーションを達成する。 ResNetのような畳み込みニューラルネットワーク(CNN)では、モデルの予測と内部ロジット構造との深い矛盾が明らかになる。
  論文  参考訳（メタデータ） (2025-07-26T03:54:32Z)
• Exploring the Potential of Bilevel Optimization for Calibrating Neural Networks [0.7499722271664147]
  現代のニューラルネットワークはキャリブレーションが不十分なため、予測された信頼性スコアは使用が難しい。 本稿では,二段階最適化の適用による信頼度推定と校正の改善について検討する。 モデルの予測信頼性スコアを改善するために、自己校正型バイレベルニューラルネットワークトレーニングアプローチが導入された。
  論文  参考訳（メタデータ） (2025-03-17T12:34:55Z)
• CARIL: Confidence-Aware Regression in Imitation Learning for Autonomous Driving [0.0]
  エンドツーエンドの視覚に基づく模倣学習は、自動運転の有望な結果を証明している。 従来のアプローチでは、正確な制御を提供するレグレッションベースモデルと、信頼性スコアを提供するが、離散化による精度の低下に悩まされる分類ベースモデルのいずれかに依存している。 我々は、回帰と分類の両ヘッドを統合したデュアルヘッドニューラルネットワークアーキテクチャを導入し、模倣学習における決定信頼性を向上させる。
  論文  参考訳（メタデータ） (2025-03-02T08:19:02Z)
• Pretraining with random noise for uncertainty calibration [0.0]
  多くのモデルは、誤った信頼のために幻覚(自信があるが不正確な反応)を示す。 発達神経科学にインスパイアされた本手法は,ランダムなノイズとラベルでネットワークを事前学習することでこの問題に対処する。
  論文  参考訳（メタデータ） (2024-12-23T09:22:00Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Towards Calibrated Deep Clustering Network [60.71776081164377]
  ディープクラスタリングでは、特定のクラスタに属するサンプルに対する推定信頼度はその実際の予測精度を大きく上回る。 推定された信頼度と実際の精度を効果的にキャリブレーションできる新しいデュアルヘッド(キャリブレーションヘッドとクラスタリングヘッド)深層クラスタリングモデルを提案する。 大規模実験により, 提案手法は, 最先端の深層クラスタリング手法を10倍に越えるだけでなく, クラスタリング精度も大幅に向上した。
  論文  参考訳（メタデータ） (2024-03-04T11:23:40Z)
• Two Sides of Miscalibration: Identifying Over and Under-Confidence Prediction for Network Calibration [1.192436948211501]
  安全クリティカルなタスクにおける信頼性予測には、ディープニューラルネットワークの信頼性校正が不可欠である。 ミススキャリブレーションは、過信と/または過信をモデル化する。 校正点とクラス別校正点を同定するために,新しい校正点である校正点を導入する。 クラスワイドの誤校正スコアをプロキシとして使用して,過度かつ過度に対処可能な校正手法を設計する。
  論文  参考訳（メタデータ） (2023-08-06T17:59:14Z)
• Dual Focal Loss for Calibration [21.663687352629225]
  二重ロジットに着目した新たな損失関数を提案する。 これら2つのロジット間のギャップを最大化することにより、提案した二重焦点損失は、過信と過信のバランスを改善することができる。
  論文  参考訳（メタデータ） (2023-05-23T04:19:16Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• An Underexplored Dilemma between Confidence and Calibration in Quantized Neural Networks [0.0]
  現代の畳み込みニューラルネットワーク(CNN)は、目に見えない入力データのキャリブレーションに関して過信されていることが知られている。 予測される確率が下流の意思決定に使用される場合、これは望ましくない。 このロバスト性は、現代CNNの校正行動によって部分的に説明でき、過信によって改善される可能性がある。
  論文  参考訳（メタデータ） (2021-11-10T14:37:16Z)
• Uncertainty-sensitive Activity Recognition: a Reliability Benchmark and the CARING Models [37.60817779613977]
  本稿では,現代の行動認識アーキテクチャの信頼度が,正しい結果の確率を反映していることを示す最初の研究を行う。 新たなキャリブレーションネットワークを通じて、モデル出力を現実的な信頼性推定に変換する新しいアプローチを紹介します。
  論文  参考訳（メタデータ） (2021-01-02T15:41:21Z)
• Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
  既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。 これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。 我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-10T23:28:36Z)
• Confidence-Aware Learning for Deep Neural Networks [4.9812879456945]
  本稿では,新たな損失関数であるCorrectness Ranking Lossを用いたディープニューラルネットワークのトレーニング手法を提案する。 クラス確率を明示的に規則化し、信頼度に応じて順序付けされたランキングでより良い信頼度の推定を行う。 従来の深層分類器とほぼ同じ計算コストを持ち、1つの推論で信頼性のある予測を出力する。
  論文  参考訳（メタデータ） (2020-07-03T02:00:35Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)
• Binary Classification from Positive Data with Skewed Confidence [85.18941440826309]
  肯定的信頼度(Pconf)分類は、有望な弱教師付き学習法である。 実際には、信頼はアノテーションプロセスで生じるバイアスによって歪められることがある。 本稿では、スキュード信頼度のパラメータ化モデルを導入し、ハイパーパラメータを選択する方法を提案する。
  論文  参考訳（メタデータ） (2020-01-29T00:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。