論文の概要: Mitigating Transformer Overconfidence via Lipschitz Regularization

• arxiv url: http://arxiv.org/abs/2306.06849v2
• Date: Tue, 18 Jul 2023 16:20:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 18:27:42.862401
• Title: Mitigating Transformer Overconfidence via Lipschitz Regularization
• Title（参考訳）: リプシッツ正則化による過密緩和
• Authors: Wenqian Ye, Yunsheng Ma, Xu Cao, Kun Tang
• Abstract要約: リプシッツ正規化変圧器(LRFormer) バナッハ空間内の距離で、リプシッツ性を確保し、契約的なリプシッツ境界によってこの項を正則化する新しい類似関数を提案する。 標準ビジョンベンチマークで行った実験では、予測、校正、不確実性推定において、我々の手法が最先端のシングルフォワードパスアプローチよりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 5.551514328951632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Though Transformers have achieved promising results in many computer vision tasks, they tend to be over-confident in predictions, as the standard Dot Product Self-Attention (DPSA) can barely preserve distance for the unbounded input domain. In this work, we fill this gap by proposing a novel Lipschitz Regularized Transformer (LRFormer). Specifically, we present a new similarity function with the distance within Banach Space to ensure the Lipschitzness and also regularize the term by a contractive Lipschitz Bound. The proposed method is analyzed with a theoretical guarantee, providing a rigorous basis for its effectiveness and reliability. Extensive experiments conducted on standard vision benchmarks demonstrate that our method outperforms the state-of-the-art single forward pass approaches in prediction, calibration, and uncertainty estimation.
• Abstract（参考訳）: トランスフォーマーは多くのコンピュータビジョンタスクにおいて有望な結果を達成してきたが、標準のDot Product Self-Attention (DPSA) は、境界のない入力領域までの距離をほとんど保たないため、予測に過信する傾向にある。 本稿では,新しいリプシッツ正規化変換器(LRFormer)を提案することにより,このギャップを埋める。 具体的には、バナッハ空間内の距離を持つ新しい類似関数を示し、リプシッツ性を保証するとともに、契約的なリプシッツ境界によってこの項を正規化する。 提案手法は理論的保証により解析され,その有効性と信頼性の厳密な基礎を提供する。 本手法は, 予測, 校正, 不確実性評価において, 最先端のシングルフォワードパス手法よりも優れていることを示す。

関連論文リスト

• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
  時間差差(TD)学習は、おそらく政策評価に最も広く使用されるものであり、この目的の自然な枠組みとして機能する。 本稿では,Polyak-Ruppert平均化と線形関数近似によるTD学習の整合性について検討し,既存の結果よりも3つの重要な改善点を得た。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• Online scalable Gaussian processes with conformal prediction for guaranteed coverage [32.21093722162573]
  結果として生じる不確実な値の整合性は、学習関数がGPモデルで指定された特性に従うという前提に基づいている。 提案するGPは,分散のない後処理フレームワークである共形予測(CP)を用いて,有意なカバレッジで予測セットを生成する。
  論文  参考訳（メタデータ） (2024-10-07T19:22:15Z)
• Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
  本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。 我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-01T20:44:48Z)
• Transitional Uncertainty with Layered Intermediate Predictions [14.11559987180237]
  単一パス不確実性推定のための特徴工学について論じる。 本稿では,現在の単一パス推定器の欠点に対処する簡単なアプローチとして,階層型中間予測を用いた過渡不確実性を提案する。
  論文  参考訳（メタデータ） (2024-05-25T13:03:38Z)
• Finite Sample Confidence Regions for Linear Regression Parameters Using Arbitrary Predictors [1.6860963320038902]
  線形モデルのパラメータに対する信頼領域を構築するための新しい手法を任意の予測器からの予測を用いて検討する。 導出された信頼領域は、混合線形プログラミングフレームワーク内の制約としてキャストすることができ、線形目的の最適化を可能にする。 従来の手法とは異なり、信頼領域は空であり、仮説テストに使用できる。
  論文  参考訳（メタデータ） (2024-01-27T00:15:48Z)
• Device-independent certification of desirable properties with a confidence interval [0.0]
  厳密なデバイスに依存しない認証のための汎用的なソリューションを提供する。 PBRプロトコルとマーチンゲールベースのプロトコルがよく似た性能を示す。 また,マルティンゲールに基づくプロトコルの性能は,目撃者の選択に大きく影響している可能性が示唆された。
  論文  参考訳（メタデータ） (2024-01-12T15:21:21Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• EVIL: Evidential Inference Learning for Trustworthy Semi-supervised Medical Image Segmentation [7.58442624111591]
  半教師付き医用画像セグメンテーションにEVIL(Evidential Inference Learning)を導入する。 EVILは理論上保証されたソリューションを提供し、単一の前方通過において正確な定量化の不確かさを推測する。 EVILは,公開データセット上のいくつかの最先端手法と比較して,競争性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-07-18T05:59:27Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Conformal Off-Policy Prediction in Contextual Bandits [54.67508891852636]
  コンフォーマルなオフ政治予測は、新しい目標ポリシーの下で、結果に対する信頼できる予測間隔を出力することができる。 理論上の有限サンプル保証は、標準的な文脈的バンディットの設定を超える追加の仮定をすることなく提供する。
  論文  参考訳（メタデータ） (2022-06-09T10:39:33Z)
• CoinDICE: Off-Policy Confidence Interval Estimation [107.86876722777535]
  強化学習における高信頼行動非依存のオフ政治評価について検討する。 様々なベンチマークにおいて、信頼区間推定が既存の手法よりも厳密で精度が高いことが示されている。
  論文  参考訳（メタデータ） (2020-10-22T12:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。