論文の概要: A Geometric Perspective towards Neural Calibration via Sensitivity Decomposition

• arxiv url: http://arxiv.org/abs/2110.14577v1
• Date: Wed, 27 Oct 2021 16:46:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 13:51:37.996454
• Title: A Geometric Perspective towards Neural Calibration via Sensitivity Decomposition
• Title（参考訳）: 感度分解によるニューラルキャリブレーションの幾何学的展望
• Authors: Junjiao Tian, Dylan Yung, Yen-Chang Hsu, Zsolt Kira
• Abstract要約: 視覚分類モデルがデータ分散シフトの際のキャリブレーションの低下に悩まされることはよく知られている。 本稿では,インスタンスに依存しない,インスタンスに依存しないコンポーネントに埋め込まれたサンプル特徴のノルムを分解する幾何学的感度分解(GSD)を提案する。 この分解に触発されて、我々は現在のソフトマックス線形モデルへの単純な拡張を解析的に導き、トレーニング中に2つのコンポーネントをアンタングルすることを学ぶ。
• 参考スコア（独自算出の注目度）: 31.557715381838147
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is well known that vision classification models suffer from poor calibration in the face of data distribution shifts. In this paper, we take a geometric approach to this problem. We propose Geometric Sensitivity Decomposition (GSD) which decomposes the norm of a sample feature embedding and the angular similarity to a target classifier into an instance-dependent and an instance-independent component. The instance-dependent component captures the sensitive information about changes in the input while the instance-independent component represents the insensitive information serving solely to minimize the loss on the training dataset. Inspired by the decomposition, we analytically derive a simple extension to current softmax-linear models, which learns to disentangle the two components during training. On several common vision models, the disentangled model outperforms other calibration methods on standard calibration metrics in the face of out-of-distribution (OOD) data and corruption with significantly less complexity. Specifically, we surpass the current state of the art by 30.8% relative improvement on corrupted CIFAR100 in Expected Calibration Error. Code available at https://github.com/GT-RIPL/Geometric-Sensitivity-Decomposition.git.
• Abstract（参考訳）: 視覚分類モデルがデータ分散シフトの際のキャリブレーションの低下に悩まされることはよく知られている。 本稿では,この問題に対して幾何学的アプローチをとる。 本稿では,サンプル特徴埋め込みのノルムと対象分類器との角類似性をインスタンス依存成分とインスタンス非依存成分に分解する幾何感度分解(gsd)を提案する。 インスタンス依存コンポーネントは入力の変更に関するセンシティブな情報をキャプチャし、インスタンス依存コンポーネントはトレーニングデータセットの損失を最小限に抑えるためにのみ役立つ非センシティブな情報を表現します。 この分解に触発されて,現在のソフトマックス線形モデルへの単純な拡張を解析的に導出し,トレーニング中の2つの成分の絡み合いを解消することを学ぶ。 いくつかの共通ビジョンモデルでは、解離モデルでは、オフ・オブ・ディストリビューション(OOD)データや破損に直面する標準的なキャリブレーション指標の他のキャリブレーション手法よりもはるかに少ない複雑さで優れている。 具体的には,予測校正誤差におけるCIFAR100の相対的改善率を30.8%上回った。 https://github.com/GT-RIPL/Geometric-Sensitivity-Decomposition.gitで公開されている。

関連論文リスト

• Geo-Localization Based on Dynamically Weighted Factor-Graph [74.75763142610717]
  特徴に基づくジオローカライゼーションは、航空画像から抽出された特徴と車両のセンサーによって検出された特徴とを関連付けることに依存する。 これにより、ランドマークの種類は両方のソースから観測できなければならない。 車両軌道推定のための動的重み付き因子グラフモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-13T12:44:14Z)
• End-to-End Supervised Multilabel Contrastive Learning [38.26579519598804]
  マルチラベル表現学習は、オブジェクトカテゴリ間のラベル依存やデータ関連の問題に関連付けられる難しい問題として認識されている。 近年の進歩は、モデルとデータ中心の視点からこれらの課題に対処している。 KMCLと呼ばれる新しいエンドツーエンドのトレーニングフレームワークを提案し、モデルとデータ中心の設計の欠点に対処する。
  論文  参考訳（メタデータ） (2023-07-08T12:46:57Z)
• On the Implicit Geometry of Cross-Entropy Parameterizations for Label-Imbalanced Data [26.310275682709776]
  ラベインバランスデータの重み付きCE大モデルに代わるものとして,クロスエントロピー(CE)損失のロジット調整パラメータ化が提案されている。 マイノリティ不均衡比に関係なく,ロジット調整パラメータ化を適切に調整して学習することができることを示す。
  論文  参考訳（メタデータ） (2023-03-14T03:04:37Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Machine learning algorithms for three-dimensional mean-curvature computation in the level-set method [0.0]
  レベルセット法のためのデータ駆動平均曲率解法を提案する。 提案方式は, 現在の粒子界面再構成よりも高精度な平均曲率推定を行うことができる。
  論文  参考訳（メタデータ） (2022-08-18T20:19:22Z)
• A Model for Multi-View Residual Covariances based on Perspective Deformation [88.21738020902411]
  マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。 我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
  論文  参考訳（メタデータ） (2022-02-01T21:21:56Z)
• The KFIoU Loss for Rotated Object Detection [115.334070064346]
  本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。 具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。 KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
  論文  参考訳（メタデータ） (2022-01-29T10:54:57Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。