論文の概要: Regularization via f-Divergence: An Application to Multi-Oxide Spectroscopic Analysis
- arxiv url: http://arxiv.org/abs/2502.03755v1
- Date: Thu, 06 Feb 2025 03:37:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-07 14:32:06.909549
- Title: Regularization via f-Divergence: An Application to Multi-Oxide Spectroscopic Analysis
- Title（参考訳）: f-divergenceによる正則化:マルチオキサイド分光分析への応用
- Authors: Weizhi Li, Natalie Klein, Brendan Gifford, Elizabeth Sklute, Carey Legett, Samuel Clegg,
- Abstract要約: 本稿では,f分割に基づく新しい正規化手法を提案する。
火星のような環境下で収集したスペクトルをキュリオシティ・パーセバランス・ローバーに搭載したリモートセンシング装置を用いて実験を行った。
- 参考スコア（独自算出の注目度）: 0.9565934024763958
- License:
- Abstract: In this paper, we address the task of characterizing the chemical composition of planetary surfaces using convolutional neural networks (CNNs). Specifically, we seek to predict the multi-oxide weights of rock samples based on spectroscopic data collected under Martian conditions. We frame this problem as a multi-target regression task and propose a novel regularization method based on f-divergence. The f-divergence regularization is designed to constrain the distributional discrepancy between predictions and noisy targets. This regularizer serves a dual purpose: on the one hand, it mitigates overfitting by enforcing a constraint on the distributional difference between predictions and noisy targets. On the other hand, it acts as an auxiliary loss function, penalizing the neural network when the divergence between the predicted and target distributions becomes too large. To enable backpropagation during neural network training, we develop a differentiable f-divergence and incorporate it into the f-divergence regularization, making the network training feasible. We conduct experiments using spectra collected in a Mars-like environment by the remote-sensing instruments aboard the Curiosity and Perseverance rovers. Experimental results on multi-oxide weight prediction demonstrate that the proposed $f$-divergence regularization performs better than or comparable to standard regularization methods including $L_1$, $L_2$, and dropout. Notably, combining the $f$-divergence regularization with these standard regularization further enhances performance, outperforming each regularization method used independently.
- Abstract（参考訳）: 本稿では、畳み込みニューラルネットワーク(CNN)を用いて、惑星表面の化学組成を特徴付けるという課題に対処する。
具体的には、火星の条件下で収集された分光データに基づいて、岩石試料のマルチオキシド重量を予測する。
この問題を多目的回帰タスクとして検討し,f分割に基づく新たな正規化手法を提案する。
f-分数正規化は、予測と雑音のターゲットの間の分布の差を制限するように設計されている。
この正規化器は2つの目的を果たす:一方、予測と雑音のターゲットの間の分布差に制約を課すことによって過度な適合を緩和する。
一方、これは補助損失関数として機能し、予測分布と対象分布のばらつきが大きすぎるとニューラルネットワークをペナル化する。
ニューラルネットワークトレーニング中のバックプロパゲーションを可能にするために、微分可能なf分割法を開発し、それをf分割規則化に組み込むことにより、ネットワークトレーニングが実現可能となる。
火星のような環境下で収集したスペクトルをキュリオシティ・パーセバランス・ローバーに搭載したリモートセンシング装置を用いて実験を行った。
提案した$f$-divergence正規化法は, $L_1$, $L_2$, dropoutなどの標準正規化法に匹敵する性能を示した。
特に、$f$-divergence正規化とこれらの標準正規化を組み合わせることで、パフォーマンスが向上し、それぞれの正規化方法が独立に使用される。
関連論文リスト
- Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Deep Anti-Regularized Ensembles provide reliable out-of-distribution
uncertainty quantification [4.750521042508541]
深層アンサンブルは、しばしばトレーニングドメインの外で過度に信頼された見積を返す。
トレーニングデータに適合する大きな重みを持つネットワークの集合は、これらの2つの目的を満たす可能性が高いことを示す。
提案手法の理論的枠組みを導出し,提案手法を「水充填問題」とみなすことができることを示す。
論文 参考訳（メタデータ） (2023-04-08T15:25:12Z) - Reliable amortized variational inference with physics-based latent
distribution correction [0.4588028371034407]
ニューラルネットワークは、既存のモデルとデータのペアの後方分布を近似するように訓練される。
このアプローチの精度は、高忠実度トレーニングデータの可用性に依存する。
補正ステップは, ソース実験数の変化, ノイズ分散, 先行分布の変化に対して, 償却された変分推論の頑健さを向上することを示す。
論文 参考訳（メタデータ） (2022-07-24T02:38:54Z) - A heteroencoder architecture for prediction of failure locations in
porous metals using variational inference [1.2722697496405462]
多孔質金属張力試験片の故障箇所を予測するために,エンコーダ・デコーダ畳み込みニューラルネットワークを用いた。
故障箇所の予測の目的は、標本中のほとんどの材料が故障しないため、クラス不均衡の極端なケースを示す。
得られた予測分散は、任意の標本において最も失敗する可能性のある位置のランク付けに有効であることを示す。
論文 参考訳（メタデータ） (2022-01-31T20:26:53Z) - Regularization by Misclassification in ReLU Neural Networks [3.288086999241324]
SGDの変種によって訓練されたReLUニューラルネットワークの暗黙バイアスについて検討し、各ステップで確率$p$でラベルをランダムラベルに変更する。
ラベルノイズは、典型的な入力の場合、少数のニューロンがアクティブであり、隠れた層の発火パターンはスペーサーである。
論文 参考訳（メタデータ） (2021-11-03T11:42:38Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Shaping Deep Feature Space towards Gaussian Mixture for Visual
Classification [74.48695037007306]
視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。
分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。
提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
論文 参考訳（メタデータ） (2020-11-18T03:32:27Z) - Learning Calibrated Uncertainties for Domain Shift: A Distributionally
Robust Learning Approach [150.8920602230832]
ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。
特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。
提案手法は下流タスクに有利な校正不確実性を生成する。
論文 参考訳（メタデータ） (2020-10-08T02:10:54Z) - Investigating maximum likelihood based training of infinite mixtures for
uncertainty quantification [16.30200782698554]
変分推論の代わりに最大極大法を用いて無限混合分布を訓練する効果について検討する。
提案手法は, 予測分散が増大し, 敵ネットワークに繋がることがわかった。
論文 参考訳（メタデータ） (2020-08-07T14:55:53Z) - Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
類似サンプル間の予測分布を解析する新しい正規化法を提案する。
これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。
画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
論文 参考訳（メタデータ） (2020-03-31T06:03:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。