論文の概要: Investigating the Histogram Loss in Regression
- arxiv url: http://arxiv.org/abs/2402.13425v1
- Date: Tue, 20 Feb 2024 23:29:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 17:44:23.244774
- Title: Investigating the Histogram Loss in Regression
- Title（参考訳）: 回帰におけるヒストグラム損失の検討
- Authors: Ehsan Imani, Kai Luedemann, Sam Scholnick-Hughes, Esraa Elelimy,
Martha White
- Abstract要約: ヒストグラムロス(Histogram Loss)は、対象変数の条件分布を学習するための回帰手法である。
この設定における学習分布の利点は、より良い表現を学習するのではなく、最適化の改善によるものであることを示す。
- 参考スコア（独自算出の注目度）: 18.06075433764017
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is becoming increasingly common in regression to train neural networks
that model the entire distribution even if only the mean is required for
prediction. This additional modeling often comes with performance gain and the
reasons behind the improvement are not fully known. This paper investigates a
recent approach to regression, the Histogram Loss, which involves learning the
conditional distribution of the target variable by minimizing the cross-entropy
between a target distribution and a flexible histogram prediction. We design
theoretical and empirical analyses to determine why and when this performance
gain appears, and how different components of the loss contribute to it. Our
results suggest that the benefits of learning distributions in this setup come
from improvements in optimization rather than learning a better representation.
We then demonstrate the viability of the Histogram Loss in common deep learning
applications without a need for costly hyperparameter tuning.
- Abstract（参考訳）: 予測に必要な平均だけであっても、分布全体をモデル化するニューラルネットワークをトレーニングすることは、回帰においてますます一般的になっています。
この追加のモデリングは、しばしばパフォーマンスが向上し、改善の背景にある理由が完全には分かっていない。
本稿では,目標分布とフレキシブルヒストグラム予測とのクロスエントロピーを最小化することにより,対象変数の条件分布を学習する,回帰に対する最近のアプローチであるヒストグラム損失について検討する。
我々は、この性能向上の理由と時期、損失の異なる成分がそれにどのように寄与するかを決定するために、理論的および実証的な分析を設計する。
その結果,この設定における学習分布の利点は,より良い表現を学習するよりも最適化の改善によるものであることが示唆された。
次に,高パラメータチューニングを必要とせず,一般的なディープラーニングアプリケーションにおけるヒストグラム損失の有効性を示す。
関連論文リスト
- Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。
まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。
次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
論文 参考訳（メタデータ） (2024-10-25T20:50:32Z) - Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。
課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
論文 参考訳（メタデータ） (2024-05-30T10:49:22Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-29T04:15:58Z) - Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳（メタデータ） (2023-12-19T12:25:10Z) - Deep Autoregressive Regression [5.257719744958367]
平均二乗誤差損失を用いた回帰の大幅な制限は、ターゲットの規模に対する感度であることを示す。
本稿では,実数値回帰目標,自己回帰回帰に基づく深層学習モデルの学習手法を提案する。
論文 参考訳（メタデータ） (2022-11-14T15:22:20Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - OOD-GNN: Out-of-Distribution Generalized Graph Neural Network [73.67049248445277]
グラフニューラルネットワーク(GNN)は、グラフデータのテストとトレーニングを同一の分布から行うことで、優れたパフォーマンスを実現している。
既存のGNNでは、テストとグラフデータのトレーニングの間に分散シフトが存在する場合、その性能が著しく低下する。
本稿では,学習グラフと異なる分布を持つ未確認試験グラフに対して,満足な性能を実現するために,アウト・オブ・ディストリビューション一般化グラフニューラルネットワーク(OOD-GNN)を提案する。
論文 参考訳（メタデータ） (2021-12-07T16:29:10Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - A Locally Adaptive Interpretable Regression [7.4267694612331905]
線形回帰は最も解釈可能な予測モデルの一つである。
本稿では,局所適応型解釈型回帰(LoAIR)を導入する。
我々のモデルは、他の最先端のベースラインと同等またはより良い予測性能を達成する。
論文 参考訳（メタデータ） (2020-05-07T09:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。