論文の概要: Improving Deep Regression with Ordinal Entropy
- arxiv url: http://arxiv.org/abs/2301.08915v1
- Date: Sat, 21 Jan 2023 08:30:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 15:51:03.765427
- Title: Improving Deep Regression with Ordinal Entropy
- Title(参考訳): 順序エントロピーによる深い回帰の改善
- Authors: Shihao Zhang, Linlin Yang, Michael Bi Mi, Xiaoxu Zheng, Angela Yao
- Abstract要約: クロスエントロピーの損失を伴う分類は、平均二乗誤差損失で回帰を上回り、高いエントロピーの特徴表現を学習する能力を持つ。
合成および実世界の回帰タスクの実験は、回帰に対するエントロピーの増加の重要性と利点を示している。
- 参考スコア(独自算出の注目度): 22.105514725977535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In computer vision, it is often observed that formulating regression problems
as a classification task often yields better performance. We investigate this
curious phenomenon and provide a derivation to show that classification, with
the cross-entropy loss, outperforms regression with a mean squared error loss
in its ability to learn high-entropy feature representations. Based on the
analysis, we propose an ordinal entropy loss to encourage higher-entropy
feature spaces while maintaining ordinal relationships to improve the
performance of regression tasks. Experiments on synthetic and real-world
regression tasks demonstrate the importance and benefits of increasing entropy
for regression.
- Abstract(参考訳): コンピュータビジョンでは、回帰問題を分類タスクとして定式化することで、パフォーマンスが向上することがしばしば観察される。
この奇妙な現象を調査し,クロスエントロピー損失を伴う分類が,平均2乗誤差損失を伴う回帰よりも高いエントロピー特徴表現を学習する能力が優れていることを示す導出を提供する。
そこで本研究では,順序関係を維持しつつ高エントロピー特徴空間を奨励し,回帰タスクの性能を向上させるための順序エントロピー損失を提案する。
合成および実世界の回帰タスクの実験は、回帰に対するエントロピーの増加の重要性と利点を示している。
関連論文リスト
- Investigating the Histogram Loss in Regression [18.06075433764017]
ヒストグラムロス(Histogram Loss)は、対象変数の条件分布を学習するための回帰手法である。
この設定における学習分布の利点は、より良い表現を学習するのではなく、最適化の改善によるものであることを示す。
論文 参考訳(メタデータ) (2024-02-20T23:29:41Z) - Deep Generative Symbolic Regression [83.04219479605801]
記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。
既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。
本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
論文 参考訳(メタデータ) (2023-12-30T17:05:31Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - Revisiting Plasticity in Visual Reinforcement Learning: Data, Modules
and Training Stages [59.125309642351674]
ニューラルネットワークが新しいデータで進化する能力である塑性は、高性能でサンプル効率のよい視覚強化学習に不可欠である。
本稿では,批評家の可塑性レベルに基づいてリプレイ率を動的に調整するAdaptive RRを提案する。
論文 参考訳(メタデータ) (2023-10-11T12:05:34Z) - ResMem: Learn what you can and memorize the rest [79.19649788662511]
本稿では,既存の予測モデルを拡張するための残差記憶アルゴリズム(ResMem)を提案する。
構築によって、ResMemはトレーニングラベルを明示的に記憶することができる。
ResMemは、元の予測モデルのテストセットの一般化を一貫して改善することを示す。
論文 参考訳(メタデータ) (2023-02-03T07:12:55Z) - Regression as Classification: Influence of Task Formulation on Neural
Network Features [16.239708754973865]
ニューラルネットワークは、勾配に基づく手法を用いて2乗損失を最小限に抑えることにより、回帰問題を解決するために訓練することができる。
実践者は、しばしば回帰を分類問題として再編成し、クロスエントロピー損失のトレーニングがより良いパフォーマンスをもたらすことを観察する。
2層ReLUネットワークに着目して、勾配に基づく最適化によって引き起こされる暗黙のバイアスが、この現象を部分的に説明できるかを検討する。
論文 参考訳(メタデータ) (2022-11-10T15:13:23Z) - Rank-N-Contrast: Learning Continuous Representations for Regression [28.926518084216607]
Rank-N-Contrast(RNC)は、ターゲット空間のランクに基づいて、サンプルを互いに対比することで、回帰の連続的な表現を学習するフレームワークである。
RNCは、学習された表現の望ましい順序を目標命令に従って保証する。
RNCは最先端のパフォーマンスを達成し、データ効率の向上、ターゲットの刺激に対する堅牢性、データの破損など、興味深い特性を強調している。
論文 参考訳(メタデータ) (2022-10-03T19:00:38Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳(メタデータ) (2021-05-07T03:33:00Z) - Implicit Under-Parameterization Inhibits Data-Efficient Deep
Reinforcement Learning [97.28695683236981]
さらなる勾配更新により、現在の値ネットワークの表現性が低下する。
AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
論文 参考訳(メタデータ) (2020-10-27T17:55:16Z) - New Insights into Learning with Correntropy Based Regression [3.066157114715031]
本研究では,コレントロピーに基づく回帰回帰が条件付きモード関数や条件付き平均関数に対して一定の条件下で頑健に働くことを示す。
また,条件付き平均関数を学習する際の新しい結果も提示する。
論文 参考訳(メタデータ) (2020-06-19T21:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。