論文の概要: Improving Deep Regression with Ordinal Entropy

• arxiv url: http://arxiv.org/abs/2301.08915v1
• Date: Sat, 21 Jan 2023 08:30:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 15:51:03.765427
• Title: Improving Deep Regression with Ordinal Entropy
• Title（参考訳）: 順序エントロピーによる深い回帰の改善
• Authors: Shihao Zhang, Linlin Yang, Michael Bi Mi, Xiaoxu Zheng, Angela Yao
• Abstract要約: クロスエントロピーの損失を伴う分類は、平均二乗誤差損失で回帰を上回り、高いエントロピーの特徴表現を学習する能力を持つ。 合成および実世界の回帰タスクの実験は、回帰に対するエントロピーの増加の重要性と利点を示している。
• 参考スコア（独自算出の注目度）: 22.105514725977535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In computer vision, it is often observed that formulating regression problems as a classification task often yields better performance. We investigate this curious phenomenon and provide a derivation to show that classification, with the cross-entropy loss, outperforms regression with a mean squared error loss in its ability to learn high-entropy feature representations. Based on the analysis, we propose an ordinal entropy loss to encourage higher-entropy feature spaces while maintaining ordinal relationships to improve the performance of regression tasks. Experiments on synthetic and real-world regression tasks demonstrate the importance and benefits of increasing entropy for regression.
• Abstract（参考訳）: コンピュータビジョンでは、回帰問題を分類タスクとして定式化することで、パフォーマンスが向上することがしばしば観察される。 この奇妙な現象を調査し,クロスエントロピー損失を伴う分類が,平均2乗誤差損失を伴う回帰よりも高いエントロピー特徴表現を学習する能力が優れていることを示す導出を提供する。 そこで本研究では,順序関係を維持しつつ高エントロピー特徴空間を奨励し,回帰タスクの性能を向上させるための順序エントロピー損失を提案する。 合成および実世界の回帰タスクの実験は、回帰に対するエントロピーの増加の重要性と利点を示している。

関連論文リスト

• Generalization bounds for regression and classification on adaptive covering input domains [1.4141453107129398]
  一般化誤差の上限となる一般化境界に着目する。 分類タスクの場合、対象関数を1ホット、ピースワイド定数関数として扱い、誤差測定に0/1ロスを用いる。
  論文  参考訳（メタデータ） (2024-07-29T05:40:08Z)
• Deep Regression Representation Learning with Topology [57.203857643599875]
  回帰表現の有効性は,そのトポロジによってどのように影響されるかを検討する。 本稿では,特徴空間の内在次元と位相を対象空間と一致させる正則化器PH-Regを紹介する。 合成および実世界の回帰タスクの実験はPH-Regの利点を示している。
  論文  参考訳（メタデータ） (2024-04-22T06:28:41Z)
• Contrastive Learning for Regression on Hyperspectral Data [4.931067393619175]
  本稿では,ハイパースペクトルデータに対する回帰処理のためのコントラスト学習フレームワークを提案する。 合成および実超スペクトルデータセットの実験により、提案したフレームワークと変換により回帰モデルの性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-02-12T21:33:46Z)
• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• ResMem: Learn what you can and memorize the rest [79.19649788662511]
  本稿では,既存の予測モデルを拡張するための残差記憶アルゴリズム(ResMem)を提案する。 構築によって、ResMemはトレーニングラベルを明示的に記憶することができる。 ResMemは、元の予測モデルのテストセットの一般化を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2023-02-03T07:12:55Z)
• Regression as Classification: Influence of Task Formulation on Neural Network Features [16.239708754973865]
  ニューラルネットワークは、勾配に基づく手法を用いて2乗損失を最小限に抑えることにより、回帰問題を解決するために訓練することができる。 実践者は、しばしば回帰を分類問題として再編成し、クロスエントロピー損失のトレーニングがより良いパフォーマンスをもたらすことを観察する。 2層ReLUネットワークに着目して、勾配に基づく最適化によって引き起こされる暗黙のバイアスが、この現象を部分的に説明できるかを検討する。
  論文  参考訳（メタデータ） (2022-11-10T15:13:23Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• New Insights into Learning with Correntropy Based Regression [3.066157114715031]
  本研究では,コレントロピーに基づく回帰回帰が条件付きモード関数や条件付き平均関数に対して一定の条件下で頑健に働くことを示す。 また,条件付き平均関数を学習する際の新しい結果も提示する。
  論文  参考訳（メタデータ） (2020-06-19T21:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。