論文の概要: Regression as Classification: Influence of Task Formulation on Neural Network Features

• arxiv url: http://arxiv.org/abs/2211.05641v1
• Date: Thu, 10 Nov 2022 15:13:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 14:12:42.411510
• Title: Regression as Classification: Influence of Task Formulation on Neural Network Features
• Title（参考訳）: 分類としての回帰:課題定式化がニューラルネットワークの特徴に及ぼす影響
• Authors: Lawrence Stewart (SIERRA), Francis Bach (SIERRA), Quentin Berthet, Jean-Philippe Vert
• Abstract要約: ニューラルネットワークは、勾配に基づく手法を用いて2乗損失を最小限に抑えることにより、回帰問題を解決するために訓練することができる。 実践者は、しばしば回帰を分類問題として再編成し、クロスエントロピー損失のトレーニングがより良いパフォーマンスをもたらすことを観察する。 2層ReLUネットワークに着目して、勾配に基づく最適化によって引き起こされる暗黙のバイアスが、この現象を部分的に説明できるかを検討する。
• 参考スコア（独自算出の注目度）: 16.239708754973865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks can be trained to solve regression problems by using gradient-based methods to minimize the square loss. However, practitioners often prefer to reformulate regression as a classification problem, observing that training on the cross entropy loss results in better performance. By focusing on two-layer ReLU networks, which can be fully characterized by measures over their feature space, we explore how the implicit bias induced by gradient-based optimization could partly explain the above phenomenon. We provide theoretical evidence that the regression formulation yields a measure whose support can differ greatly from that for classification, in the case of one-dimensional data. Our proposed optimal supports correspond directly to the features learned by the input layer of the network. The different nature of these supports sheds light on possible optimization difficulties the square loss could encounter during training, and we present empirical results illustrating this phenomenon.
• Abstract（参考訳）: ニューラルネットワークは2乗損失を最小限に抑えるために勾配法を用いて回帰問題を解くことができる。 しかし、実践者はしばしば回帰を分類問題として再編成し、クロスエントロピー損失のトレーニングがより良いパフォーマンスをもたらすことを観察する。 特徴空間上の測度によって完全に特徴付けられる2層ReLUネットワークに着目して、勾配に基づく最適化によって引き起こされる暗黙のバイアスが、上記の現象を部分的に説明できるかを検討する。 回帰定式化は, 1次元データの場合, 分類において, 支持度が大きく異なる尺度が得られるという理論的証拠を提供する。 提案する最適サポートは,ネットワークの入力層で学習した特徴と直接対応している。 これらのサポートの異なる性質は、トレーニング中に正方形損失が発生する可能性のある最適化の困難さに光を当て、この現象を実証する実験結果を示す。

関連論文リスト

• Correlations Are Ruining Your Gradient Descent [1.2432046687586285]
  自然勾配降下は、最も急勾配の方向を示す勾配ベクトルが、損失景観の局所曲率を考慮することにより、どのように改善されるかを照らしている。 ニューラルネットワークの各層におけるノード応答を含む,任意の線形変換におけるデータの相関が,モデルパラメータ間の非正規的関係を生じさせることを示す。 多層ニューラルネットワーク内でのデコリレーションを実装することで、バックプロパゲーションによるトレーニングが著しく増加しているだけでなく、過去に破滅的に失敗したバックプロパゲーションの既存の近似が再び実行されたことを示すことができる。
  論文  参考訳（メタデータ） (2024-07-15T14:59:43Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting [0.0]
  正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。 この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
  論文  参考訳（メタデータ） (2023-08-01T15:04:30Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)
• Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
  勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。 我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
  論文  参考訳（メタデータ） (2020-02-11T15:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。