論文の概要: Random Linear Projections Loss for Hyperplane-Based Optimization in Regression Neural Networks

• arxiv url: http://arxiv.org/abs/2311.12356v1
• Date: Tue, 21 Nov 2023 05:22:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 01:53:28.232369
• Title: Random Linear Projections Loss for Hyperplane-Based Optimization in Regression Neural Networks
• Title（参考訳）: 回帰ニューラルネットワークにおける超平面最適化のためのランダム線形射影損失
• Authors: Shyam Venkatasubramanian, Ahmed Aloui, Vahid Tarokh
• Abstract要約: 回帰ニューラルネットワークは複雑なデータセットを過度に適合させる傾向がある。 本稿ではランダム線形射影(RLP)損失と呼ばれる損失関数を提案する。 RLP損失でトレーニングされたニューラルネットワークは、データサンプルが少なく、付加的なノイズに対して堅牢であると同時に、パフォーマンスの向上を実現している。
• 参考スコア（独自算出の注目度）: 25.11790930679232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their popularity across a wide range of domains, regression neural networks are prone to overfitting complex datasets. In this work, we propose a loss function termed Random Linear Projections (RLP) loss, which is empirically shown to mitigate overfitting. With RLP loss, the distance between sets of hyperplanes connecting fixed-size subsets of the neural network's feature-prediction pairs and feature-label pairs is minimized. The intuition behind this loss derives from the notion that if two functions share the same hyperplanes connecting all subsets of feature-label pairs, then these functions must necessarily be equivalent. Our empirical studies, conducted across benchmark datasets and representative synthetic examples, demonstrate the improvements of the proposed RLP loss over mean squared error (MSE). Specifically, neural networks trained with the RLP loss achieve better performance while requiring fewer data samples and are more robust to additive noise. We provide theoretical analysis supporting our empirical findings.
• Abstract（参考訳）: 幅広いドメインで人気があるにもかかわらず、回帰ニューラルネットワークは複雑なデータセットをオーバーフィットしがちである。 本研究では,ランダム線形射影(rlp)損失と呼ばれる損失関数を提案する。 RLP損失では、ニューラルネットワークの特徴予測ペアの固定サイズのサブセットと特徴ラベルペアを接続する超平面の集合間の距離が最小になる。 この損失の背景にある直観は、2つの函数が特徴ラベル対のすべての部分集合を連結する同じ超平面を共有するならば、これらの函数は必ずしも同値でなければならないという考えから導かれる。 ベンチマークデータセットおよび代表的な合成例を用いて実施した実証研究は,平均二乗誤差(MSE)よりも提案したRLP損失の改善を実証した。 具体的には、RLP損失でトレーニングされたニューラルネットワークは、データサンプルを少なくし、付加的なノイズに対して堅牢であると同時に、より良いパフォーマンスを実現する。 実験結果を支持する理論的分析を行った。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• Component-based Sketching for Deep ReLU Nets [55.404661149594375]
  各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。 我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。 提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:30:43Z)
• A network-constrain Weibull AFT model for biomarkers discovery [0.0]
  AFTNetはWeibullAccelerated failure time (AFT)モデルに基づくネットワーク制約サバイバル分析手法である。 本稿では,近位勾配法に基づく効率的な反復計算アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-28T11:12:53Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Loss-Curvature Matching for Dataset Selection and Condensation [13.354005476925176]
  大規模なデータセット上でニューラルネットワークをトレーニングするには、かなりの計算コストが必要になる。 本稿では, LCMat という, 原データセットのロス曲率とモデルパラメータ空間上の縮小データセットをマッチングする手法を提案する。
  論文  参考訳（メタデータ） (2023-03-08T08:59:04Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Adversarially Robust Learning via Entropic Regularization [31.6158163883893]
  我々は、敵対的に堅牢なディープニューラルネットワークを訓練するための新しいアルゴリズムATENTを提案する。 我々の手法は、頑健な分類精度の観点から、競争力(またはより良い)性能を達成する。
  論文  参考訳（メタデータ） (2020-08-27T18:54:43Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。