Fugu-MT 論文翻訳(概要): Gradient Aligned Regression via Pairwise Losses

論文の概要: Gradient Aligned Regression via Pairwise Losses

arxiv url: http://arxiv.org/abs/2402.06104v3
Date: Wed, 22 May 2024 20:10:01 GMT
ステータス: 処理完了
システム内更新日: 2024-05-25 06:59:47.133794
Title: Gradient Aligned Regression via Pairwise Losses
Title（参考訳）: Pairwise Lossesによるグラディエントアライメント回帰
Authors: Dixian Zhu, Tianbao Yang, Livnat Jerby,
Abstract要約: Gradient Aligned Regression (GAR) はラベル空間において競合する代替手法である。動作時間実験は既存の手法よりも提案したGARの効率が優れていることを示す。ノイズやアウトレーヤ、分散シフトのないクリーンなデータ設定での回帰として、現在のスコープを制限します。
参考スコア（独自算出の注目度）: 40.676226700035585
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Regression is a fundamental task in machine learning that has garnered extensive attention over the past decades. The conventional approach for regression involves employing loss functions that primarily concentrate on aligning model prediction with the ground truth for each individual data sample. Recent research endeavors have introduced novel perspectives by incorporating label similarity to regression via imposing extra pairwise regularization on the latent feature space and demonstrated the effectiveness. However, there are two drawbacks for those approaches: i) their pairwise operation in latent feature space is computationally more expensive than conventional regression losses; ii) it lacks of theoretical justifications behind such regularization. In this work, we propose GAR (Gradient Aligned Regression) as a competitive alternative method in label space, which is constituted by a conventional regression loss and two pairwise label difference losses for gradient alignment including magnitude and direction. GAR enjoys: i) the same level efficiency as conventional regression loss because the quadratic complexity for the proposed pairwise losses can be reduced to linear complexity; ii) theoretical insights from learning the pairwise label difference to learning the gradient of the ground truth function. We limit our current scope as regression on the clean data setting without noises, outliers or distributional shifts, etc. We demonstrate the effectiveness of the proposed method practically on two synthetic datasets and on eight extensive real-world tasks from six benchmark datasets with other eight competitive baselines. Running time experiments demonstrate the superior efficiency of the proposed GAR over existing methods with pairwise regularization in latent feature space and ablation studies demonstrate the effectiveness of each component for GAR.
Abstract（参考訳）: 回帰は機械学習の基本的なタスクであり、過去数十年にわたって大きな注目を集めてきた。従来の回帰手法では、個々のデータサンプルに対して、主にモデル予測と基底真理の整合に集中する損失関数を用いる。最近の研究は、潜在特徴空間に余分な対正則化を課し、レグレッションとラベルの類似性を取り入れて、新しい視点を導入し、その効果を実証している。しかし、これらのアプローチには2つの欠点がある。一遅延特徴空間における一対の操作は、従来の回帰損失よりも計算上高価である。二このような正規化の背後にある理論上の正当性を欠いていること。本研究では,GAR(Gradient Aligned Regression)をラベル空間における競合的代替手法として提案する。 GARは次のように楽しむ。一従来の回帰損失と同じレベルの効率であって、一対の損失の二次的な複雑さを線形的な複雑性に還元することができること。二相互ラベル差の学習から地中真理関数の勾配の学習までの理論的洞察。ノイズやアウトレーヤ、分散シフトなどを伴わないクリーンなデータ設定のレグレッションとして、現在のスコープを制限します。提案手法は,2つの合成データセットと,他の8つの競合ベースラインを持つ6つのベンチマークデータセットからの8つの広範囲な実世界のタスクに対して実演的に有効であることを示す。ランニングタイム実験は, 既存手法に比べて, 遅延特徴空間におけるペアワイズ正則化が優れていることを示すとともに, 各々の成分の有効性を検証した。

関連論文リスト

Distributed High-Dimensional Quantile Regression: Estimation Efficiency and Support Recovery [0.0]
我々は高次元線形量子レグレッションのための分散推定とサポート回復に焦点をあてる。元の量子レグレッションを最小二乗最適化に変換する。効率的なアルゴリズムを開発し、高い計算と通信効率を享受する。
論文参考訳（メタデータ） (2024-05-13T08:32:22Z)
Deep Regression Representation Learning with Topology [57.203857643599875]
回帰表現の有効性は,そのトポロジによってどのように影響されるかを検討する。本稿では,特徴空間の内在次元と位相を対象空間と一致させる正則化器PH-Regを紹介する。合成および実世界の回帰タスクの実験はPH-Regの利点を示している。
論文参考訳（メタデータ） (2024-04-22T06:28:41Z)
Contrastive Learning with Orthonormal Anchors (CLOA) [0.0]
本研究では,コントラスト学習における不安定性問題に対処すること,特にInfoNCE損失関数とその導関数について検討する。我々はこれらの損失関数が制限的な挙動を示すことを批判的に観察し、埋め込みが特異点にマージする傾向にある収束現象を導いた。この「オーバーフュージョン」効果は、その後の教師あり学習タスクの分類精度に有害である。
論文参考訳（メタデータ） (2024-03-27T15:48:16Z)
Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文参考訳（メタデータ） (2024-03-01T03:27:08Z)
A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
論文参考訳（メタデータ） (2023-10-07T09:15:08Z)
ContrasInver: Ultra-Sparse Label Semi-supervised Regression for Multi-dimensional Seismic Inversion [7.356328937024184]
コントラインバー(ContrasInver)は、2、3個の井戸の丸太を用いて地震波の逆解析を行う手法である。実験では、ContrasInverは合成データSEAM Iで最先端の性能を達成した。オランダのF3とDelftでは,それぞれ3つと2つの井戸ログのみを使用して,信頼性の高い結果をもたらす,初めてのデータ駆動型アプローチである。
論文参考訳（メタデータ） (2023-02-13T15:19:51Z)
Fine-grained Correlation Loss for Regression [20.175415393263037]
本稿では, 従来の回帰課題を再考し, 微粒化相関損失を直接最適化する手法を提案する。本手法は,画像品質評価とバイオメトリック計測を含む2つの典型的な超音波画像回帰タスクに対して広範囲に検証する。
論文参考訳（メタデータ） (2022-07-01T11:25:50Z)
On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。理論的にも経験的にも二重降下現象を観察する。
論文参考訳（メタデータ） (2021-10-13T17:47:39Z)
Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
論文参考訳（メタデータ） (2021-06-08T07:41:02Z)
Robust Locality-Aware Regression for Labeled Data Classification [5.432221650286726]
本稿では,ロバスト局所性認識回帰(RLAR)という特徴抽出フレームワークを提案する。本モデルでは,クラス間の平均差を使わずに,適応的に境界表現学習を行うために再ターゲット回帰を導入する。外れ値の乱れを緩和し、過度な適合を防止するため、L2,1ノルムによる正規化項とともに回帰項と局所性を考慮した項を計測する。
論文参考訳（メタデータ） (2020-06-15T11:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。