論文の概要: GradTail: Learning Long-Tailed Data Using Gradient-based Sample Weighting

• arxiv url: http://arxiv.org/abs/2201.05938v2
• Date: Wed, 19 Jan 2022 02:27:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-20 12:15:53.382932
• Title: GradTail: Learning Long-Tailed Data Using Gradient-based Sample Weighting
• Title（参考訳）: GradTail: 勾配ベースのサンプル重み付けによる長期学習
• Authors: Zhao Chen, Vincent Casser, Henrik Kretzschmar, Dragomir Anguelov
• Abstract要約: そこで本研究では, モデルトレーニングの初期段階において, 勾配点積の合意に基づくアプローチにより, 長期化データを早期に分離し, 標本重み付けを動的に行うことにより, 性能を向上できることを示す。 このような重み付けによって分類モデルと回帰モデルの両方のモデルの改善がもたらされるが、後者は長い尾の文献では比較的解明されていない。
• 参考スコア（独自算出の注目度）: 15.418627530276598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose GradTail, an algorithm that uses gradients to improve model performance on the fly in the face of long-tailed training data distributions. Unlike conventional long-tail classifiers which operate on converged - and possibly overfit - models, we demonstrate that an approach based on gradient dot product agreement can isolate long-tailed data early on during model training and improve performance by dynamically picking higher sample weights for that data. We show that such upweighting leads to model improvements for both classification and regression models, the latter of which are relatively unexplored in the long-tail literature, and that the long-tail examples found by gradient alignment are consistent with our semantic expectations.
• Abstract（参考訳）: 長文トレーニングデータ分布に直面するモデル性能を改善するために勾配を用いたアルゴリズムであるgradtailを提案する。 収束した、おそらく過適合なモデルで動作する従来のロングテール分類器とは異なり、勾配ドット製品契約に基づくアプローチは、モデルトレーニング中に早期にロングテールデータを分離し、そのデータに対して高いサンプル重量を動的に取り込むことで、性能を向上させることができることを示す。 このような重み付けは分類モデルと回帰モデルの両方にモデル改善をもたらし、後者はロングテールの文献では比較的未検討であり、勾配アライメントによって発見されたロングテールの例は、私たちの意味的期待と一致していることを示している。

関連論文リスト

• Minimum Tuning to Unlock Long Output from LLMs with High Quality Data as the Key [3.3339400603549265]
  トレーニングデータインスタンスと計算処理の少ないチューニングモデルにおいて,顕著なパフォーマンス向上を実現することができることを示す。 本研究の結果から, 長期出力のキャパシティは, 既成モデルによって異なるが, 定性計算を用いて高品質なデータに調整するアプローチは, 実験したすべてのモデルに対して, 常に顕著な改善をもたらすことが示唆された。
  論文  参考訳（メタデータ） (2024-10-14T07:09:02Z)
• Multi-view Disparity Estimation Using a Novel Gradient Consistency Model [0.0]
  本稿では,線形化の有効性を評価するために,勾配一貫性情報を用いることを提案する。 この情報は、解析的にインスパイアされたグラディエント一貫性モデルの一部として、データ項に適用される重みを決定するために使用される。 グラディエント一貫性モデルが標準粗大なスキームよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-27T10:30:59Z)
• Orthogonal Uncertainty Representation of Data Manifold for Robust Long-Tailed Learning [52.021899899683675]
  長い尾の分布を持つシナリオでは、尾のサンプルが不足しているため、モデルが尾のクラスを識別する能力は制限される。 モデルロバストネスの長期的現象を改善するために,特徴埋め込みの直交不確実性表現(OUR)とエンドツーエンドのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-16T05:50:34Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
  ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。 ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
  論文  参考訳（メタデータ） (2023-05-28T05:38:28Z)
• Merging Models with Fisher-Weighted Averaging [24.698591753644077]
  我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。 提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。 マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-18T17:59:35Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Progressive Growing of Neural ODEs [7.558546277131641]
  本研究では,長期連続予測のためのNODEの漸進的学習パラダイムを提案する。 具体的には、カリキュラム学習の原則に従って、トレーニングが進むにつれて、データとネットワーク容量の複雑さが徐々に増大する。 合成データと実交通データ(PeMSベイエリア交通データ)を併用した実験により,バニラノードの性能を64%以上改善した。
  論文  参考訳（メタデータ） (2020-03-08T01:15:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。