論文の概要: Graph Learning with Loss-Guided Training

• arxiv url: http://arxiv.org/abs/2006.00460v1
• Date: Sun, 31 May 2020 08:03:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 12:22:42.057639
• Title: Graph Learning with Loss-Guided Training
• Title（参考訳）: 損失誘導学習によるグラフ学習
• Authors: Eliav Buchnik, Edith Cohen
• Abstract要約: sc DeepWalkの先駆的なノード埋め込み手法の新たな領域において、損失誘導型トレーニングについて検討する。 データセットの豊富なコレクションに対する実験的な評価は,総合的なトレーニングと総合計算の両面で,ベースライン静的メソッドよりも大幅に加速されたことを示す。
• 参考スコア（独自算出の注目度）: 16.815638149823744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classically, ML models trained with stochastic gradient descent (SGD) are designed to minimize the average loss per example and use a distribution of training examples that remains {\em static} in the course of training. Research in recent years demonstrated, empirically and theoretically, that significant acceleration is possible by methods that dynamically adjust the training distribution in the course of training so that training is more focused on examples with higher loss. We explore {\em loss-guided training} in a new domain of node embedding methods pioneered by {\sc DeepWalk}. These methods work with implicit and large set of positive training examples that are generated using random walks on the input graph and therefore are not amenable for typical example selection methods. We propose computationally efficient methods that allow for loss-guided training in this framework. Our empirical evaluation on a rich collection of datasets shows significant acceleration over the baseline static methods, both in terms of total training performed and overall computation.
• Abstract（参考訳）: 古典的には、確率勾配降下 (SGD) で訓練されたMLモデルは、例ごとの平均損失を最小限に抑え、トレーニングの過程で残っているトレーニング例の分布を利用するように設計されている。 近年の研究では、トレーニングの過程でトレーニング分布を動的に調整することで、経験的および理論的に大きな加速が可能となり、トレーニングがより損失の高い例に集中できることを示した。 本稿では,DeepWalkによるノード埋め込み手法の新たな領域における損失誘導トレーニングについて検討する。 これらの手法は、入力グラフ上のランダムウォークを用いて生成される暗黙的かつ大規模な正のトレーニング例で機能するので、典型的な例選択法には適用できない。 本稿では,このフレームワークにおける損失誘導学習を可能にする計算効率のよい手法を提案する。 データセットの豊富なコレクションに対する実験的な評価は,総合的なトレーニングと総合的な計算の両面で,ベースライン静的メソッドよりも大幅に加速していることを示す。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Tackling Interference Induced by Data Training Loops in A/B Tests: A Weighted Training Approach [6.028247638616059]
  重み付けトレーニングと呼ばれる新しいアプローチを導入する。 このアプローチでは、治療データと制御データの両方に現れる各データポイントの確率を予測するために、モデルをトレーニングする必要がある。 本手法は, トレーニング分布の変化を起こさない全ての推定器において, 最小分散を達成できることを実証する。
  論文  参考訳（メタデータ） (2023-10-26T15:52:34Z)
• A Data-Centric Approach for Improving Adversarial Training Through the Lens of Out-of-Distribution Detection [0.4893345190925178]
  複雑なアルゴリズムを適用して効果を緩和するのではなく, トレーニング手順から直接ハードサンプルを検出し, 除去することを提案する。 SVHN と CIFAR-10 データセットを用いた結果,計算コストの増大を伴わずに対角訓練の改善に本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-01-25T08:13:50Z)
• Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
  ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。 現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。 本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-21T08:16:31Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Practical Convex Formulation of Robust One-hidden-layer Neural Network Training [12.71266194474117]
  本研究では,一層型スカラーアウトプット完全接続型ReLULUニューラルネットワークのトレーニングを,有限次元凸プログラムとして再構成可能であることを示す。 我々は「敵の訓練」問題を効率的に解くために凸最適化手法を導出する。 本手法は二項分類と回帰に応用でき、現在の対角訓練法に代わる手段を提供する。
  論文  参考訳（メタデータ） (2021-05-25T22:06:27Z)
• An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
  本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。 単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
  論文  参考訳（メタデータ） (2021-04-09T01:03:17Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Estimating Training Data Influence by Tracing Gradient Descent [21.94989239842377]
  TracInは、モデルの予測に対するトレーニング例の影響を計算する。 TracInは実装が簡単で、必要なのは非依存の損失関数を動作させることだけだ。
  論文  参考訳（メタデータ） (2020-02-19T22:40:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。