論文の概要: AdaGrid: Adaptive Grid Search for Link Prediction Training Objective
- arxiv url: http://arxiv.org/abs/2203.16162v1
- Date: Wed, 30 Mar 2022 09:24:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-31 16:23:05.613123
- Title: AdaGrid: Adaptive Grid Search for Link Prediction Training Objective
- Title(参考訳): AdaGrid: リンク予測トレーニング対象のための適応的グリッド検索
- Authors: Tim Po\v{s}tuvan, Jiaxuan You, Mohammadreza Banaei, R\'emi Lebret,
Jure Leskovec
- Abstract要約: トレーニングの目的は、モデルの性能と一般化能力に決定的に影響を及ぼす。
本稿では,訓練中にエッジメッセージの比率を動的に調整する適応グリッド探索(AdaGrid)を提案する。
AdaGridは、完全検索の9倍の時間効率を保ちながら、モデルの性能を1.9%まで向上させることができることを示す。
- 参考スコア(独自算出の注目度): 58.79804082133998
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the most important factors that contribute to the success of a machine
learning model is a good training objective. Training objective crucially
influences the model's performance and generalization capabilities. This paper
specifically focuses on graph neural network training objective for link
prediction, which has not been explored in the existing literature. Here, the
training objective includes, among others, a negative sampling strategy, and
various hyperparameters, such as edge message ratio which controls how training
edges are used. Commonly, these hyperparameters are fine-tuned by complete grid
search, which is very time-consuming and model-dependent. To mitigate these
limitations, we propose Adaptive Grid Search (AdaGrid), which dynamically
adjusts the edge message ratio during training. It is model agnostic and highly
scalable with a fully customizable computational budget. Through extensive
experiments, we show that AdaGrid can boost the performance of the models up to
$1.9\%$ while being nine times more time-efficient than a complete search.
Overall, AdaGrid represents an effective automated algorithm for designing
machine learning training objectives.
- Abstract(参考訳): 機械学習モデルの成功に寄与する最も重要な要素の1つは、優れたトレーニング目標である。
トレーニングの目的は、モデルの性能と一般化能力に決定的に影響を及ぼす。
本稿では,既存の文献では研究されていないリンク予測のためのグラフニューラルネットワークの学習目標に注目した。
ここでは、トレーニング対象には、ネガティブサンプリング戦略や、トレーニングエッジの使用方法を制御するエッジメッセージ比など、さまざまなハイパーパラメータが含まれる。
一般的に、これらのハイパーパラメータは完全なグリッドサーチによって微調整される。
これらの制限を緩和するために、トレーニング中にエッジメッセージ比を動的に調整するAdaptive Grid Search (AdaGrid)を提案する。
モデルに依存しず、完全にカスタマイズ可能な計算予算で高度にスケーラブルである。
広範な実験を通じて、adagridはモデルの性能を最大1.9\%まで向上させ、完全な検索よりも9倍の時間効率が得られることを示した。
全体として、adagridは機械学習のトレーニング目標を設計するための効果的な自動化アルゴリズムである。
関連論文リスト
- Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-03T21:49:14Z) - Scaling Deep Networks with the Mesh Adaptive Direct Search algorithm [3.3073775218038883]
我々は,emphMesh Adaptive Direct Search(MADS)アルゴリズムを用いて,画像分類のための軽深度ニューラルネットワークの設計を自動化する。
本試験は, 競争圧縮率と試行回数の減少を示す。
論文 参考訳(メタデータ) (2023-01-17T00:08:03Z) - Unlearning Graph Classifiers with Limited Data Resources [39.29148804411811]
制御されたデータ削除は、データに敏感なWebアプリケーションのための機械学習モデルの重要機能になりつつある。
グラフニューラルネットワーク(GNN)の効率的な機械学習を実現する方法はまだほとんど知られていない。
我々の主な貢献は GST に基づく非線形近似グラフアンラーニング法である。
第2の貢献は、提案した未学習機構の計算複雑性の理論解析である。
第3のコントリビューションは広範囲なシミュレーションの結果であり、削除要求毎のGNNの完全再トレーニングと比較して、新しいGSTベースのアプローチは平均10.38倍のスピードアップを提供する。
論文 参考訳(メタデータ) (2022-11-06T20:46:50Z) - Controlled Sparsity via Constrained Optimization or: How I Learned to
Stop Tuning Penalties and Love Constraints [81.46143788046892]
スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。
スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。
本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
論文 参考訳(メタデータ) (2022-08-08T21:24:20Z) - Hybrid quantum ResNet for car classification and its hyperparameter
optimization [0.0]
本稿では,量子インスパイアされたハイパーパラメータ最適化手法と,教師あり学習のためのハイブリッド量子古典機械学習モデルを提案する。
カーイメージ分類タスクにおいて,我々のアプローチを検証し,ハイブリッド量子ResNetモデルのフルスケール実装を実演する。
分類精度0.97は18イテレーションの後にハイブリッドモデルにより得られたが、古典モデルは75イテレーションの後に0.92の精度を達成した。
論文 参考訳(メタデータ) (2022-05-10T13:25:36Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳(メタデータ) (2022-01-11T20:53:15Z) - MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption [69.76837484008033]
ディープラーニングの未解決の問題は、ニューラルネットワークがテスト時間中のドメインシフトに対処する能力である。
メタラーニング、自己監督、テストタイムトレーニングを組み合わせて、目に見えないテスト分布に適応する方法を学びます。
この手法はcifar-10による画像分類ベンチマークの最先端結果を大幅に改善する。
論文 参考訳(メタデータ) (2021-03-30T09:33:38Z) - TrackMPNN: A Message Passing Graph Neural Architecture for Multi-Object
Tracking [8.791710193028903]
本研究は,グラフに基づくデータ構造を用いて問題をモデル化する多目的追跡(MOT)への多くの従来のアプローチに従う。
複数のタイムステップにまたがるデータ関連問題を表す動的無方向性グラフに基づくフレームワークを作成する。
また、メモリ効率が高く、リアルタイムなオンラインアルゴリズムを作成するために対処する必要がある計算問題に対するソリューションと提案も提供します。
論文 参考訳(メタデータ) (2021-01-11T21:52:25Z) - Auto-Ensemble: An Adaptive Learning Rate Scheduling based Deep Learning
Model Ensembling [11.324407834445422]
本稿では,ディープラーニングモデルのチェックポイントを収集し,それらを自動的にアンサンブルする自動アンサンブル(AE)を提案する。
この手法の利点は、一度のトレーニングで学習率をスケジューリングすることで、モデルを様々な局所最適化に収束させることである。
論文 参考訳(メタデータ) (2020-03-25T08:17:31Z) - Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。
しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。
本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
論文 参考訳(メタデータ) (2020-01-18T09:14:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。