論文の概要: AdaGrid: Adaptive Grid Search for Link Prediction Training Objective

• arxiv url: http://arxiv.org/abs/2203.16162v1
• Date: Wed, 30 Mar 2022 09:24:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 16:23:05.613123
• Title: AdaGrid: Adaptive Grid Search for Link Prediction Training Objective
• Title（参考訳）: AdaGrid: リンク予測トレーニング対象のための適応的グリッド検索
• Authors: Tim Po\v{s}tuvan, Jiaxuan You, Mohammadreza Banaei, R\'emi Lebret, Jure Leskovec
• Abstract要約: トレーニングの目的は、モデルの性能と一般化能力に決定的に影響を及ぼす。 本稿では,訓練中にエッジメッセージの比率を動的に調整する適応グリッド探索(AdaGrid)を提案する。 AdaGridは、完全検索の9倍の時間効率を保ちながら、モデルの性能を1.9%まで向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 58.79804082133998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the most important factors that contribute to the success of a machine learning model is a good training objective. Training objective crucially influences the model's performance and generalization capabilities. This paper specifically focuses on graph neural network training objective for link prediction, which has not been explored in the existing literature. Here, the training objective includes, among others, a negative sampling strategy, and various hyperparameters, such as edge message ratio which controls how training edges are used. Commonly, these hyperparameters are fine-tuned by complete grid search, which is very time-consuming and model-dependent. To mitigate these limitations, we propose Adaptive Grid Search (AdaGrid), which dynamically adjusts the edge message ratio during training. It is model agnostic and highly scalable with a fully customizable computational budget. Through extensive experiments, we show that AdaGrid can boost the performance of the models up to $1.9\%$ while being nine times more time-efficient than a complete search. Overall, AdaGrid represents an effective automated algorithm for designing machine learning training objectives.
• Abstract（参考訳）: 機械学習モデルの成功に寄与する最も重要な要素の1つは、優れたトレーニング目標である。 トレーニングの目的は、モデルの性能と一般化能力に決定的に影響を及ぼす。 本稿では,既存の文献では研究されていないリンク予測のためのグラフニューラルネットワークの学習目標に注目した。 ここでは、トレーニング対象には、ネガティブサンプリング戦略や、トレーニングエッジの使用方法を制御するエッジメッセージ比など、さまざまなハイパーパラメータが含まれる。 一般的に、これらのハイパーパラメータは完全なグリッドサーチによって微調整される。 これらの制限を緩和するために、トレーニング中にエッジメッセージ比を動的に調整するAdaptive Grid Search (AdaGrid)を提案する。 モデルに依存しず、完全にカスタマイズ可能な計算予算で高度にスケーラブルである。 広範な実験を通じて、adagridはモデルの性能を最大1.9\%まで向上させ、完全な検索よりも9倍の時間効率が得られることを示した。 全体として、adagridは機械学習のトレーニング目標を設計するための効果的な自動化アルゴリズムである。

関連論文リスト

• Learning the Regularization Strength for Deep Fine-Tuning via a Data-Emphasized Variational Objective [4.453137996095194]
  グリッド検索は計算コストが高く、検証セットを彫り出す必要があり、実践者は候補値を指定する必要がある。 提案手法はグリッド探索の3つの欠点をすべて克服する。 いくつかのデータセットにおける画像分類タスクの有効性を実証し,既存の手法に匹敵するホールドアウト精度を得た。
  論文  参考訳（メタデータ） (2024-10-25T16:32:11Z)
• Controllable Unlearning for Image-to-Image Generative Models via $\varepsilon$-Constrained Optimization [12.627103884294476]
  画像合成モデル(I2I)における機械学習問題について検討する。 従来の研究は主に、単独のソリューションを提供する単一目的最適化問題として扱われていた。 本稿では、制御係数$varepsilon$を用いてトレードオフを制御する制御可能なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-03T07:04:55Z)
• GraphFM: A Comprehensive Benchmark for Graph Foundation Model [33.157367455390144]
  ファンデーション・モデル(FM)は、人工知能システムの開発のための一般的なクラスである。 FMの基礎として自己教師型学習の研究が盛んに行われたが、いくつかの顕著な問題が続いている。 下流タスクにおける一般化能力の程度は未だ不明である。 これらのモデルが大規模なデータセットにどの程度効果的にスケールできるかは不明だ。
  論文  参考訳（メタデータ） (2024-06-12T15:10:44Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints [81.46143788046892]
  スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。 スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。 本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
  論文  参考訳（メタデータ） (2022-08-08T21:24:20Z)
• Hybrid quantum ResNet for car classification and its hyperparameter optimization [0.0]
  本稿では,量子インスパイアされたハイパーパラメータ最適化手法と,教師あり学習のためのハイブリッド量子古典機械学習モデルを提案する。 カーイメージ分類タスクにおいて,我々のアプローチを検証し,ハイブリッド量子ResNetモデルのフルスケール実装を実演する。 分類精度0.97は18イテレーションの後にハイブリッドモデルにより得られたが、古典モデルは75イテレーションの後に0.92の精度を達成した。
  論文  参考訳（メタデータ） (2022-05-10T13:25:36Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption [69.76837484008033]
  ディープラーニングの未解決の問題は、ニューラルネットワークがテスト時間中のドメインシフトに対処する能力である。 メタラーニング、自己監督、テストタイムトレーニングを組み合わせて、目に見えないテスト分布に適応する方法を学びます。 この手法はcifar-10による画像分類ベンチマークの最先端結果を大幅に改善する。
  論文  参考訳（メタデータ） (2021-03-30T09:33:38Z)
• TrackMPNN: A Message Passing Graph Neural Architecture for Multi-Object Tracking [8.791710193028903]
  本研究は,グラフに基づくデータ構造を用いて問題をモデル化する多目的追跡(MOT)への多くの従来のアプローチに従う。 複数のタイムステップにまたがるデータ関連問題を表す動的無方向性グラフに基づくフレームワークを作成する。 また、メモリ効率が高く、リアルタイムなオンラインアルゴリズムを作成するために対処する必要がある計算問題に対するソリューションと提案も提供します。
  論文  参考訳（メタデータ） (2021-01-11T21:52:25Z)
• Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
  グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。 しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。 本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。