論文の概要: Start Small, Think Big: On Hyperparameter Optimization for Large-Scale Knowledge Graph Embeddings

• arxiv url: http://arxiv.org/abs/2207.04979v1
• Date: Mon, 11 Jul 2022 16:07:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 16:48:42.050491
• Title: Start Small, Think Big: On Hyperparameter Optimization for Large-Scale Knowledge Graph Embeddings
• Title（参考訳）: 大規模知識グラフ埋め込みのためのハイパーパラメータ最適化について
• Authors: Adrian Kochsiek, Fritz Niesel, Rainer Gemulla
• Abstract要約: 本稿では,大規模知識グラフのための多要素HPOアルゴリズムを提案する。 GraSHは、大規模グラフの最先端の結果を低コストで得る。
• 参考スコア（独自算出の注目度）: 4.3400407844815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge graph embedding (KGE) models are an effective and popular approach to represent and reason with multi-relational data. Prior studies have shown that KGE models are sensitive to hyperparameter settings, however, and that suitable choices are dataset-dependent. In this paper, we explore hyperparameter optimization (HPO) for very large knowledge graphs, where the cost of evaluating individual hyperparameter configurations is excessive. Prior studies often avoided this cost by using various heuristics; e.g., by training on a subgraph or by using fewer epochs. We systematically discuss and evaluate the quality and cost savings of such heuristics and other low-cost approximation techniques. Based on our findings, we introduce GraSH, an efficient multi-fidelity HPO algorithm for large-scale KGEs that combines both graph and epoch reduction techniques and runs in multiple rounds of increasing fidelities. We conducted an experimental study and found that GraSH obtains state-of-the-art results on large graphs at a low cost (three complete training runs in total).
• Abstract（参考訳）: 知識グラフ埋め込み(KGE)モデルは、マルチリレーショナルデータを用いて表現し、推論するための効果的で一般的なアプローチである。 以前の研究では、KGEモデルはハイパーパラメータ設定に敏感であり、適切な選択はデータセットに依存していることが示されている。 本稿では,超大規模知識グラフに対するハイパーパラメータ最適化(hpo)について検討する。 先行研究では、様々なヒューリスティック(例えば、サブグラフのトレーニングやエポックの少ない使用など)を用いることで、このコストを回避することが多かった。 我々は,そのようなヒューリスティックスやその他の低コスト近似手法の品質とコスト削減について,体系的に議論し,評価する。 この結果に基づき,グラフとエポックの削減技術を組み合わせた大規模KGEのための多値HPOアルゴリズムであるGraSHを導入する。 実験により,GraSHは大規模グラフの最先端の成果を低コストで得られることがわかった(総計3回の完全トレーニング)。

関連論文リスト

• Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
  大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。 重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
  論文  参考訳（メタデータ） (2023-09-15T16:29:27Z)
• A Generalized EigenGame with Extensions to Multiview Representation Learning [0.28647133890966997]
  一般化固有値問題(GEPs)は、様々な興味深い次元減少法を含んでいる。 我々は、ラグランジュ乗算器によって全ての制約がソフトに強制されるGEPの解法を開発する。 線形の場合、我々のアプローチは、以前のヘビアンとゲーム理論のアプローチの理論的根拠の多くを共有していることを示す。 標準マルチビューデータセットの設定におけるGEPの解法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-21T10:11:13Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• A Graph-Enhanced Click Model for Web Search [67.27218481132185]
  ウェブ検索のための新しいグラフ強調クリックモデル(GraphCM)を提案する。 セッション内情報とセッション間情報の両方を、スパーシリティ問題とコールドスタート問題に活用する。
  論文  参考訳（メタデータ） (2022-06-17T08:32:43Z)
• KGTuner: Efficient Hyper-parameter Search for Knowledge Graph Learning [36.97957745114711]
  高速な2段階探索アルゴリズムを提案し、小さな部分グラフ上でHPの構成を効率的に探索する。 実験により,本手法は,標準アルゴリズムよりも常に優れたHPを同時に見つけることができることがわかった。
  論文  参考訳（メタデータ） (2022-05-05T06:09:14Z)
• Sliced gradient-enhanced Kriging for high-dimensional function approximation [2.8228516010000617]
  Gradient-enhanced Kriging (GE-Kriging)は、高価な計算モデルを近似するために確立されたサロゲートモデリング技術である。 固有相関行列のサイズのため、高次元問題に対して実用的でない傾向にある。 SGE-Kriging (Sliced GE-Kriging, SGE-Kriging) と呼ばれる新しい手法を開発し, 相関行列のサイズを小さくする。 その結果,SGE-Krigingモデルでは,標準モデルに匹敵する精度と堅牢性を特徴とするが,トレーニングコストの低減が図られた。
  論文  参考訳（メタデータ） (2022-04-05T07:27:14Z)
• Gaussian Graphical Model Selection for Huge Data via Minipatch Learning [1.2891210250935146]
  グラフィカルモデル選択の問題を解決するために,MPGraph (Minipatch Graph) 推定器を提案する。 MPGraphは、観測とノードの両方の小さなランダムなサブセットに適合する閾値グラフ推定器の一般化である。 本アルゴリズムは有限サンプルグラフ選択の整合性を実現する。
  論文  参考訳（メタデータ） (2021-10-22T21:06:48Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• Highly Efficient Knowledge Graph Embedding Learning with Orthogonal Procrustes Analysis [10.154836127889487]
  知識グラフ埋め込み(KGE)は、幅広いアプリケーションへの約束のために、近年集中的に研究されています。 本稿では, トレーニング時間と炭素フットプリントを桁違いに削減できる簡易かつ効果的なKGEフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-10T03:55:45Z)
• Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
  グラフ組み込み数ショット学習に関する包括的な研究を紹介します。 本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。 提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-02-14T05:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。