論文の概要: KGTuner: Efficient Hyper-parameter Search for Knowledge Graph Learning

• arxiv url: http://arxiv.org/abs/2205.02460v1
• Date: Thu, 5 May 2022 06:09:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-06 15:20:43.671479
• Title: KGTuner: Efficient Hyper-parameter Search for Knowledge Graph Learning
• Title（参考訳）: KGTuner:知識グラフ学習のための効率的なハイパーパラメータ探索
• Authors: Yongqi Zhang and Zhanke Zhou and Quanming Yao and Yong Li
• Abstract要約: 高速な2段階探索アルゴリズムを提案し、小さな部分グラフ上でHPの構成を効率的に探索する。 実験により,本手法は,標準アルゴリズムよりも常に優れたHPを同時に見つけることができることがわかった。
• 参考スコア（独自算出の注目度）: 36.97957745114711
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While hyper-parameters (HPs) are important for knowledge graph (KG) learning, existing methods fail to search them efficiently. To solve this problem, we first analyze the properties of different HPs and measure the transfer ability from small subgraph to the full graph. Based on the analysis, we propose an efficient two-stage search algorithm KGTuner, which efficiently explores HP configurations on small subgraph at the first stage and transfers the top-performed configurations for fine-tuning on the large full graph at the second stage. Experiments show that our method can consistently find better HPs than the baseline algorithms within the same time budget, which achieves {9.1\%} average relative improvement for four embedding models on the large-scale KGs in open graph benchmark.
• Abstract（参考訳）: 超パラメータ(HP)は知識グラフ(KG)学習において重要であるが、既存の手法では効率的に探索できない。 この問題を解決するために,まず異なるhpの特性を解析し,小部分グラフから全グラフへの転送能力を測定する。 そこで本研究では,二段階探索アルゴリズムkgtunerを提案する。これは,小サブグラフ上のhp構成を第1段で効率的に探索し,第2段の大規模フルグラフを微調整するための最上位構成を転送する。 実験の結果, オープングラフベンチマークにおいて, 大規模KG上での4つの埋め込みモデルの平均相対的改善値である {9.1\%} が得られる。

関連論文リスト

• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Less is More: One-shot Subgraph Reasoning on Large-scale Knowledge Graphs [49.547988001231424]
  効率的かつ適応的な予測を実現するために,ワンショットサブグラフリンク予測を提案する。 設計原理は、KG全体に直接作用する代わりに、予測手順を2つのステップに分離する。 5つの大規模ベンチマークにおいて,効率の向上と性能の向上を実現している。
  論文  参考訳（メタデータ） (2024-03-15T12:00:12Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Efficiently Learning the Graph for Semi-supervised Learning [4.518012967046983]
  共役勾配法を用いてスパース族から最良のグラフを効率的に学習する方法を示す。 我々の手法は、軽度な滑らかさの仮定の下で、オンラインのサブ線形後悔でグラフを効率的に学習するためにも利用できる。 提案手法を実装し,ベンチマークデータセット上の学習グラフを用いた半教師付き学習の先行研究に対して,大幅な(sim$10-100x)スピードアップを示す。
  論文  参考訳（メタデータ） (2023-06-12T13:22:06Z)
• Behavior of Hyper-Parameters for Selected Machine Learning Algorithms: An Empirical Investigation [3.441021278275805]
  ハイパーパラメータ(HP)は機械学習(ML)モデル開発において重要な部分であり、性能に大きな影響を与える可能性がある。 本稿では,3つのアルゴリズム(XGB),ランダムフォレスト(RF),フィードフォワードニューラルネットワーク(FFNN))の振る舞いを構造化データを用いて検討する。 実験により,HPの変動に伴うモデル性能の質的挙動を検証し,各HPのMLアルゴリズムの重要性を定量化し,最適領域に近い性能の安定性を検証した。
  論文  参考訳（メタデータ） (2022-11-15T22:14:52Z)
• Start Small, Think Big: On Hyperparameter Optimization for Large-Scale Knowledge Graph Embeddings [4.3400407844815]
  本稿では,大規模知識グラフのための多要素HPOアルゴリズムを提案する。 GraSHは、大規模グラフの最先端の結果を低コストで得る。
  論文  参考訳（メタデータ） (2022-07-11T16:07:16Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)
• Genealogical Population-Based Training for Hyperparameter Optimization [1.0514231683620516]
  本研究では,計算コストの2倍から3倍に削減できることを実験的に実証した。 本手法は探索アルゴリズムであり,内部探索ルーチンをTPE,GP,CMA,ランダム探索などの任意の探索アルゴリズムにすることができる。
  論文  参考訳（メタデータ） (2021-09-30T08:49:41Z)
• A Note on Graph-Based Nearest Neighbor Search [4.38837720322254]
  高いクラスタリング係数は、グラフの最大強連結成分 (scc) に、q の k に近い近傍の大半を配置することを示している。 グラフに基づく探索アルゴリズムは,任意の地点を訪れると最大 SCC を横切ることが保証されている。
  論文  参考訳（メタデータ） (2020-12-21T02:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。