論文の概要: Assessing the Effects of Hyperparameters on Knowledge Graph Embedding
Quality
- arxiv url: http://arxiv.org/abs/2207.00473v1
- Date: Fri, 1 Jul 2022 14:53:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-04 12:59:18.542454
- Title: Assessing the Effects of Hyperparameters on Knowledge Graph Embedding
Quality
- Title（参考訳）: ハイパーパラメータが知識グラフの埋め込み品質に及ぼす影響の評価
- Authors: Oliver Lloyd, Yi Liu, Tom Gaunt
- Abstract要約: 我々は,異なるハイパーパラメータのチューニングが埋め込み品質のばらつきに与える影響を評価するために,ソボ感度解析を実行する。
これは、異なるハイパーパラメータによって生成された埋め込みの質を計測するたびに、数千の埋め込み試行を実行することで達成された。
UMLS知識グラフには,逆関係によるデータ漏洩を引き起こす可能性のあるいくつかの関係を識別し,そのグラフの漏洩・損なわれた変種であるUMLS-43を導出・提示する。
- 参考スコア（独自算出の注目度）: 2.5543596355145093
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embedding knowledge graphs into low-dimensional spaces is a popular method
for applying approaches, such as link prediction or node classification, to
these databases. This embedding process is very costly in terms of both
computational time and space. Part of the reason for this is the optimisation
of hyperparameters, which involves repeatedly sampling, by random, guided, or
brute-force selection, from a large hyperparameter space and testing the
resulting embeddings for their quality. However, not all hyperparameters in
this search space will be equally important. In fact, with prior knowledge of
the relative importance of the hyperparameters, some could be eliminated from
the search altogether without significantly impacting the overall quality of
the outputted embeddings. To this end, we ran a Sobol sensitivity analysis to
evaluate the effects of tuning different hyperparameters on the variance of
embedding quality. This was achieved by performing thousands of embedding
trials, each time measuring the quality of embeddings produced by different
hyperparameter configurations. We regressed the embedding quality on those
hyperparameter configurations, using this model to generate Sobol sensitivity
indices for each of the hyperparameters. By evaluating the correlation between
Sobol indices, we find substantial variability in the hyperparameter
sensitivities between knowledge graphs with differing dataset characteristics
as the probable cause of these inconsistencies. As an additional contribution
of this work we identify several relations in the UMLS knowledge graph that may
cause data leakage via inverse relations, and derive and present UMLS-43, a
leakage-robust variant of that graph.
- Abstract（参考訳）: 知識グラフを低次元空間に埋め込むことは、これらのデータベースにリンク予測やノード分類のようなアプローチを適用する一般的な方法である。
この埋め込みプロセスは計算時間と空間の両方において非常にコストがかかる。
この理由の1つはハイパーパラメータの最適化であり、これは大きなハイパーパラメータ空間からランダム、ガイド、またはブルートフォースの選択を繰り返しサンプリングし、その結果の埋め込みを品質のためにテストするものである。
しかし、この探索空間のすべてのハイパーパラメータが等しく重要であるわけではない。
実際、ハイパーパラメータの相対的重要性に関する事前の知識により、出力された埋め込みの全体的な品質に大きな影響を与えることなく、探索から完全に排除することができる。
そこで我々は,様々なハイパーパラメータのチューニングが組込み品質のばらつきに及ぼす影響を評価するため,sobol感度解析を行った。
これは、異なるハイパーパラメータ構成によって生成された埋め込みの質を測定するために、数千の埋め込み試験を実行することで達成された。
このモデルを用いて,各ハイパーパラメータに対するソボ感度指標を生成することにより,これらのハイパーパラメータ構成への埋め込み品質を低下させた。
sobol指標間の相関性を評価することにより,これらの不一致の原因として,異なるデータセット特性を持つ知識グラフ間のハイパーパラメータ感性に有意な変動が認められた。
この研究のさらなる貢献として、逆関係によるデータ漏洩を引き起こす可能性のあるUMLS知識グラフ内のいくつかの関係を特定し、そのグラフの漏洩ロス不変量であるUMLS-43を導出した。
関連論文リスト
- Efficient Hyperparameter Importance Assessment for CNNs [1.7778609937758323]
本稿では,畳み込みニューラルネットワーク(CNN)におけるハイパーパラメータの重み付けを,N-RReliefFというアルゴリズムを用いて定量化する。
我々は10の人気のある画像分類データセットから1万以上のCNNモデルをトレーニングし、広範囲にわたる研究を行う。
論文 参考訳（メタデータ） (2024-10-11T15:47:46Z) - Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。
私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。
最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文 参考訳（メタデータ） (2024-07-08T12:32:51Z) - Hyperparameter Importance Analysis for Multi-Objective AutoML [14.336028105614824]
本稿では,多目的ハイパーパラメータ最適化の文脈におけるハイパーパラメータの重要性を評価するための最初の手法を提案する。
具体的には、目的のa-prioriスキャラライゼーションを計算し、異なる目的のトレードオフに対するハイパーパラメータの重要性を決定する。
本研究は,MOOタスクにおけるハイパーパラメータチューニングのための貴重なガイダンスを提供するとともに,複雑な最適化シナリオにおけるHPI理解の促進にも寄与する。
論文 参考訳（メタデータ） (2024-05-13T11:00:25Z) - Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。
4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
論文 参考訳（メタデータ） (2023-01-18T04:54:58Z) - Goal-Oriented Sensitivity Analysis of Hyperparameters in Deep Learning [0.0]
Hilbert-Schmidt Independence Criterion (HSIC) に基づく目標指向感度分析のハイパーパラメータ解析および最適化への応用について検討した。
MNISTやCifar、古典的な機械学習データセットに応用したHSICに基づく最適化アルゴリズムを導出し、科学的な機械学習に関心を持つ。
論文 参考訳（メタデータ） (2022-07-13T14:21:12Z) - Sliced gradient-enhanced Kriging for high-dimensional function
approximation [2.8228516010000617]
Gradient-enhanced Kriging (GE-Kriging)は、高価な計算モデルを近似するために確立されたサロゲートモデリング技術である。
固有相関行列のサイズのため、高次元問題に対して実用的でない傾向にある。
SGE-Kriging (Sliced GE-Kriging, SGE-Kriging) と呼ばれる新しい手法を開発し, 相関行列のサイズを小さくする。
その結果,SGE-Krigingモデルでは,標準モデルに匹敵する精度と堅牢性を特徴とするが,トレーニングコストの低減が図られた。
論文 参考訳（メタデータ） (2022-04-05T07:27:14Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳（メタデータ） (2021-06-01T19:19:49Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳（メタデータ） (2021-04-12T16:23:37Z) - VisEvol: Visual Analytics to Support Hyperparameter Search through Evolutionary Optimization [4.237343083490243]
機械学習(ML)モデルのトレーニングフェーズでは、通常、いくつかのハイパーパラメータを設定する必要がある。
本稿では、ハイパーパラメータのインタラクティブな探索と、この進化過程への介入を支援するビジュアル分析ツールVisEvolを紹介する。
VisEvolの実用性と適用性は,2つのユースケースと,ツールの有効性を評価するML専門家へのインタビューで実証された。
論文 参考訳（メタデータ） (2020-12-02T13:43:37Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。