論文の概要: Multiple Run Ensemble Learning withLow-Dimensional Knowledge Graph Embeddings

• arxiv url: http://arxiv.org/abs/2104.05003v1
• Date: Sun, 11 Apr 2021 12:26:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-14 09:37:13.570247
• Title: Multiple Run Ensemble Learning withLow-Dimensional Knowledge Graph Embeddings
• Title（参考訳）: 低次元知識グラフ埋め込みによるマルチランアンサンブル学習
• Authors: Chengjin Xu, Mojtaba Nayyeri, Sahar Vahdati, and Jens Lehmann
• Abstract要約: 知識グラフ埋め込み(KGE)モデルのためのシンプルで効果的なパフォーマンス向上戦略を提案する。 モデルのトレーニングを200の埋め込みサイズと並行して6回繰り返し、テストのために6つの別々のモデルを組み合わせています。 このアプローチにより,様々なグラフパターンをモデル化する上で,様々なモデルがよりうまく対処できることが示される。
• 参考スコア（独自算出の注目度）: 4.317340121054659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Among the top approaches of recent years, link prediction using knowledge graph embedding (KGE) models has gained significant attention for knowledge graph completion. Various embedding models have been proposed so far, among which, some recent KGE models obtain state-of-the-art performance on link prediction tasks by using embeddings with a high dimension (e.g. 1000) which accelerate the costs of training and evaluation considering the large scale of KGs. In this paper, we propose a simple but effective performance boosting strategy for KGE models by using multiple low dimensions in different repetition rounds of the same model. For example, instead of training a model one time with a large embedding size of 1200, we repeat the training of the model 6 times in parallel with an embedding size of 200 and then combine the 6 separate models for testing while the overall numbers of adjustable parameters are same (6*200=1200) and the total memory footprint remains the same. We show that our approach enables different models to better cope with their expressiveness issues on modeling various graph patterns such as symmetric, 1-n, n-1 and n-n. In order to justify our findings, we conduct experiments on various KGE models. Experimental results on standard benchmark datasets, namely FB15K, FB15K-237 and WN18RR, show that multiple low-dimensional models of the same kind outperform the corresponding single high-dimensional models on link prediction in a certain range and have advantages in training efficiency by using parallel training while the overall numbers of adjustable parameters are same.
• Abstract（参考訳）: 近年,知識グラフ埋め込み(KGE)モデルを用いたリンク予測は,知識グラフの完成に大きく注目されている。 これまでに様々な埋め込みモデルが提案されており、その中でも最近のKGEモデルは高次元の埋め込みを用いてリンク予測タスクの最先端性能を得る。 1000) 大規模なKGを考慮し, 訓練・評価のコストを増大させる。 本稿では,同じモデルの異なる繰り返しラウンドにおいて,複数の低次元を用いて,KGEモデルの簡易かつ効果的な性能向上戦略を提案する。 例えば、1200という大きな埋め込みサイズで1回モデルをトレーニングするのではなく、200の埋め込みサイズと並行して6回モデルのトレーニングを繰り返し、調整可能なパラメータの合計数が同じ(6*200=1200)でテストのために6つの別々のモデルを組み合わせて、メモリフットプリント全体が同じです。 提案手法は, 対称, 1-n, n-1, n-n などのグラフパターンをモデル化する際の表現性問題に, 異なるモデルでよりうまく対処できることを示す。 得られた知見を正当化するため,様々なKGEモデルを用いて実験を行った。 標準ベンチマークデータセットであるFB15K,FB15K-237,WN18RRの実験結果は,同一種の複数の低次元モデルが,リンク予測における対応する単一高次元モデルを一定の範囲で上回り,調整可能なパラメータの総数は同じでありながら,並列トレーニングを用いてトレーニング効率を向上することを示した。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• A Hitchhiker's Guide to Scaling Law Estimation [56.06982415792523]
  スケーリング法則は、より少ないパラメータやより少ないトレーニングセットで訓練が容易なモデルから外挿することで、ターゲットとなる機械学習モデルの損失を予測する。 我々は1000以上のスケーリング法則を推定し、新しいモデルファミリーにおけるスケーリング法則を推定するためのベストプラクティスを導出する。
  論文  参考訳（メタデータ） (2024-10-15T17:59:10Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• A Lightweight Measure of Classification Difficulty from Application Dataset Characteristics [4.220363193932374]
  効率的なコサイン類似度に基づく分類困難度尺度Sを提案する。 データセットのクラス数とクラス内およびクラス間の類似度メトリクスから計算される。 この手法を実践者が、繰り返しトレーニングやテストによって、6倍から29倍の速度で効率の良いモデルを選択するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-04-09T03:27:09Z)
• PaCKD: Pattern-Clustered Knowledge Distillation for Compressing Memory Access Prediction Models [2.404163279345609]
  PaCKDはMAPモデルを圧縮するためのパターンクラスタ化知識蒸留手法である。 PaCKDは、標準的な知識蒸留で訓練された学生モデルよりも8.70%高い結果を得る。
  論文  参考訳（メタデータ） (2024-02-21T00:24:34Z)
• Meta-Ensemble Parameter Learning [35.6391802164328]
  本稿では,メタラーニング手法を用いて,単一モデルのパラメータを直接予測できるかどうかを考察する。 WeightFormerは、トランスフォーマーベースのモデルで、フォワードパスの層で生徒のネットワーク重みを予測できる。
  論文  参考訳（メタデータ） (2022-10-05T00:47:24Z)
• Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time [69.7693300927423]
  複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。 モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
  論文  参考訳（メタデータ） (2022-03-10T17:03:49Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
  アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。 これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
  論文  参考訳（メタデータ） (2020-05-01T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。