論文の概要: Parameter Averaging in Link Prediction
- arxiv url: http://arxiv.org/abs/2510.25361v1
- Date: Wed, 29 Oct 2025 10:32:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-30 15:50:45.397579
- Title: Parameter Averaging in Link Prediction
- Title（参考訳）: リンク予測におけるパラメータ平均化
- Authors: Rupesh Sapkota, Caglar Demir, Arnab Sharma, Axel-Cyrille Ngonga Ngomo,
- Abstract要約: 本稿では、知識グラフ埋め込み(KGE)モデルにおいて、モデルマージ、特に重み付け平均化を導入する。
トレーニングエポック以降のモデルパラメータの平均の実行は維持され、予測に使用される。
我々は,これらの2つの重み付き平均化手法をリンク予測タスクで評価し,最先端のベンチマークアンサンブル手法と比較した。
- 参考スコア（独自算出の注目度）: 7.914373583039709
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensemble methods are widely employed to improve generalization in machine learning. This has also prompted the adoption of ensemble learning for the knowledge graph embedding (KGE) models in performing link prediction. Typical approaches to this end train multiple models as part of the ensemble, and the diverse predictions are then averaged. However, this approach has some significant drawbacks. For instance, the computational overhead of training multiple models increases latency and memory overhead. In contrast, model merging approaches offer a promising alternative that does not require training multiple models. In this work, we introduce model merging, specifically weighted averaging, in KGE models. Herein, a running average of model parameters from a training epoch onward is maintained and used for predictions. To address this, we additionally propose an approach that selectively updates the running average of the ensemble model parameters only when the generalization performance improves on a validation dataset. We evaluate these two different weighted averaging approaches on link prediction tasks, comparing the state-of-the-art benchmark ensemble approach. Additionally, we evaluate the weighted averaging approach considering literal-augmented KGE models and multi-hop query answering tasks as well. The results demonstrate that the proposed weighted averaging approach consistently improves performance across diverse evaluation settings.
- Abstract（参考訳）: エンサンブル法は機械学習の一般化を改善するために広く用いられている。
これはまた、リンク予測の実行において知識グラフ埋め込み(KGE)モデルにアンサンブル学習を採用するきっかけとなった。
このエンドへの典型的なアプローチは、アンサンブルの一部として複数のモデルを訓練し、様々な予測が平均化される。
しかし、このアプローチにはいくつかの大きな欠点がある。
例えば、複数のモデルをトレーニングする際の計算オーバーヘッドは、レイテンシとメモリオーバーヘッドを増加させる。
対照的に、モデルマージアプローチは、複数のモデルをトレーニングする必要のない、有望な代替手段を提供する。
本稿では,KGEモデルにおけるモデルマージ,特に重み付き平均化について紹介する。
ここでは、トレーニングエポック以降のモデルパラメータの実行平均を維持し、予測に使用する。
さらに,一般化性能が検証データセット上で向上した場合のみ,アンサンブルモデルパラメータの実行平均を選択的に更新する手法を提案する。
我々は,これらの2つの重み付き平均化手法をリンク予測タスクで評価し,最先端のベンチマークアンサンブル手法と比較した。
さらに,リテラル拡張KGEモデルとマルチホップクエリ応答タスクを考慮した重み付き平均化手法の評価を行った。
その結果,提案手法の重み付き平均化手法は多種多様な評価設定における性能を継続的に向上することを示した。
関連論文リスト
- NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。
パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。
NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
論文 参考訳（メタデータ） (2025-05-22T02:46:08Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳（メタデータ） (2025-05-21T07:16:44Z) - Non-Uniform Parameter-Wise Model Merging [17.989809995141044]
我々は新しいアプローチであるNon-uniformを導入する。
賢いモデルマージ(英: wise Model Merging、NP Merge)は、各モデルのコントリビューションを学習することでモデルをマージする手法である。
勾配ベースの最適化を使った最終モデルへのパラメータ。
提案手法の有効性を実証的に実証し, 過去の手法よりも優れていた各種アーキテクチャのモデルを複数設定でマージする手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-12-20T00:05:14Z) - WASH: Train your Ensemble with Communication-Efficient Weight Shuffling, then Average [21.029085451757368]
ウェイト平均化手法は、アンサンブルの一般化と単一モデルの推論速度のバランスをとることを目的としている。
WASHは,最新の画像分類精度を実現するために,平均化のためのモデルアンサンブルを学習するための新しい分散手法である。
論文 参考訳（メタデータ） (2024-05-27T09:02:57Z) - Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳（メタデータ） (2023-11-10T08:50:28Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。
本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。
損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
論文 参考訳（メタデータ） (2022-05-22T16:37:53Z) - Conceptually Diverse Base Model Selection for Meta-Learners in Concept
Drifting Data Streams [3.0938904602244355]
本稿では,基礎となる部分空間間の主アングル(PA)を用いて計算したベースモデルの概念的類似性を推定するための新しいアプローチを提案する。
オンライン・トランスファー・ラーニング(TL)の文脈における共通アンサンブル・プルーニング・メトリクス、すなわち予測性能と相互情報(MI)を用いた閾値付けに対するこれらの手法の評価を行った。
その結果、概念的類似度閾値は計算オーバーヘッドを低減し、予測性能とMIを用いて閾値に匹敵する予測性能が得られることがわかった。
論文 参考訳（メタデータ） (2021-11-29T13:18:53Z) - Merging Models with Fisher-Weighted Averaging [24.698591753644077]
我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。
提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。
マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
論文 参考訳（メタデータ） (2021-11-18T17:59:35Z) - Optimal Model Averaging: Towards Personalized Collaborative Learning [0.0]
連合学習では、参加ノード間のデータや目的の違いが、各ノードに対してパーソナライズされた機械学習モデルをトレーニングするためのアプローチを動機付けている。
そのようなアプローチの1つは、局所的に訓練されたモデルとグローバルモデルの間の重み付き平均化である。
局所モデルと比較して予測される2乗誤差を減少させるモデル平均化の正の量が常に存在することがわかった。
論文 参考訳（メタデータ） (2021-10-25T13:33:20Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。