論文の概要: Heuristic-Informed Mixture of Experts for Link Prediction in Multilayer Networks

• arxiv url: http://arxiv.org/abs/2501.17557v1
• Date: Wed, 29 Jan 2025 10:46:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:52:54.516971
• Title: Heuristic-Informed Mixture of Experts for Link Prediction in Multilayer Networks
• Title（参考訳）: 多層ネットワークにおけるリンク予測のためのヒューリスティック・インフォームド・ミックス
• Authors: Lucio La Cava, Domenico Mandaglio, Lorenzo Zangari, Andrea Tagarelli,
• Abstract要約: MoE-ML-LPはMixture-of-Expertsフレームワークとして初めて、多層リンク予測用に設計された。 リンク予測のための多層構造上に構築されたMoE-ML-LPは、様々な専門家による決定を合成し、予測能力を著しく向上させる。
• 参考スコア（独自算出の注目度）: 4.648677931378919
• License:
• Abstract: Link prediction algorithms for multilayer networks are in principle required to effectively account for the entire layered structure while capturing the unique contexts offered by each layer. However, many existing approaches excel at predicting specific links in certain layers but struggle with others, as they fail to effectively leverage the diverse information encoded across different network layers. In this paper, we present MoE-ML-LP, the first Mixture-of-Experts (MoE) framework specifically designed for multilayer link prediction. Building on top of multilayer heuristics for link prediction, MoE-ML-LP synthesizes the decisions taken by diverse experts, resulting in significantly enhanced predictive capabilities. Our extensive experimental evaluation on real-world and synthetic networks demonstrates that MoE-ML-LP consistently outperforms several baselines and competing methods, achieving remarkable improvements of +60% in Mean Reciprocal Rank, +82% in Hits@1, +55% in Hits@5, and +41% in Hits@10. Furthermore, MoE-ML-LP features a modular architecture that enables the seamless integration of newly developed experts without necessitating the re-training of the entire framework, fostering efficiency and scalability to new experts, paving the way for future advancements in link prediction.
• Abstract（参考訳）: 多層ネットワークのためのリンク予測アルゴリズムは、各層が提供するユニークなコンテキストを捕捉しながら、階層構造全体を効果的に説明する必要がある。 しかし、既存の多くのアプローチは特定のレイヤ内の特定のリンクを予測するのに優れていますが、異なるネットワーク層にまたがる多様な情報を効果的に活用できないため、他のレイヤと競合します。 本稿では,Mixture-of-Experts (MoE) フレームワークであるMoE-ML-LPについて述べる。 リンク予測のための多層ヒューリスティックの上に構築されたMoE-ML-LPは、多様な専門家による決定を合成し、予測能力を著しく向上させる。 実世界のネットワークと合成ネットワークに関する大規模な実験により、MoE-ML-LPはいくつかのベースラインと競合する手法を一貫して上回り、平均相反ランクで+60%、ヒッツ@1で+82%、ヒッツ@5で+55%、ヒッツ@10で+41%の大幅な改善が達成された。 さらに、MoE-ML-LPは、フレームワーク全体の再トレーニングを必要とせずに、新しく開発されたエキスパートのシームレスな統合を可能にし、新しいエキスパートへの効率性とスケーラビリティを向上し、リンク予測における将来の進歩の道を開くモジュールアーキテクチャを備えている。

関連論文リスト

• Boosting the Accuracy of Stock Market Prediction via Multi-Layer Hybrid MTL Structure [0.0]
  本稿では,より効率的な市場予測を実現することを目的とした,多層ハイブリッドマルチタスク学習(MTL)フレームワークを提案する。 様々な入力特徴間の複雑な対応を抽出するTransformerエンコーダ、長期的な時間的関係をキャプチャするBidirectional Gated Recurrent Unit(BiGRU)、学習プロセスを強化するためのKAN(Kolmogorov-Arnold Network)を含む。
  論文  参考訳（メタデータ） (2025-01-01T17:47:45Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• Shortcut-connected Expert Parallelism for Accelerating Mixture-of-Experts [4.629608387540524]
  並列戦略を重畳した新しいショートカット接続型MoE(ScMoE)アーキテクチャを提案する。 ScMoEは計算で70%から100%のオーバラップを可能にする。 ScMoEアーキテクチャに基づいて、メモリ制限推論を容易にする専門家のオフロード戦略をさらに実装する。
  論文  参考訳（メタデータ） (2024-04-07T17:17:23Z)
• Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free Inference [13.924924047051782]
  スパイキングニューラルネットワーク(SNN)の深部畳み込みアーキテクチャは、画像分類性能を大幅に向上し、計算負荷を低減した。 本研究は、MLP(Multi-Layer Perceptrons)の進歩からインスピレーションを得て、新しい経路を探求する。 MFIの互換性を維持するためにバッチ正規化を用いる革新的なスパイクアーキテクチャを提案する。 我々は,グローバルな受容場と局所的な特徴抽出を効果的に組み合わせた,効率的なマルチステージスパイクネットワークを構築した。
  論文  参考訳（メタデータ） (2023-06-21T16:52:20Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Predictive Coding Based Multiscale Network with Encoder-Decoder LSTM for Video Prediction [1.2537993038844142]
  将来のビデオフレーム予測のためのマルチスケール予測符号化モデルを提案する。 我々のモデルは、より高レベルなニューロンが粗い予測(より低解像度)を生成するマルチスケールアプローチ(粗から微細)を採用している。 本稿では,長期予測における予測誤差の蓄積を軽減するためのトレーニング戦略のいくつかの改善を提案する。
  論文  参考訳（メタデータ） (2022-12-22T12:15:37Z)
• Regularization is all you Need: Simple Neural Nets can Excel on Tabular Data [36.08429694433192]
  タブラルデータセットは、ディープラーニングのための最後の"未完成の城"である。 GradientBoosted Decision Treesのような従来のMLメソッドは、最近の特殊なニューラルネットワークに対してさえ、強く機能している。 13の正則化手法の最適組み合わせ/カクテルを探索し,平面多層パーセプトロン(MLP)ネットワークの正則化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T15:27:43Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。