論文の概要: Adaptive Graph Mixture of Residual Experts: Unsupervised Learning on Diverse Graphs with Heterogeneous Specialization

• arxiv url: http://arxiv.org/abs/2510.21207v1
• Date: Fri, 24 Oct 2025 07:18:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 06:57:23.391437
• Title: Adaptive Graph Mixture of Residual Experts: Unsupervised Learning on Diverse Graphs with Heterogeneous Specialization
• Title（参考訳）: 残留専門家の適応グラフ混合:不均一な特殊化を伴う多元グラフの教師なし学習
• Authors: Yunlong Chu, Minglai Shao, Zengyi Wo, Bing Hao, Yuhang Liu, Ruijie Wang, Jianxin Li,
• Abstract要約: 我々は、グラフ上の不均一なMoEの堅牢で完全に教師なしのトレーニングを可能にする、原則化されたフレームワークであるADaMoREを紹介する。 構造認識型ゲーティングネットワークは、きめ細かいノードルーティングを実行する。 私たちの設計はデータ効率とトレーニングの安定性を改善します。
• 参考スコア（独自算出の注目度）: 17.89950704690598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) face a fundamental adaptability challenge: their fixed message-passing architectures struggle with the immense diversity of real-world graphs, where optimal computational strategies vary by local structure and task. While Mixture-of-Experts (MoE) offers a promising pathway to adaptability, existing graph MoE methods remain constrained by their reliance on supervised signals and instability when training heterogeneous experts. We introduce ADaMoRE (Adaptive Mixture of Residual Experts), a principled framework that enables robust, fully unsupervised training of heterogeneous MoE on graphs. ADaMoRE employs a backbone-residual expert architecture where foundational encoders provide stability while specialized residual experts capture diverse computational patterns. A structurally-aware gating network performs fine-grained node routing. The entire architecture is trained end-to-end using a unified unsupervised objective, which integrates a primary reconstruction task with an information-theoretic diversity regularizer to explicitly enforce functional specialization among the experts. Theoretical analysis confirms our design improves data efficiency and training stability. Extensive evaluation across 16 benchmarks validates ADaMoRE's state-of-the-art performance in unsupervised node classification and few-shot learning, alongside superior generalization, training efficiency, and faster convergence on diverse graphs and tasks.
• Abstract（参考訳）: 固定メッセージパスアーキテクチャは、局所構造とタスクによって最適な計算戦略が変化する現実世界のグラフの膨大な多様性に苦しむ。 Mixture-of-Experts (MoE)は、適応性への有望な経路を提供するが、既存のグラフMoEメソッドは、異種の専門家を訓練する際の教師付き信号と不安定性に依存しているため、制約を受け続けている。 ADaMoRE(Adaptive Mixture of Residual Experts)は、グラフ上の不均一なMoEの堅牢で完全に教師なしのトレーニングを可能にする、原則付きフレームワークである。 ADaMoREはバックボーン・残留の専門家アーキテクチャを採用し、基礎エンコーダは安定性を提供し、専門的な残留専門家は多様な計算パターンをキャプチャする。 構造認識型ゲーティングネットワークは、きめ細かいノードルーティングを実行する。 アーキテクチャ全体は、一元的再構成タスクと情報理論的多様性正規化器を統合して、専門家間の機能的特殊化を明示的に実施する、統一された教師なしの目的を用いて、エンドツーエンドに訓練される。 理論的解析により、我々の設計はデータ効率とトレーニング安定性を改善した。 16ベンチマークにわたる広範囲な評価は、教師なしノード分類と数ショット学習におけるADaMoREの最先端性能と、優れた一般化、トレーニング効率、多様なグラフやタスクへのより高速な収束性を検証している。

関連論文リスト

• Training Diverse Graph Experts for Ensembles: A Systematic Empirical Study [15.65200571307458]
  本研究は,GNNアンサンブルのためのエキスパートレベルの多様化技術に関する最初の系統的研究である。 14のノード分類ベンチマークで20の多様化戦略を評価した。 総合評価では,各手法を専門家の多様性,相補性,アンサンブル性能の観点から検討した。
  論文  参考訳（メタデータ） (2025-10-21T07:40:51Z)
• Guided by the Experts: Provable Feature Learning Dynamic of Soft-Routed Mixture-of-Experts [11.437368205968573]
  本稿では,非線形ルータと専門家によるソフトローイング型MoEモデルの連成訓練のための収束保証を提供することにより,MoE理論を推し進める。 訓練後プルーニングは、効果的に冗長ニューロンを除去し、続いて、大域的最適性に到達した、確実に収束した微調整プロセスを示す。
  論文  参考訳（メタデータ） (2025-10-08T16:40:31Z)
• Graph Foundation Models: Bridging Language Model Paradigms and Graph Optimization [4.502753947356616]
  グラフ構造上の全ての距離に基づく最適化問題を解くことができる最初のフレームワークであるグラフ基礎モデル(GFM)を紹介する。 GFMはグラフの複雑なトポロジカルおよびニューラルルールを内部化し、構造自体の接続を監督信号として扱うことができる。 本研究は, グラフ最適化にプリトレイン・トランスファー・フレームワークを適用する新たなパラダイムを確立し, 基礎モデル革新をオペレーション・リサーチに適用するための扉を開く。
  論文  参考訳（メタデータ） (2025-09-29T04:05:48Z)
• SynthGenNet: a self-supervised approach for test-time generalization using synthetic multi-source domain mixing of street view images [8.23277995673829]
  テスト時間領域の堅牢な一般化を実現するための自己教師型学生-教員アーキテクチャであるSynthGenNetを紹介する。 私たちのコントリビューションには、さまざまな合成ソースからラベル付きデータをブレンドする新しいClassMix++アルゴリズムが含まれています。 実世界のデータセット上で50%の平均区間-Over-Union(mIoU)値を達成することにより、私たちのモデルは最先端(単一ソースで参照)よりも優れています。
  論文  参考訳（メタデータ） (2025-09-02T13:08:03Z)
• Graph Structure Refinement with Energy-based Contrastive Learning [56.957793274727514]
  グラフの構造と表現を学習するための生成訓練と識別訓練のジョイントに基づく教師なし手法を提案する。 本稿では,ECL-GSR(Energy-based Contrastive Learning)によるグラフ構造再構成(GSR)フレームワークを提案する。 ECL-GSRは、主要なベースラインに対するサンプルやメモリの少ない高速なトレーニングを実現し、下流タスクの単純さと効率性を強調している。
  論文  参考訳（メタデータ） (2024-12-20T04:05:09Z)
• Matcha: Mitigating Graph Structure Shifts with Test-Time Adaptation [66.40525136929398]
  テスト時間適応(TTA)は、ソースドメインに再アクセスすることなく、トレーニング済みのモデルをターゲットドメインに適応できる能力によって注目を集めている。 グラフの構造シフトへの効果的かつ効率的な適応を目的とした,革新的なフレームワークであるMatchaを提案する。 合成と実世界の両方のデータセットに対するMatchaの有効性を検証し、構造と属性シフトの様々な組み合わせにおける頑健さを実証した。
  論文  参考訳（メタデータ） (2024-10-09T15:15:40Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• An Optimization-Based Meta-Learning Model for MRI Reconstruction with Diverse Dataset [4.9259403018534496]
  メタラーニングフレームワークを用いた一般化可能なMRI再構成モデルを構築した。 提案するネットワークは,学習者適応モデルを用いて正規化関数を学習する。 メタトレーニング後および半減期における未確認課題の即時訓練の結果を検証した。
  論文  参考訳（メタデータ） (2021-10-02T03:21:52Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。