論文の概要: Looped GNNs Beyond Fixed Depth: Graph Size Generalization and Parameter-Efficient Adaptation

• arxiv url: http://arxiv.org/abs/2610.24112v1
• Date: Fri, 16 Oct 2026 18:37:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 11:00:28.802676
• Title: Looped GNNs Beyond Fixed Depth: Graph Size Generalization and Parameter-Efficient Adaptation
• Title（参考訳）: 固定深さを超えるループ型GNN:グラフサイズ一般化とパラメータ効率の良い適応
• Abstract要約: 小さなグラフからより大きなグラフに一般化するには、トレーニング中に使用されるニューラルネットワークの深さを超える計算が必要である。 本研究は, 局所反復計算が共通であり, グラフサイズに比例して有効依存性半径が増大する対象タスクについて検討する。 このようなパラメータ共有アーキテクチャをエンループ型GNNと呼び、ループ型GNNの6つのスキームを分類し、深さ拡張、微調整、フリーズ・アンド・ステア適応の影響を分離する。
• 参考スコア（独自算出の注目度）: 12.538976257192765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalizing from small graphs to larger ones can require computation beyond the depth of a neural model used during training. We study target tasks that admit a common local iterative computation and whose effective dependency radius grows with graph size. The central idea is to learn a local update rule through GNN pretraining, then repeatedly apply the same learned processor beyond the training depth to extend information reach on larger graphs without retraining. Calling such parameter-shared architecture a \emph{looped GNN}, we categorize six schemes for looped GNNs to separate the effects of depth extension, fine-tuning, and freeze-and-steer adaptation. Our analysis establishes fixed-depth information limits and sufficient conditions under which accurate iterative reuse overcomes them. To improve beyond unadapted reuse, we introduce \emph{Loop-Freeze-Steer} (LFS), which freezes the pretrained processor and learns a small controller to steer its repeated application, using much fewer trainable parameters than full fine-tuning. Our finite-sample analysis gives sufficient conditions for adaptation to improve performance on larger graphs. Experiments on synthetic tasks and chip placement evaluate depth extension and adaptation, highlighting LFS's accuracy--trainable-parameter trade-off for size generalization.
• Abstract（参考訳）: 小さなグラフからより大きなグラフに一般化するには、トレーニング中に使用されるニューラルネットワークの深さを超える計算が必要である。 本研究は, 局所反復計算が共通であり, 有効依存性半径がグラフサイズとともに増大する対象タスクについて検討する。 中心となる考え方は、GNN事前トレーニングを通じてローカル更新ルールを学習し、学習した同じプロセッサをトレーニング深度を超えて繰り返し適用して、より大きなグラフに到達した情報を再トレーニングせずに拡張することである。 このようなパラメータ共有アーキテクチャを \emph{looped GNN} と呼び、ループ化GNNの6つのスキームを分類し、深さ拡張、微調整、凍結・ステア適応の影響を分離する。 本分析では, 正確な反復的再利用が克服されるような, 固定深度情報限界と十分な条件を確立する。 未適応の再利用を超えて改善するために、未学習のプロセッサを凍結する \emph{Loop-Freeze-Steer} (LFS)を導入する。 我々の有限サンプル解析は、より大きなグラフの性能を向上させるのに十分な条件を与える。 合成タスクとチップ配置の実験は深度拡張と適応を評価し、LFSの精度-トレーニング可能なパラメータトレードオフによるサイズ一般化を強調した。

関連論文リスト

• Statistical physics analysis of graph neural networks: Approaching optimality in the contextual stochastic block model [0.0]
  グラフニューラルネットワーク(GNN)は、グラフに関連するデータを処理するように設計されている。 GNNは、繰り返し集約ステップによって遠く離れたノードから情報を集めるのに苦労する可能性がある。 我々は,GCNのアーキテクチャが過度なスムーシングを避けるために,深さとともにスケールしなければならないことを示す。
  論文  参考訳（メタデータ） (2025-03-03T09:55:10Z)
• Exact, Tractable Gauss-Newton Optimization in Deep Reversible Architectures Reveal Poor Generalization [52.16435732772263]
  多くのアプリケーションにおいて、ディープニューラルネットワークのトレーニングを加速する2階最適化が示されている。 しかし、二階法の一般化特性についてはいまだ議論が続いている。 我々は、Gauss-Newton (GN) の正確な更新が、ディープアーキテクチャのクラスにおいて、牽引可能な形式を取ることを初めて示す。
  論文  参考訳（メタデータ） (2024-11-12T17:58:40Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。