論文の概要: A Logical View of GNN-Style Computation and the Role of Activation Functions

• arxiv url: http://arxiv.org/abs/2512.19332v1
• Date: Mon, 22 Dec 2025 12:27:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.746901
• Title: A Logical View of GNN-Style Computation and the Role of Activation Functions
• Title（参考訳）: GNNスタイル計算の論理的考察と活性化機能の役割
• Authors: Pablo Barceló, Floris Geerts, Matthias Lanzinger, Klara Pakhomenko, Jan Van den Bussche,
• Abstract要約: 線形メッセージパッシングとアクティベーション機能によってグラフニューラルネットワーク(GNN)の計算をキャプチャする宣言型言語であるMPLangについて検討する。 有界な活性化関数について、(穏やかな条件下で)全ての連続な活性化が同じ表現力をもたらすことを示す。 また、線形層の存在下での非有界および有界な活性化の最初の分離を証明した。
• 参考スコア（独自算出の注目度）: 16.496010343629987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the numerical and Boolean expressiveness of MPLang, a declarative language that captures the computation of graph neural networks (GNNs) through linear message passing and activation functions. We begin with A-MPLang, the fragment without activation functions, and give a characterization of its expressive power in terms of walk-summed features. For bounded activation functions, we show that (under mild conditions) all eventually constant activations yield the same expressive power - numerical and Boolean - and that it subsumes previously established logics for GNNs with eventually constant activation functions but without linear layers. Finally, we prove the first expressive separation between unbounded and bounded activations in the presence of linear layers: MPLang with ReLU is strictly more powerful for numerical queries than MPLang with eventually constant activation functions, e.g., truncated ReLU. This hinges on subtle interactions between linear aggregation and eventually constant non-linearities, and it establishes that GNNs using ReLU are more expressive than those restricted to eventually constant activations and linear layers.
• Abstract（参考訳）: 線形メッセージパッシングとアクティベーション機能を通じてグラフニューラルネットワーク(GNN)の計算をキャプチャする宣言型言語であるMPLangの数値的およびブール表現性について検討する。 本稿では,アクティベーション機能を持たないフラグメントであるA-MPLangから始める。 有界活性化関数について、(穏やかな条件下では)全ての連続活性化が(数値的およびブール的)同じ表現力が得られること、そして、最終的に一定の活性化関数を持つが線形層を持たないGNNに対して、以前に確立された論理を仮定することを示す。 最後に,線形層の存在下での非有界なアクティベーションと有界なアクティベーションとの間の最初の表現的分離を証明した。 これは線形アグリゲーションと最終的に一定の非線形性の間の微妙な相互作用に依存し、ReLUを用いたGNNは最終的に一定の活性化と線形層に制限されたものよりも表現力が高いことを証明している。

関連論文リスト

• From Taylor Series to Fourier Synthesis: The Periodic Linear Unit [0.0]
  周期的非単調性を持つ学習可能な正弦波に基づくアクティベーションである周期線形ユニット(PLU)を導入する。 2つのニューロンのみによる最小限の活性化は、標準的なアクティベーションを用いた等価ネットワークでは不可能なスパイラル分類タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2025-08-02T03:26:48Z)
• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Hadamard Representations: Augmenting Hyperbolic Tangents in RL [8.647614188619315]
  活性化関数は、ディープニューラルネットワークの重要なコンポーネントの1つである。 強化学習では、連続的な微分可能なアクティベーションの性能は、分数次線形関数と比較して低下することが多い。 RLの致死性ニューロン問題はReLUに限った問題ではなく、Tanhのような連続的な分化可能なアクティベーションの場合にさらに問題を引き起こすことが示される。
  論文  参考訳（メタデータ） (2024-06-13T13:03:37Z)
• Large Deviations of Gaussian Neural Networks with ReLU activation [0.0]
  我々は、ガウス重みを持つディープニューラルネットワークと、ReLUのような最も線形に成長する活性化関数に対する大きな偏差原理を証明した。 レート関数の以前の表現を単純化し、ReLUの場合のパワーシリーズ展開を提供する。
  論文  参考訳（メタデータ） (2024-05-27T08:53:24Z)
• ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
  本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。 スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。 我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
  論文  参考訳（メタデータ） (2024-02-06T08:45:51Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
  我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。 人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
  論文  参考訳（メタデータ） (2021-02-18T14:53:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。