論文の概要: Actionable Interpretability via Causal Hypergraphs: Unravelling Batch Size Effects in Deep Learning

• arxiv url: http://arxiv.org/abs/2506.17826v1
• Date: Sat, 21 Jun 2025 21:38:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.603299
• Title: Actionable Interpretability via Causal Hypergraphs: Unravelling Batch Size Effects in Deep Learning
• Title（参考訳）: 因果ハイパーグラフによる動作可能な解釈可能性:ディープラーニングにおけるバッチサイズ効果の解明
• Authors: Zhongtian Sun, Anoushka Harit, Pietro Lio,
• Abstract要約: ハイパーグラフベースの因果関係フレームワークであるHGCNetを導入し,バッチサイズが勾配雑音,ミニマシャープネス,モデル複雑性といった一般化にどのように影響するかを明らかにする。 do-calculusを用いて、バッチサイズの介入による直接的および媒介的効果を定量化し、最適化に関する解釈的、因果的な洞察を提供する。
• 参考スコア（独自算出の注目度）: 6.583734409076539
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While the impact of batch size on generalisation is well studied in vision tasks, its causal mechanisms remain underexplored in graph and text domains. We introduce a hypergraph-based causal framework, HGCNet, that leverages deep structural causal models (DSCMs) to uncover how batch size influences generalisation via gradient noise, minima sharpness, and model complexity. Unlike prior approaches based on static pairwise dependencies, HGCNet employs hypergraphs to capture higher-order interactions across training dynamics. Using do-calculus, we quantify direct and mediated effects of batch size interventions, providing interpretable, causally grounded insights into optimisation. Experiments on citation networks, biomedical text, and e-commerce reviews show that HGCNet outperforms strong baselines including GCN, GAT, PI-GNN, BERT, and RoBERTa. Our analysis reveals that smaller batch sizes causally enhance generalisation through increased stochasticity and flatter minima, offering actionable interpretability to guide training strategies in deep learning. This work positions interpretability as a driver of principled architectural and optimisation choices beyond post hoc analysis.
• Abstract（参考訳）: バッチサイズが一般化に与える影響は視覚タスクではよく研究されているが、その因果メカニズムはグラフやテキストドメインでは未解明のままである。 本稿では,階層構造因果モデル (DSCM) を利用したハイパーグラフベースの因果的フレームワーク HGCNet を導入し,バッチサイズが勾配雑音,ミニマシャープネス,モデル複雑性といった一般化にどのように影響するかを明らかにする。 静的なペアワイズ依存関係に基づく従来のアプローチとは異なり、HGCNetはハイパーグラフを使用して、トレーニングダイナミクス間の高階インタラクションをキャプチャする。 do-calculusを用いて、バッチサイズの介入による直接的および媒介的効果を定量化し、最適化に関する解釈的、因果的な洞察を提供する。 HGCNetはGCN、GAT、PI-GNN、BERT、RoBERTaなどの強力なベースラインよりも優れている。 分析の結果,より小さなバッチサイズは,確率性や平らな最小値の増大による一般化を因果的に促進し,深層学習における学習戦略の導出に有効な解釈性を提供することがわかった。 この研究は、解釈可能性(interpretability)を、ポストホック分析を超えて、原則化されたアーキテクチャと最適化の選択の原動力と位置づけている。

関連論文リスト

• Geometry-Aware Edge Pooling for Graph Neural Networks [20.080879481223924]
  グラフニューラルネットワーク(GNN)は、グラフベースのタスクで大きな成功を収めている。 現実世界のアプリケーションにおける大規模なデータセットの普及により、プール層はGNNの重要なコンポーネントである。 本稿では,エッジ崩壊による構造を考慮した新しいグラフプーリング層を提案する。
  論文  参考訳（メタデータ） (2025-06-13T12:01:46Z)
• Beyond Message Passing: Neural Graph Pattern Machine [50.78679002846741]
  本稿では,グラフサブストラクチャから直接学習することで,メッセージパッシングをバイパスする新しいフレームワークであるNeural Graph Pattern Machine(GPM)を紹介する。 GPMはタスク関連グラフパターンを効率的に抽出し、エンコードし、優先順位付けする。
  論文  参考訳（メタデータ） (2025-01-30T20:37:47Z)
• Generalization Performance of Hypergraph Neural Networks [21.483543928698676]
  我々は、ハイパーグラフニューラルネットワークの4つの代表クラスに対して、マージンに基づく一般化境界を開発する。 その結果,ハイパーグラフ構造やスペクトルノルムが一般化境界にどのような影響を及ぼすかが明らかになった。 本研究は,実世界のデータセットに対するモデルの性能と理論的境界の関係を実験的に検討した。
  論文  参考訳（メタデータ） (2025-01-22T00:20:26Z)
• LAMP: Learnable Meta-Path Guided Adversarial Contrastive Learning for Heterogeneous Graphs [22.322402072526927]
  Heterogeneous Graph Contrastive Learning (HGCL)は通常、事前に定義されたメタパスを必要とする。 textsfLAMPは様々なメタパスのサブグラフを統一的で安定した構造に統合する。 textsfLAMPは、精度と堅牢性の観点から、既存の最先端の教師なしモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-09-10T08:27:39Z)
• Amplify Graph Learning for Recommendation via Sparsity Completion [16.32861024767423]
  グラフ学習モデルは、協調フィルタリング(CF)ベースのレコメンデーションシステムに広くデプロイされている。 データ疎度の問題により、元の入力のグラフ構造は潜在的な肯定的な嗜好エッジを欠いている。 AGL-SC(Amplify Graph Learning framework)を提案する。
  論文  参考訳（メタデータ） (2024-06-27T08:26:20Z)
• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• Graph-level Protein Representation Learning by Structure Knowledge Refinement [50.775264276189695]
  本稿では、教師なしの方法でグラフ全体の表現を学習することに焦点を当てる。 本稿では、データ構造を用いて、ペアが正か負かの確率を決定する構造知識精製(Structure Knowledge Refinement, SKR)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-05T09:05:33Z)
• On the Expressiveness and Generalization of Hypergraph Neural Networks [77.65788763444877]
  この拡張抽象化はハイパーグラフニューラルネットワーク(HyperGNN)の表現性、学習、および(構造的)一般化を分析するためのフレームワークを記述する。 具体的には、HyperGNNが有限データセットからどのように学習し、任意の入力サイズのグラフ推論問題に構造的に一般化するかに焦点を当てる。
  論文  参考訳（メタデータ） (2023-03-09T18:42:18Z)
• Position-aware Structure Learning for Graph Topology-imbalance by Relieving Under-reaching and Over-squashing [67.83086131278904]
  トポロジー不均衡は、ラベル付きノードの不均一なトポロジー位置によって引き起こされるグラフ固有の不均衡問題である。 PASTEL という新しい位置認識型グラフ構造学習フレームワークを提案する。 私たちの重要な洞察は、より監督的な情報を得るために、同じクラス内のノードの接続性を高めることです。
  論文  参考訳（メタデータ） (2022-08-17T14:04:21Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。