論文の概要: TRACE: Learning to Compute on Graphs
- arxiv url: http://arxiv.org/abs/2509.21886v1
- Date: Fri, 26 Sep 2025 05:22:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 20:57:54.196254
- Title: TRACE: Learning to Compute on Graphs
- Title(参考訳): TRACE: グラフの計算を学ぶ
- Authors: Ziyang Zheng, Jiaying Zhu, Jingyi Zhou, Qiang Xu,
- Abstract要約: アーキテクチャ的に健全なバックボーンと原則学習目標に基づいて構築された新しいパラダイムである textbfTRACE を紹介する。
まず、TRACEは階層変換器を使用し、計算のステップバイステップフローを反映する。
第2に、学習問題を分離する新しい目的であるtextbffunction shift learningを導入する。
- 参考スコア(独自算出の注目度): 15.34239150750753
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning to compute, the ability to model the functional behavior of a computational graph, is a fundamental challenge for graph representation learning. Yet, the dominant paradigm is architecturally mismatched for this task. This flawed assumption, central to mainstream message passing neural networks (MPNNs) and their conventional Transformer-based counterparts, prevents models from capturing the position-aware, hierarchical nature of computation. To resolve this, we introduce \textbf{TRACE}, a new paradigm built on an architecturally sound backbone and a principled learning objective. First, TRACE employs a Hierarchical Transformer that mirrors the step-by-step flow of computation, providing a faithful architectural backbone that replaces the flawed permutation-invariant aggregation. Second, we introduce \textbf{function shift learning}, a novel objective that decouples the learning problem. Instead of predicting the complex global function directly, our model is trained to predict only the \textit{function shift}, the discrepancy between the true global function and a simple local approximation that assumes input independence. We validate this paradigm on electronic circuits, one of the most complex and economically critical classes of computational graphs. Across a comprehensive suite of benchmarks, TRACE substantially outperforms all prior architectures. These results demonstrate that our architecturally-aligned backbone and decoupled learning objective form a more robust paradigm for the fundamental challenge of learning to compute on graphs.
- Abstract(参考訳): 計算グラフの関数的振る舞いをモデル化する能力である計算の学習は、グラフ表現学習の基本的な課題である。
しかし、支配的なパラダイムは、このタスクに対してアーキテクチャ的にミスマッチしています。
この欠陥のある仮定は、MPNN(main to mainstream message passing neural network)とその従来のTransformerベースのニューラルネットワークであり、モデルが計算の位置を認識し、階層的な性質を捉えるのを防ぐ。
これを解決するために,アーキテクチャ的に健全なバックボーンと原則学習目標に基づいて構築された新しいパラダイムである‘textbf{TRACE} を導入する。
まず、TRACEは階層変換器を使用し、計算のステップバイステップフローを反映し、欠陥のある置換不変の集約を置き換える忠実なアーキテクチャのバックボーンを提供する。
第二に、学習問題を分離する新しい目的である「textbf{function shift learning」を導入する。
複雑な大域関数を直接予測する代わりに、我々のモデルは、入力独立を前提とした真の大域関数と単純な局所近似との相違点である「textit{function shift}」のみを予測するように訓練されている。
このパラダイムを計算グラフの最も複雑で経済的に重要なクラスの一つである電子回路上で検証する。
包括的なベンチマークスイート全体において、TRACEは以前のすべてのアーキテクチャよりも大幅に優れています。
これらの結果は、アーキテクチャ的に整合したバックボーンと疎結合の学習目標が、グラフ上での学習の基本的な課題に対して、より堅牢なパラダイムを形成していることを示している。
関連論文リスト
- Relational Graph Transformer [44.56132732108148]
Graph Transformer (Relel) はリレーショナルテーブル用に設計された最初のグラフトランスである。
Relelは、各ノードを5つのコンポーネントに分解する、新しい多要素トークン化戦略を採用している。
我々のアーキテクチャは、サンプル化されたサブグラフに対する局所的な注意と、学習可能なセントロイドに対するグローバルな注意を組み合わせる。
論文 参考訳(メタデータ) (2025-05-16T07:51:58Z) - What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。
本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
論文 参考訳(メタデータ) (2024-06-04T05:30:16Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳(メタデータ) (2023-08-26T08:48:51Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳(メタデータ) (2023-05-25T10:58:46Z) - Counterfactual Intervention Feature Transfer for Visible-Infrared Person
Re-identification [69.45543438974963]
視覚赤外人物再識別タスク(VI-ReID)におけるグラフベースの手法は,2つの問題により,悪い一般化に悩まされている。
十分に訓練された入力特徴は、グラフトポロジーの学習を弱め、推論過程において十分に一般化されない。
本稿では,これらの問題に対処するためのCIFT法を提案する。
論文 参考訳(メタデータ) (2022-08-01T16:15:31Z) - Neural combinatorial optimization beyond the TSP: Existing architectures
under-represent graph structure [9.673093148930876]
我々は、最近のニューラルネットワークが実際に重要なグラフ問題にどのように適用できるのか、その分析を行う。
距離問題の構造的表現を増大させることは、多目的自律型問題解決者を学ぶという、まだ曖昧な目標に向けた有望なステップであることを示す。
論文 参考訳(メタデータ) (2022-01-03T14:14:28Z) - Persformer: A Transformer Architecture for Topological Machine Learning [0.0]
Persformerは、永続化ダイアグラムを入力として受け入れる最初のTransformerニューラルネットワークアーキテクチャである。
本稿では、永続化ダイアグラムを入力として受け入れる最初のTransformerニューラルネットワークアーキテクチャであるPersformerを紹介する。
論文 参考訳(メタデータ) (2021-12-30T21:10:17Z) - Joint learning of variational representations and solvers for inverse
problems with partially-observed data [13.984814587222811]
本稿では,教師付き環境において,逆問題に対する実際の変分フレームワークを学習するためのエンドツーエンドフレームワークを設計する。
変動コストと勾配に基づく解法はどちらも、後者の自動微分を用いたニューラルネットワークとして記述される。
これにより、データ駆動による変分モデルの発見につながる。
論文 参考訳(メタデータ) (2020-06-05T19:53:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。