論文の概要: TreeGPT: A Novel Hybrid Architecture for Abstract Syntax Tree Processing with Global Parent-Child Aggregation

• arxiv url: http://arxiv.org/abs/2509.05550v1
• Date: Sat, 06 Sep 2025 00:39:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.575397
• Title: TreeGPT: A Novel Hybrid Architecture for Abstract Syntax Tree Processing with Global Parent-Child Aggregation
• Title（参考訳）: TreeGPT: グローバル親子集合を用いた抽象構文木処理のための新しいハイブリッドアーキテクチャ
• Authors: Zixi Li,
• Abstract要約: 本稿では,トランスフォーマーに基づくアテンション機構とグローバルな親子集約を組み合わせた,新しいニューラルアーキテクチャであるTreeGPTを紹介する。 我々はARC Prize 2025データセットのTreeGPTを評価する。これは抽象パターン認識とルール推論を必要とする難解な視覚的推論ベンチマークである。 実験の結果、TreeGPTの精度は96%、トランスフォーマーのベースライン(1.3%)、Grok-4のような大規模モデル(15.9%)、アブレーション(52%)のような特別なプログラム合成法(1.5Mパラメータのみ)に優れていた。
• 参考スコア（独自算出の注目度）: 0.16244541005112745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce TreeGPT, a novel neural architecture that combines transformer-based attention mechanisms with global parent-child aggregation for processing Abstract Syntax Trees (ASTs) in neural program synthesis tasks. Unlike traditional approaches that rely solely on sequential processing or graph neural networks, TreeGPT employs a hybrid design that leverages both self-attention for capturing local dependencies and a specialized Tree Feed-Forward Network (TreeFFN) for modeling hierarchical tree structures through iterative message passing. The core innovation lies in our Global Parent-Child Aggregation mechanism, formalized as: $$h_i^{(t+1)} = \sigma \Big( h_i^{(0)} + W_{pc} \sum_{(p,c) \in E_i} f(h_p^{(t)}, h_c^{(t)}) + b \Big)$$ where $h_i^{(t)}$ represents the hidden state of node $i$ at iteration $t$, $E_i$ denotes all parent-child edges involving node $i$, and $f(h_p, h_c)$ is an edge aggregation function. This formulation enables each node to progressively aggregate information from the entire tree structure through $T$ iterations. Our architecture integrates optional enhancements including gated aggregation with learnable edge weights, residual connections for gradient stability, and bidirectional propagation for capturing both bottom-up and top-down dependencies. We evaluate TreeGPT on the ARC Prize 2025 dataset, a challenging visual reasoning benchmark requiring abstract pattern recognition and rule inference. Experimental results demonstrate that TreeGPT achieves 96\% accuracy, significantly outperforming transformer baselines (1.3\%), large-scale models like Grok-4 (15.9\%), and specialized program synthesis methods like SOAR (52\%) while using only 1.5M parameters. Our comprehensive ablation study reveals that edge projection is the most critical component, with the combination of edge projection and gating achieving optimal performance.
• Abstract（参考訳）: ニューラルプログラム合成タスクにおける抽象構文木(AST)処理のための,トランスフォーマーに基づくアテンション機構とグローバルな親子集約を組み合わせた,新しいニューラルアーキテクチャであるTreeGPTを紹介する。 シーケンシャルな処理やグラフニューラルネットワークにのみ依存する従来のアプローチとは異なり、TreeGPTでは、ローカル依存関係をキャプチャするための自己アテンションと、反復的なメッセージパッシングを通じて階層的なツリー構造をモデル化するための特別なツリーフィードフォワードネットワーク(TreeFFN)の両方を活用するハイブリッド設計を採用している。 中心となる革新は、我々のGlobal Parent-Child Aggregationメカニズムにある。 $$h_i^{(t+1)} = \sigma \Big(h_i^{(0)} + W_{pc} \sum_{(p,c) \in E_i} f(h_p^{(t)}, h_c^{(t)}) + b \Big)$$ where $h_i^{(t)}$は、イテレーション$t$、$E_i$は、ノード$i$、$f(h_p, h_c)$を含むすべての親子エッジを表す。 この定式化により、各ノードは、木構造全体から$T$繰り返しを通じて情報を段階的に集約することができる。 我々のアーキテクチャは、学習可能なエッジ重み付きゲートアグリゲーション、勾配安定性のための残差接続、ボトムアップとトップダウンの両方の依存関係をキャプチャするための双方向の伝搬など、任意の拡張を統合しています。 我々はARC Prize 2025データセットのTreeGPTを評価する。これは抽象パターン認識とルール推論を必要とする難解な視覚的推論ベンチマークである。 実験の結果、TreeGPTは精度96\%、トランスフォーマーベースライン(1.3\%)、Grok-4のような大規模モデル(15.9\%)、およびSOAR(52\%)のような特殊なプログラム合成手法(1.5Mパラメータのみを使用しながら達成されている。 包括的アブレーション研究により、エッジプロジェクションが最重要成分であり、エッジプロジェクションとゲーティングの組み合わせが最適性能を実現することが明らかとなった。

関連論文リスト

• Birch SGD: A Tree Graph Framework for Local and Asynchronous SGD Methods [51.54704494242525]
  本稿では,分散SGD手法を解析・設計するための新しい統一フレームワークであるBirch SGDを提案する。 本研究では,Birch SGDを用いて8つの新しい手法を設計し,これまでに知られていた手法とともに解析する。 i) すべてのメソッドが$Oleft(frac(R + 1) L Deltavarepsilon + fracsigma2 L Deltavarepsilon2right)$と同じ"イテレーションレート"を共有している。
  論文  参考訳（メタデータ） (2025-05-14T08:37:45Z)
• Heterogeneous Graph Neural Network on Semantic Tree [11.810900066591861]
  HetTreeは、グラフ構造とヘテロジニアスの両方をスケーラブルで効果的な方法でモデル化する、新しいHGNNである。 セマンティックツリーを効果的にエンコードするために、HetTreeは、親子関係をエンコードするのに役立つメタパスを強調するために、新しいサブツリーアテンションメカニズムを使用している。 さまざまな実世界のデータセット上でのHetTreeの評価は、既存のすべてのベースラインをオープンベンチマークで上回っていることを示す。
  論文  参考訳（メタデータ） (2024-02-21T03:14:45Z)
• Individualized and Global Feature Attributions for Gradient Boosted Trees in the Presence of $\ell_2$ Regularization [0.0]
  本稿では,プレデコン(PreDecomp)を提案する。プレデコン(PreDecomp,PreDecomp,PreDecomp)は,正規化を$ell$で訓練した場合に,増木に対する新規な個別化特徴属性である。 また、各ツリーのアウトサンプルデータに個々の特徴属性とラベルの内積で定義される、偏りのないグローバルな特徴属性のファミリーであるTreeInnerを提案する。
  論文  参考訳（メタデータ） (2022-11-08T17:56:22Z)
• Learning Tree Structures from Leaves For Particle Decay Reconstruction [0.0]
  本稿では,階層的相互作用を記述したルート木グラフを再構築するためのニューラルネットワークを提案し,その表現をLCAG(Lowest Common Ancestor Generations)行列と呼ぶ。 LCAGを葉の特徴から正確に予測することができ、最大で8ドル、最大で9.2.5%のケースは6ドルまでの葉(含む)と、シミュレーションデータセットで最大10ドルまでのツリーに対して59.7%のケースである。
  論文  参考訳（メタデータ） (2022-08-31T15:36:47Z)
• Tree Decomposition Attention for AMR-to-Text Generation [12.342043849587613]
  グラフ内の自己注意を制限するために、グラフのツリー分解を使用します。 動的プログラミングを用いて木分解の森を導出し、AMRと最も構造的に類似した木を選択する。 我々のシステムは1.6BLEUと1.8chrF++の自励ベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-08-27T14:24:25Z)
• Visualizing hierarchies in scRNA-seq data using a density tree-biased autoencoder [50.591267188664666]
  本研究では,高次元scRNA-seqデータから意味のある木構造を同定する手法を提案する。 次に、低次元空間におけるデータのツリー構造を強調する木バイアスオートエンコーダDTAEを紹介する。
  論文  参考訳（メタデータ） (2021-02-11T08:48:48Z)
• SGA: A Robust Algorithm for Partial Recovery of Tree-Structured Graphical Models with Noisy Samples [75.32013242448151]
  ノードからの観測が独立しているが非識別的に分散ノイズによって破損した場合、Ising Treeモデルの学習を検討する。 Katiyarら。 (2020) は, 正確な木構造は復元できないが, 部分木構造を復元できることを示した。 統計的に堅牢な部分木回復アルゴリズムであるSymmetrized Geometric Averaging(SGA)を提案する。
  論文  参考訳（メタデータ） (2021-01-22T01:57:35Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Rethinking Learnable Tree Filter for Generic Feature Transform [71.77463476808585]
  Learnable Tree Filterはセマンティックセグメンテーションのためのモデル構造保存関係に対する顕著なアプローチを示す。 幾何学的制約を緩和するために,マルコフ確率場として再構成して解析を行い,学習可能な不定項を導入する。 セマンティックセグメンテーションでは、ベルとホイッスルなしでCityscapesベンチマークでトップパフォーマンス(82.1% mIoU)を達成しています。
  論文  参考訳（メタデータ） (2020-12-07T07:16:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。