論文の概要: TreeGPT: A Novel Hybrid Architecture for Abstract Syntax Tree Processing with Global Parent-Child Aggregation

• arxiv url: http://arxiv.org/abs/2509.05550v1
• Date: Sat, 06 Sep 2025 00:39:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.575397
• Title: TreeGPT: A Novel Hybrid Architecture for Abstract Syntax Tree Processing with Global Parent-Child Aggregation
• Title（参考訳）: TreeGPT: グローバル親子集合を用いた抽象構文木処理のための新しいハイブリッドアーキテクチャ
• Authors: Zixi Li,
• Abstract要約: 本稿では,トランスフォーマーに基づくアテンション機構とグローバルな親子集約を組み合わせた,新しいニューラルアーキテクチャであるTreeGPTを紹介する。 我々はARC Prize 2025データセットのTreeGPTを評価する。これは抽象パターン認識とルール推論を必要とする難解な視覚的推論ベンチマークである。 実験の結果、TreeGPTの精度は96%、トランスフォーマーのベースライン(1.3%)、Grok-4のような大規模モデル(15.9%)、アブレーション(52%)のような特別なプログラム合成法(1.5Mパラメータのみ)に優れていた。
• 参考スコア（独自算出の注目度）: 0.16244541005112745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce TreeGPT, a novel neural architecture that combines transformer-based attention mechanisms with global parent-child aggregation for processing Abstract Syntax Trees (ASTs) in neural program synthesis tasks. Unlike traditional approaches that rely solely on sequential processing or graph neural networks, TreeGPT employs a hybrid design that leverages both self-attention for capturing local dependencies and a specialized Tree Feed-Forward Network (TreeFFN) for modeling hierarchical tree structures through iterative message passing. The core innovation lies in our Global Parent-Child Aggregation mechanism, formalized as: $$h_i^{(t+1)} = \sigma \Big( h_i^{(0)} + W_{pc} \sum_{(p,c) \in E_i} f(h_p^{(t)}, h_c^{(t)}) + b \Big)$$ where $h_i^{(t)}$ represents the hidden state of node $i$ at iteration $t$, $E_i$ denotes all parent-child edges involving node $i$, and $f(h_p, h_c)$ is an edge aggregation function. This formulation enables each node to progressively aggregate information from the entire tree structure through $T$ iterations. Our architecture integrates optional enhancements including gated aggregation with learnable edge weights, residual connections for gradient stability, and bidirectional propagation for capturing both bottom-up and top-down dependencies. We evaluate TreeGPT on the ARC Prize 2025 dataset, a challenging visual reasoning benchmark requiring abstract pattern recognition and rule inference. Experimental results demonstrate that TreeGPT achieves 96\% accuracy, significantly outperforming transformer baselines (1.3\%), large-scale models like Grok-4 (15.9\%), and specialized program synthesis methods like SOAR (52\%) while using only 1.5M parameters. Our comprehensive ablation study reveals that edge projection is the most critical component, with the combination of edge projection and gating achieving optimal performance.
• Abstract（参考訳）: ニューラルプログラム合成タスクにおける抽象構文木(AST)処理のための,トランスフォーマーに基づくアテンション機構とグローバルな親子集約を組み合わせた,新しいニューラルアーキテクチャであるTreeGPTを紹介する。 シーケンシャルな処理やグラフニューラルネットワークにのみ依存する従来のアプローチとは異なり、TreeGPTでは、ローカル依存関係をキャプチャするための自己アテンションと、反復的なメッセージパッシングを通じて階層的なツリー構造をモデル化するための特別なツリーフィードフォワードネットワーク(TreeFFN)の両方を活用するハイブリッド設計を採用している。 中心となる革新は、我々のGlobal Parent-Child Aggregationメカニズムにある。 $$h_i^{(t+1)} = \sigma \Big(h_i^{(0)} + W_{pc} \sum_{(p,c) \in E_i} f(h_p^{(t)}, h_c^{(t)}) + b \Big)$$ where $h_i^{(t)}$は、イテレーション$t$、$E_i$は、ノード$i$、$f(h_p, h_c)$を含むすべての親子エッジを表す。 この定式化により、各ノードは、木構造全体から$T$繰り返しを通じて情報を段階的に集約することができる。 我々のアーキテクチャは、学習可能なエッジ重み付きゲートアグリゲーション、勾配安定性のための残差接続、ボトムアップとトップダウンの両方の依存関係をキャプチャするための双方向の伝搬など、任意の拡張を統合しています。 我々はARC Prize 2025データセットのTreeGPTを評価する。これは抽象パターン認識とルール推論を必要とする難解な視覚的推論ベンチマークである。 実験の結果、TreeGPTは精度96\%、トランスフォーマーベースライン(1.3\%)、Grok-4のような大規模モデル(15.9\%)、およびSOAR(52\%)のような特殊なプログラム合成手法(1.5Mパラメータのみを使用しながら達成されている。 包括的アブレーション研究により、エッジプロジェクションが最重要成分であり、エッジプロジェクションとゲーティングの組み合わせが最適性能を実現することが明らかとなった。

関連論文リスト

• TorchLean: Formalizing Neural Networks in Lean [71.68907600404513]
  本稿では,学習モデルを一級数学的対象として扱うフレームワークであるTorchLeanを紹介する。 我々はTorchLeanのエンドツーエンドを、証明された堅牢性、PINNの物理インフォームド残差、Lyapunovスタイルのニューラルコントローラ検証で検証する。
  論文  参考訳（メタデータ） (2026-02-26T05:11:44Z)
• TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling [65.46347858249295]
  TreePOは自己誘導型ロールアウトアルゴリズムで、シーケンス生成を木構造検索プロセスとして見る。 TreePOは基本的に、探索の多様性を保存または強化しながら、更新毎の計算負担を削減します。
  論文  参考訳（メタデータ） (2025-08-24T16:52:37Z)
• A Novel Architecture for Symbolic Reasoning with Decision Trees and LLM Agents [0.0]
  本稿では,決定木に基づく記号推論と大規模言語モデルの生成機能を統合するハイブリッドアーキテクチャを提案する。 ツリーベースのモジュールは解釈可能なルール推論と因果論理を可能にし、一方LLMエージェントは帰納的推論、一般化、対話的計画を扱う。 システムは推論ベンチマークで高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-08-07T12:11:53Z)
• TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
  本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。 タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。 視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2025-06-12T05:25:35Z)
• Birch SGD: A Tree Graph Framework for Local and Asynchronous SGD Methods [51.54704494242525]
  本稿では,分散SGD手法を解析・設計するための新しい統一フレームワークであるBirch SGDを提案する。 本研究では,Birch SGDを用いて8つの新しい手法を設計し,これまでに知られていた手法とともに解析する。 i) すべてのメソッドが$Oleft(frac(R + 1) L Deltavarepsilon + fracsigma2 L Deltavarepsilon2right)$と同じ"イテレーションレート"を共有している。
  論文  参考訳（メタデータ） (2025-05-14T08:37:45Z)
• ReTreever: Tree-based Coarse-to-Fine Representations for Retrieval [64.44265315244579]
  そこで本研究では,様々なレベルで参照文書を整理し,表現するためのツリーベース手法を提案する。 我々の手法はReTreeverと呼ばれ、クエリと参照ドキュメントが同様のツリーブランチに割り当てられるように、バイナリツリーの内部ノード毎のルーティング関数を共同で学習する。 我々の評価では、ReTreeverは一般的に完全な表現精度を保っている。
  論文  参考訳（メタデータ） (2025-02-11T21:35:13Z)
• Tree-NET: Enhancing Medical Image Segmentation Through Efficient Low-Level Feature Training [0.0]
  本稿では,医療画像セグメンテーションのための新しいフレームワークであるTree-NETを紹介する。 Tree-NETは、セグメンテーション精度と計算効率の両方を向上させるためにボトルネック機能監視を使用する。 実験の結果、Tree-NETはFLOPを4倍から13倍に減らし、メモリ使用量を減らし、元のものと同等または優れた精度を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-01-03T23:17:01Z)
• Heterogeneous Graph Neural Network on Semantic Tree [11.810900066591861]
  HetTreeは、グラフ構造とヘテロジニアスの両方をスケーラブルで効果的な方法でモデル化する、新しいHGNNである。 セマンティックツリーを効果的にエンコードするために、HetTreeは、親子関係をエンコードするのに役立つメタパスを強調するために、新しいサブツリーアテンションメカニズムを使用している。 さまざまな実世界のデータセット上でのHetTreeの評価は、既存のすべてのベースラインをオープンベンチマークで上回っていることを示す。
  論文  参考訳（メタデータ） (2024-02-21T03:14:45Z)
• Wasserstein Auto-Encoders of Merge Trees (and Persistence Diagrams) [5.384630221560809]
  本稿では、マージツリーの自動符号化(MT-WAE)のための計算フレームワークを提案する。 ベクトル化されたデータを扱う従来のオートエンコーダとは対照的に,ネットワークの各層における関連計量空間上のマージ木を明示的に操作する。 公開アンサンブルの実験では,MT-WAE計算を平均数分のオーダーで行うことで,アルゴリズムの効率を実証した。
  論文  参考訳（メタデータ） (2023-07-05T09:46:52Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• Individualized and Global Feature Attributions for Gradient Boosted Trees in the Presence of $\ell_2$ Regularization [0.0]
  本稿では,プレデコン(PreDecomp)を提案する。プレデコン(PreDecomp,PreDecomp,PreDecomp)は,正規化を$ell$で訓練した場合に,増木に対する新規な個別化特徴属性である。 また、各ツリーのアウトサンプルデータに個々の特徴属性とラベルの内積で定義される、偏りのないグローバルな特徴属性のファミリーであるTreeInnerを提案する。
  論文  参考訳（メタデータ） (2022-11-08T17:56:22Z)
• Learning Tree Structures from Leaves For Particle Decay Reconstruction [0.0]
  本稿では,階層的相互作用を記述したルート木グラフを再構築するためのニューラルネットワークを提案し,その表現をLCAG(Lowest Common Ancestor Generations)行列と呼ぶ。 LCAGを葉の特徴から正確に予測することができ、最大で8ドル、最大で9.2.5%のケースは6ドルまでの葉(含む)と、シミュレーションデータセットで最大10ドルまでのツリーに対して59.7%のケースである。
  論文  参考訳（メタデータ） (2022-08-31T15:36:47Z)
• PointTree: Transformation-Robust Point Cloud Encoder with Relaxed K-D Trees [27.641101804012152]
  我々は、リラックスしたK-D木に基づく変換に頑健なポイントクラウドエンコーダであるPointTreeを提案する。 我々のアプローチの鍵は、主成分分析(PCA)を用いたK-D木における分割則の設計である。 この新しいアーキテクチャ設計に加えて、事前調整による導入をさらに改善する。
  論文  参考訳（メタデータ） (2022-08-11T17:59:09Z)
• Tree Decomposition Attention for AMR-to-Text Generation [12.342043849587613]
  グラフ内の自己注意を制限するために、グラフのツリー分解を使用します。 動的プログラミングを用いて木分解の森を導出し、AMRと最も構造的に類似した木を選択する。 我々のシステムは1.6BLEUと1.8chrF++の自励ベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-08-27T14:24:25Z)
• Visualizing hierarchies in scRNA-seq data using a density tree-biased autoencoder [50.591267188664666]
  本研究では,高次元scRNA-seqデータから意味のある木構造を同定する手法を提案する。 次に、低次元空間におけるデータのツリー構造を強調する木バイアスオートエンコーダDTAEを紹介する。
  論文  参考訳（メタデータ） (2021-02-11T08:48:48Z)
• SGA: A Robust Algorithm for Partial Recovery of Tree-Structured Graphical Models with Noisy Samples [75.32013242448151]
  ノードからの観測が独立しているが非識別的に分散ノイズによって破損した場合、Ising Treeモデルの学習を検討する。 Katiyarら。 (2020) は, 正確な木構造は復元できないが, 部分木構造を復元できることを示した。 統計的に堅牢な部分木回復アルゴリズムであるSymmetrized Geometric Averaging(SGA)を提案する。
  論文  参考訳（メタデータ） (2021-01-22T01:57:35Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Nested Named Entity Recognition with Partially-Observed TreeCRFs [23.992944831013013]
  ネストネストnerを,部分可観測木を用いた構成構文解析と捉え,部分可観測木crfでモデル化した。 提案手法はACE 2004, ACE 2005データセット上でのSOTA(State-of-the-art)F1スコアを達成し, GENIAデータセット上でのSOTAモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2020-12-15T18:20:36Z)
• Rethinking Learnable Tree Filter for Generic Feature Transform [71.77463476808585]
  Learnable Tree Filterはセマンティックセグメンテーションのためのモデル構造保存関係に対する顕著なアプローチを示す。 幾何学的制約を緩和するために,マルコフ確率場として再構成して解析を行い,学習可能な不定項を導入する。 セマンティックセグメンテーションでは、ベルとホイッスルなしでCityscapesベンチマークでトップパフォーマンス(82.1% mIoU)を達成しています。
  論文  参考訳（メタデータ） (2020-12-07T07:16:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。