論文の概要: TreeGPT: Pure TreeFFN Encoder-Decoder Architecture for Structured Reasoning Without Attention Mechanisms

• arxiv url: http://arxiv.org/abs/2509.05550v2
• Date: Thu, 11 Sep 2025 10:46:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 11:47:11.879184
• Title: TreeGPT: Pure TreeFFN Encoder-Decoder Architecture for Structured Reasoning Without Attention Mechanisms
• Title（参考訳）: TreeGPT: 注意機構のない構造化推論のための純木FFNエンコーダデコーダアーキテクチャ
• Authors: Zixi Li,
• Abstract要約: TreeGPTは、構造化推論タスクのための純粋なTreeFFNエンコーダデコーダ設計の可能性を探る無注意ニューラルネットワークアーキテクチャである。 我々はARC Prize 2025データセットに対するアプローチを評価し、TreeGPTは3.16Mパラメータを使用して99%の精度を達成している。
• 参考スコア（独自算出の注目度）: 0.16244541005112745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present TreeGPT, an attention-free neural architecture that explores the potential of pure TreeFFN encoder-decoder design for structured reasoning tasks. Unlike traditional transformer approaches that rely on attention mechanisms, TreeGPT employs bidirectional TreeFFN components that process sequences through adjacent connections in parallel, aiming to achieve computational efficiency while maintaining reasoning capabilities. Our approach centers on a TreeFFN Encoder-Decoder mechanism: $$\text{Encoder TreeFFN (L} \rightarrow \text{R)} + \text{Decoder TreeFFN (R} \leftarrow \text{L)} \rightarrow \text{Parallel Processing}$$ where the encoder processes left-to-right dependencies while the decoder handles right-to-left patterns, both using simple neighbor-to-neighbor connections. This design eliminates attention computation while maintaining sequence modeling capabilities. We evaluate our approach on the ARC Prize 2025 dataset, where TreeGPT achieves 99\% validation accuracy using 3.16M parameters. The model converges within 1500 training steps and demonstrates 100\% token-level accuracy on selected evaluation samples. Our preliminary results suggest that for certain structured reasoning tasks, specialized TreeFFN architectures may offer advantages over attention-based approaches. While these findings are encouraging, we acknowledge that further investigation across diverse tasks and datasets would be valuable to establish the broader applicability of attention-free designs.
• Abstract（参考訳）: 我々は、構造化推論タスクのための純粋なTreeFFNエンコーダデコーダ設計の可能性を探る無注意ニューラルネットワークであるTreeGPTを提案する。 注意機構に依存する従来のトランスフォーマーアプローチとは異なり、TreeGPTは双方向のTreeFFNコンポーネントを使用して、隣接する接続を通して並列にシーケンスを処理する。 当社のアプローチは、TreeFFN Encoder-Decoderメカニズムを中心にしている。 $$\text{Encoder TreeFFN (L} \rightarrow \text{R)} + \text{Decoder TreeFFN (R} \leftarrow \text{L)} \rightarrow \text{Parallel Processing}$$ ここで、エンコーダは左右の依存関係を処理し、デコーダは左右のパターンを処理します。 この設計は、シーケンスモデリング機能を維持しながら注意計算を不要にする。 我々はARC Prize 2025データセットに対するアプローチを評価し、TreeGPTは3.16Mパラメータを用いて99\%の精度で検証する。 モデルは1500のトレーニングステップ内に収束し、選択した評価サンプルに対して100\%のトークンレベルの精度を示す。 予備的な結果は、特定の構造的推論タスクに対して、特別なTreeFFNアーキテクチャは注意に基づくアプローチよりも有利である可能性があることを示唆している。 これらの発見は奨励されているが、さまざまなタスクやデータセットにわたるさらなる調査が、注意のない設計の幅広い適用性を確立する上で有用であることを認めている。

関連論文リスト

• Birch SGD: A Tree Graph Framework for Local and Asynchronous SGD Methods [51.54704494242525]
  本稿では,分散SGD手法を解析・設計するための新しい統一フレームワークであるBirch SGDを提案する。 本研究では,Birch SGDを用いて8つの新しい手法を設計し,これまでに知られていた手法とともに解析する。 i) すべてのメソッドが$Oleft(frac(R + 1) L Deltavarepsilon + fracsigma2 L Deltavarepsilon2right)$と同じ"イテレーションレート"を共有している。
  論文  参考訳（メタデータ） (2025-05-14T08:37:45Z)
• Heterogeneous Graph Neural Network on Semantic Tree [11.810900066591861]
  HetTreeは、グラフ構造とヘテロジニアスの両方をスケーラブルで効果的な方法でモデル化する、新しいHGNNである。 セマンティックツリーを効果的にエンコードするために、HetTreeは、親子関係をエンコードするのに役立つメタパスを強調するために、新しいサブツリーアテンションメカニズムを使用している。 さまざまな実世界のデータセット上でのHetTreeの評価は、既存のすべてのベースラインをオープンベンチマークで上回っていることを示す。
  論文  参考訳（メタデータ） (2024-02-21T03:14:45Z)
• Individualized and Global Feature Attributions for Gradient Boosted Trees in the Presence of $\ell_2$ Regularization [0.0]
  本稿では,プレデコン(PreDecomp)を提案する。プレデコン(PreDecomp,PreDecomp,PreDecomp)は,正規化を$ell$で訓練した場合に,増木に対する新規な個別化特徴属性である。 また、各ツリーのアウトサンプルデータに個々の特徴属性とラベルの内積で定義される、偏りのないグローバルな特徴属性のファミリーであるTreeInnerを提案する。
  論文  参考訳（メタデータ） (2022-11-08T17:56:22Z)
• Learning Tree Structures from Leaves For Particle Decay Reconstruction [0.0]
  本稿では,階層的相互作用を記述したルート木グラフを再構築するためのニューラルネットワークを提案し,その表現をLCAG(Lowest Common Ancestor Generations)行列と呼ぶ。 LCAGを葉の特徴から正確に予測することができ、最大で8ドル、最大で9.2.5%のケースは6ドルまでの葉(含む)と、シミュレーションデータセットで最大10ドルまでのツリーに対して59.7%のケースである。
  論文  参考訳（メタデータ） (2022-08-31T15:36:47Z)
• Tree Decomposition Attention for AMR-to-Text Generation [12.342043849587613]
  グラフ内の自己注意を制限するために、グラフのツリー分解を使用します。 動的プログラミングを用いて木分解の森を導出し、AMRと最も構造的に類似した木を選択する。 我々のシステムは1.6BLEUと1.8chrF++の自励ベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-08-27T14:24:25Z)
• Visualizing hierarchies in scRNA-seq data using a density tree-biased autoencoder [50.591267188664666]
  本研究では,高次元scRNA-seqデータから意味のある木構造を同定する手法を提案する。 次に、低次元空間におけるデータのツリー構造を強調する木バイアスオートエンコーダDTAEを紹介する。
  論文  参考訳（メタデータ） (2021-02-11T08:48:48Z)
• SGA: A Robust Algorithm for Partial Recovery of Tree-Structured Graphical Models with Noisy Samples [75.32013242448151]
  ノードからの観測が独立しているが非識別的に分散ノイズによって破損した場合、Ising Treeモデルの学習を検討する。 Katiyarら。 (2020) は, 正確な木構造は復元できないが, 部分木構造を復元できることを示した。 統計的に堅牢な部分木回復アルゴリズムであるSymmetrized Geometric Averaging(SGA)を提案する。
  論文  参考訳（メタデータ） (2021-01-22T01:57:35Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Rethinking Learnable Tree Filter for Generic Feature Transform [71.77463476808585]
  Learnable Tree Filterはセマンティックセグメンテーションのためのモデル構造保存関係に対する顕著なアプローチを示す。 幾何学的制約を緩和するために,マルコフ確率場として再構成して解析を行い,学習可能な不定項を導入する。 セマンティックセグメンテーションでは、ベルとホイッスルなしでCityscapesベンチマークでトップパフォーマンス(82.1% mIoU)を達成しています。
  論文  参考訳（メタデータ） (2020-12-07T07:16:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。