論文の概要: TreeGPT: Pure TreeFFN Encoder-Decoder Architecture for Structured Reasoning Without Attention Mechanisms

• arxiv url: http://arxiv.org/abs/2509.05550v2
• Date: Thu, 11 Sep 2025 10:46:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 11:47:11.879184
• Title: TreeGPT: Pure TreeFFN Encoder-Decoder Architecture for Structured Reasoning Without Attention Mechanisms
• Title（参考訳）: TreeGPT: 注意機構のない構造化推論のための純木FFNエンコーダデコーダアーキテクチャ
• Authors: Zixi Li,
• Abstract要約: TreeGPTは、構造化推論タスクのための純粋なTreeFFNエンコーダデコーダ設計の可能性を探る無注意ニューラルネットワークアーキテクチャである。 我々はARC Prize 2025データセットに対するアプローチを評価し、TreeGPTは3.16Mパラメータを使用して99%の精度を達成している。
• 参考スコア（独自算出の注目度）: 0.16244541005112745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present TreeGPT, an attention-free neural architecture that explores the potential of pure TreeFFN encoder-decoder design for structured reasoning tasks. Unlike traditional transformer approaches that rely on attention mechanisms, TreeGPT employs bidirectional TreeFFN components that process sequences through adjacent connections in parallel, aiming to achieve computational efficiency while maintaining reasoning capabilities. Our approach centers on a TreeFFN Encoder-Decoder mechanism: $$\text{Encoder TreeFFN (L} \rightarrow \text{R)} + \text{Decoder TreeFFN (R} \leftarrow \text{L)} \rightarrow \text{Parallel Processing}$$ where the encoder processes left-to-right dependencies while the decoder handles right-to-left patterns, both using simple neighbor-to-neighbor connections. This design eliminates attention computation while maintaining sequence modeling capabilities. We evaluate our approach on the ARC Prize 2025 dataset, where TreeGPT achieves 99\% validation accuracy using 3.16M parameters. The model converges within 1500 training steps and demonstrates 100\% token-level accuracy on selected evaluation samples. Our preliminary results suggest that for certain structured reasoning tasks, specialized TreeFFN architectures may offer advantages over attention-based approaches. While these findings are encouraging, we acknowledge that further investigation across diverse tasks and datasets would be valuable to establish the broader applicability of attention-free designs.
• Abstract（参考訳）: 我々は、構造化推論タスクのための純粋なTreeFFNエンコーダデコーダ設計の可能性を探る無注意ニューラルネットワークであるTreeGPTを提案する。 注意機構に依存する従来のトランスフォーマーアプローチとは異なり、TreeGPTは双方向のTreeFFNコンポーネントを使用して、隣接する接続を通して並列にシーケンスを処理する。 当社のアプローチは、TreeFFN Encoder-Decoderメカニズムを中心にしている。 $$\text{Encoder TreeFFN (L} \rightarrow \text{R)} + \text{Decoder TreeFFN (R} \leftarrow \text{L)} \rightarrow \text{Parallel Processing}$$ ここで、エンコーダは左右の依存関係を処理し、デコーダは左右のパターンを処理します。 この設計は、シーケンスモデリング機能を維持しながら注意計算を不要にする。 我々はARC Prize 2025データセットに対するアプローチを評価し、TreeGPTは3.16Mパラメータを用いて99\%の精度で検証する。 モデルは1500のトレーニングステップ内に収束し、選択した評価サンプルに対して100\%のトークンレベルの精度を示す。 予備的な結果は、特定の構造的推論タスクに対して、特別なTreeFFNアーキテクチャは注意に基づくアプローチよりも有利である可能性があることを示唆している。 これらの発見は奨励されているが、さまざまなタスクやデータセットにわたるさらなる調査が、注意のない設計の幅広い適用性を確立する上で有用であることを認めている。

関連論文リスト

• TorchLean: Formalizing Neural Networks in Lean [71.68907600404513]
  本稿では,学習モデルを一級数学的対象として扱うフレームワークであるTorchLeanを紹介する。 我々はTorchLeanのエンドツーエンドを、証明された堅牢性、PINNの物理インフォームド残差、Lyapunovスタイルのニューラルコントローラ検証で検証する。
  論文  参考訳（メタデータ） (2026-02-26T05:11:44Z)
• TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling [65.46347858249295]
  TreePOは自己誘導型ロールアウトアルゴリズムで、シーケンス生成を木構造検索プロセスとして見る。 TreePOは基本的に、探索の多様性を保存または強化しながら、更新毎の計算負担を削減します。
  論文  参考訳（メタデータ） (2025-08-24T16:52:37Z)
• A Novel Architecture for Symbolic Reasoning with Decision Trees and LLM Agents [0.0]
  本稿では,決定木に基づく記号推論と大規模言語モデルの生成機能を統合するハイブリッドアーキテクチャを提案する。 ツリーベースのモジュールは解釈可能なルール推論と因果論理を可能にし、一方LLMエージェントは帰納的推論、一般化、対話的計画を扱う。 システムは推論ベンチマークで高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-08-07T12:11:53Z)
• TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
  本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。 タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。 視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2025-06-12T05:25:35Z)
• Birch SGD: A Tree Graph Framework for Local and Asynchronous SGD Methods [51.54704494242525]
  本稿では,分散SGD手法を解析・設計するための新しい統一フレームワークであるBirch SGDを提案する。 本研究では,Birch SGDを用いて8つの新しい手法を設計し,これまでに知られていた手法とともに解析する。 i) すべてのメソッドが$Oleft(frac(R + 1) L Deltavarepsilon + fracsigma2 L Deltavarepsilon2right)$と同じ"イテレーションレート"を共有している。
  論文  参考訳（メタデータ） (2025-05-14T08:37:45Z)
• ReTreever: Tree-based Coarse-to-Fine Representations for Retrieval [64.44265315244579]
  そこで本研究では,様々なレベルで参照文書を整理し,表現するためのツリーベース手法を提案する。 我々の手法はReTreeverと呼ばれ、クエリと参照ドキュメントが同様のツリーブランチに割り当てられるように、バイナリツリーの内部ノード毎のルーティング関数を共同で学習する。 我々の評価では、ReTreeverは一般的に完全な表現精度を保っている。
  論文  参考訳（メタデータ） (2025-02-11T21:35:13Z)
• Tree-NET: Enhancing Medical Image Segmentation Through Efficient Low-Level Feature Training [0.0]
  本稿では,医療画像セグメンテーションのための新しいフレームワークであるTree-NETを紹介する。 Tree-NETは、セグメンテーション精度と計算効率の両方を向上させるためにボトルネック機能監視を使用する。 実験の結果、Tree-NETはFLOPを4倍から13倍に減らし、メモリ使用量を減らし、元のものと同等または優れた精度を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-01-03T23:17:01Z)
• Heterogeneous Graph Neural Network on Semantic Tree [11.810900066591861]
  HetTreeは、グラフ構造とヘテロジニアスの両方をスケーラブルで効果的な方法でモデル化する、新しいHGNNである。 セマンティックツリーを効果的にエンコードするために、HetTreeは、親子関係をエンコードするのに役立つメタパスを強調するために、新しいサブツリーアテンションメカニズムを使用している。 さまざまな実世界のデータセット上でのHetTreeの評価は、既存のすべてのベースラインをオープンベンチマークで上回っていることを示す。
  論文  参考訳（メタデータ） (2024-02-21T03:14:45Z)
• Wasserstein Auto-Encoders of Merge Trees (and Persistence Diagrams) [5.384630221560809]
  本稿では、マージツリーの自動符号化(MT-WAE)のための計算フレームワークを提案する。 ベクトル化されたデータを扱う従来のオートエンコーダとは対照的に,ネットワークの各層における関連計量空間上のマージ木を明示的に操作する。 公開アンサンブルの実験では,MT-WAE計算を平均数分のオーダーで行うことで,アルゴリズムの効率を実証した。
  論文  参考訳（メタデータ） (2023-07-05T09:46:52Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• Individualized and Global Feature Attributions for Gradient Boosted Trees in the Presence of $\ell_2$ Regularization [0.0]
  本稿では,プレデコン(PreDecomp)を提案する。プレデコン(PreDecomp,PreDecomp,PreDecomp)は,正規化を$ell$で訓練した場合に,増木に対する新規な個別化特徴属性である。 また、各ツリーのアウトサンプルデータに個々の特徴属性とラベルの内積で定義される、偏りのないグローバルな特徴属性のファミリーであるTreeInnerを提案する。
  論文  参考訳（メタデータ） (2022-11-08T17:56:22Z)
• Learning Tree Structures from Leaves For Particle Decay Reconstruction [0.0]
  本稿では,階層的相互作用を記述したルート木グラフを再構築するためのニューラルネットワークを提案し,その表現をLCAG(Lowest Common Ancestor Generations)行列と呼ぶ。 LCAGを葉の特徴から正確に予測することができ、最大で8ドル、最大で9.2.5%のケースは6ドルまでの葉(含む)と、シミュレーションデータセットで最大10ドルまでのツリーに対して59.7%のケースである。
  論文  参考訳（メタデータ） (2022-08-31T15:36:47Z)
• PointTree: Transformation-Robust Point Cloud Encoder with Relaxed K-D Trees [27.641101804012152]
  我々は、リラックスしたK-D木に基づく変換に頑健なポイントクラウドエンコーダであるPointTreeを提案する。 我々のアプローチの鍵は、主成分分析(PCA)を用いたK-D木における分割則の設計である。 この新しいアーキテクチャ設計に加えて、事前調整による導入をさらに改善する。
  論文  参考訳（メタデータ） (2022-08-11T17:59:09Z)
• Tree Decomposition Attention for AMR-to-Text Generation [12.342043849587613]
  グラフ内の自己注意を制限するために、グラフのツリー分解を使用します。 動的プログラミングを用いて木分解の森を導出し、AMRと最も構造的に類似した木を選択する。 我々のシステムは1.6BLEUと1.8chrF++の自励ベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-08-27T14:24:25Z)
• Visualizing hierarchies in scRNA-seq data using a density tree-biased autoencoder [50.591267188664666]
  本研究では,高次元scRNA-seqデータから意味のある木構造を同定する手法を提案する。 次に、低次元空間におけるデータのツリー構造を強調する木バイアスオートエンコーダDTAEを紹介する。
  論文  参考訳（メタデータ） (2021-02-11T08:48:48Z)
• SGA: A Robust Algorithm for Partial Recovery of Tree-Structured Graphical Models with Noisy Samples [75.32013242448151]
  ノードからの観測が独立しているが非識別的に分散ノイズによって破損した場合、Ising Treeモデルの学習を検討する。 Katiyarら。 (2020) は, 正確な木構造は復元できないが, 部分木構造を復元できることを示した。 統計的に堅牢な部分木回復アルゴリズムであるSymmetrized Geometric Averaging(SGA)を提案する。
  論文  参考訳（メタデータ） (2021-01-22T01:57:35Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Nested Named Entity Recognition with Partially-Observed TreeCRFs [23.992944831013013]
  ネストネストnerを,部分可観測木を用いた構成構文解析と捉え,部分可観測木crfでモデル化した。 提案手法はACE 2004, ACE 2005データセット上でのSOTA(State-of-the-art)F1スコアを達成し, GENIAデータセット上でのSOTAモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2020-12-15T18:20:36Z)
• Rethinking Learnable Tree Filter for Generic Feature Transform [71.77463476808585]
  Learnable Tree Filterはセマンティックセグメンテーションのためのモデル構造保存関係に対する顕著なアプローチを示す。 幾何学的制約を緩和するために,マルコフ確率場として再構成して解析を行い,学習可能な不定項を導入する。 セマンティックセグメンテーションでは、ベルとホイッスルなしでCityscapesベンチマークでトップパフォーマンス(82.1% mIoU)を達成しています。
  論文  参考訳（メタデータ） (2020-12-07T07:16:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。