論文の概要: TreeCoders: Trees of Transformers

• arxiv url: http://arxiv.org/abs/2411.07218v1
• Date: Mon, 11 Nov 2024 18:40:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:12:13.129443
• Title: TreeCoders: Trees of Transformers
• Title（参考訳）: TreeCoders: トランスフォーマーのツリー
• Authors: Pierre Colonna D'Istria, Abdulrahman Altahhan,
• Abstract要約: トランスフォーマーツリーの新しいファミリーであるTreeCodersを紹介します。 トランスフォーマーはノードとして機能し、ジェネリック分類器は最高の子を選択することを学ぶ。 TreeCodersは当然、分散実装に役立ちます。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper, we introduce TreeCoders, a novel family of transformer trees. We moved away from traditional linear transformers to complete k-ary trees. Transformer blocks serve as nodes, and generic classifiers learn to select the best child and route the sequence of tokens to a specific leaf. The selectors, moved outside the transformer blocks, allow for the use of a variety of architecture without further modifications. Furthermore, our proposed architecture supports sparse node activation due to the logarithmic complexity of a tree search. We validate our idea by testing a series of decoder-only tree transformers, achieving competitive results across a diverse range of language datasets. Our study demonstrates that the proposed tree transformer model outperforms a size-equivalent linear transformer model 76\% of the time over a wide range of tree architectures. Furthermore, our proposed model naturally lends itself to distributed implementation.
• Abstract（参考訳）: 本稿では,トランスフォーマーツリーの新しいファミリーであるTreeCodersを紹介する。 従来の線形変換器から離れ、k-ary木を完成させました。 Transformerブロックはノードとして機能し、ジェネリック分類器は最適な子を選択し、トークンのシーケンスを特定の葉にルーティングする。 セレクタは変圧器ブロックの外側に移動し、さらなる変更なしに様々なアーキテクチャを使用することができる。 さらに,木探索の対数的複雑さにより,スパースノードの活性化をサポートするアーキテクチャを提案する。 一連のデコーダのみのツリートランスフォーマーをテストして、さまざまな言語データセットの競合的な結果を達成することで、私たちのアイデアを検証する。 本研究により,提案手法は,木構造全体の76 %の時間において,大きさ等価な線形変圧器モデルよりも優れた性能を示すことが示された。 さらに,本提案モデルは分散実装に自然に寄与する。

関連論文リスト

• Tree Transformers are an Ineffective Model of Syntactic Constituency [0.0]
  言語学者は、自然言語構文の重要な側面は、言語単位を構成構造にまとめることである、と長い間考えてきた。 ツリー変換器など、選挙区に対する帰納バイアスを提供するために、いくつかの代替モデルが提案されている。 木形質変換器を用いて意味的・有用な構成構造を利用するかどうかを検討する。
  論文  参考訳（メタデータ） (2024-11-25T23:53:46Z)
• Terminating Differentiable Tree Experts [77.2443883991608]
  本稿では,変圧器と表現生成器の組み合わせを用いて木操作を学習するニューラルシンボリック微分木機械を提案する。 まず、専門家の混在を導入することで、各ステップで使用される一連の異なるトランスフォーマーレイヤを取り除きます。 また,モデルが自動生成するステップ数を選択するための新しい終端アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-02T08:45:38Z)
• Transformers Provably Learn Sparse Token Selection While Fully-Connected Nets Cannot [50.16171384920963]
  トランスフォーマーアーキテクチャは 様々なディープラーニング環境で普及しています 勾配降下で訓練された一層変圧器はスパーストークン選択タスクを確実に学習する。
  論文  参考訳（メタデータ） (2024-06-11T02:15:53Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Tree Variational Autoencoders [5.992683455757179]
  本稿では,潜在変数上の柔軟木に基づく後続分布を学習する階層的階層クラスタリングモデルを提案する。 TreeVAEは、本質的な特徴に従ってサンプルを階層的に分割し、データ内の隠れた構造に光を遮る。
  論文  参考訳（メタデータ） (2023-06-15T09:25:04Z)
• Differentiable Tree Operations Promote Compositional Generalization [106.59434079287661]
  微分可能ツリーマシン(DTM)アーキテクチャは、インタプリタと外部メモリとエージェントを統合し、ツリー操作をシーケンシャルに選択することを学ぶ。 DTMは100%、Transformer、Tree Transformer、LSTM、Tree2Tree LSTMといった既存のベースラインは30%以下である。
  論文  参考訳（メタデータ） (2023-06-01T14:46:34Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)
• Trees in transformers: a theoretical analysis of the Transformer's ability to represent trees [6.576972696596151]
  まず、木構造を学習するための標準トランスフォーマーアーキテクチャの理論的能力について分析する。 これは、トランスフォーマーが理論上ツリー構造をうまく学習できることを意味している。 合成データを用いて実験を行い,木の位置情報を明示的に符号化した変換器と比較して,標準変換器の精度が同等であることが確認された。
  論文  参考訳（メタデータ） (2021-12-16T00:02:02Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。