Fugu-MT 論文翻訳(概要): Partial Answer of How Transformers Learn Automata

論文の概要: Partial Answer of How Transformers Learn Automata

arxiv url: http://arxiv.org/abs/2504.20395v1
Date: Tue, 29 Apr 2025 03:35:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:54.73542
Title: Partial Answer of How Transformers Learn Automata
Title（参考訳）: トランスフォーマーがオートマタの学習方法に関する部分回答
Authors: Tiantian, Zhang,
Abstract要約: 本稿では,表現理論的半間接積とフーリエ加群を用いて有限オートマトンをシミュレートする新しいフレームワークを提案し,より効率的なトランスフォーマーベースの実装を実現する。
参考スコア（独自算出の注目度）: 58.02360042538258
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce a novel framework for simulating finite automata using representation-theoretic semidirect products and Fourier modules, achieving more efficient Transformer-based implementations.
Abstract（参考訳）: 本稿では,表現理論的半間接積とフーリエ加群を用いて有限オートマトンをシミュレートする新しいフレームワークを提案し,より効率的なトランスフォーマーベースの実装を実現する。

関連論文リスト

Quantization-Free Autoregressive Action Transformer [18.499864366974613]
現在のトランスフォーマーに基づく模倣学習アプローチは、離散的なアクション表現を導入し、結果として生じる潜在コードに対して自己回帰型トランスフォーマーデコーダを訓練する。本稿では,自動回帰変換器の直接的かつ連続的なポリシパラメトリゼーションとして生成無限語彙変換器(GIVT)を利用する量子化フリー手法を提案する。
論文参考訳（メタデータ） (2025-03-18T13:50:35Z)
Converting Transformers into DGNNs Form [3.7468283401703797]
ダイグラフフーリエ変換に基づく合成ユニタリグラフ畳み込みを導入する。 Converterと呼ぶ結果のモデルは、トランスフォーマーをダイレクトグラフニューラルネットワーク形式に効果的に変換する。我々は、Long-Range Arenaベンチマーク、Long-Range Arena分類、DNAシークエンスに基づく分類でConverterを検証した。
論文参考訳（メタデータ） (2025-02-01T22:44:46Z)
MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
論文参考訳（メタデータ） (2024-05-25T03:24:32Z)
Simulating Weighted Automata over Sequences and Trees with Transformers [5.078561931628571]
DFAを仮定するモデルのクラスである重み付き有限オートマトン (WFAs) と重み付き木オートマトン (WTA) をシミュレートできることを示す。我々はこれらの主張を正式に証明し、ターゲットオートマタの状態数の関数として必要とされる変換器モデルのサイズについて上限を与える。
論文参考訳（メタデータ） (2024-03-12T21:54:34Z)
Investigating Recurrent Transformers with Dynamic Halt [64.862738244735]
本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。提案手法を拡張・結合する新しい手法を提案し,検討する。
論文参考訳（メタデータ） (2024-02-01T19:47:31Z)
Beyond Self Attention: A Subquadratic Fourier Wavelet Transformer with Multi Modal Fusion [0.0]
変圧器のアテンション機構を代替するスペクトル技術について再検討する。次世代変圧器モデルにおけるこの手法の包括的で斬新な改質について述べる。
論文参考訳（メタデータ） (2021-11-25T18:03:41Z)
FNetAR: Mixing Tokens with Autoregressive Fourier Transforms [0.0]
本稿では、FNetARが因果言語モデリングのタスクにおいて、最先端の性能(25.8ppl)を維持していることを示す。自己回帰フーリエ変換は、ほとんどのTransformerベースの時系列予測モデルにおけるパラメータとして使われる可能性がある。
論文参考訳（メタデータ） (2021-07-22T21:24:02Z)
Scalable Transformers for Neural Machine Translation [86.4530299266897]
トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
論文参考訳（メタデータ） (2021-06-04T04:04:10Z)
Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2020-05-20T17:25:43Z)
Addressing Some Limitations of Transformers with Feedback Memory [51.94640029417114]
トランスフォーマーは、フィードフォワードネットワークであるにもかかわらず、シーケンシャルな自動回帰タスクにうまく適用されている。本稿では、過去のすべての表現を将来のすべての表現に公開する、フィードバックトランスフォーマーアーキテクチャを提案する。言語モデリング、機械翻訳、強化学習の様々なベンチマークにおいて、表現能力の増大は、同等のトランスフォーマーよりもはるかに強力なパフォーマンスを持つ、小さくて浅いモデルを生成することができることを実証する。
論文参考訳（メタデータ） (2020-02-21T16:37:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。