Fugu-MT 論文翻訳(概要): Arbitrary-Length Generalization for Addition in a Tiny Transformer

論文の概要: Arbitrary-Length Generalization for Addition in a Tiny Transformer

arxiv url: http://arxiv.org/abs/2406.00075v2
Date: Wed, 12 Jun 2024 03:40:35 GMT
ステータス: 処理完了
システム内更新日: 2024-06-13 21:55:11.017513
Title: Arbitrary-Length Generalization for Addition in a Tiny Transformer
Title（参考訳）: 調波変圧器の付加に対する任意長一般化法
Authors: Alexandre Galvao Patriota,
Abstract要約: 本稿では,トランスフォーマーモデルを用いて,未知の桁数に対する2桁数の追加を一般化する学習手法を提案する。提案手法では, 右から左へ処理を行う自己回帰生成手法を用いて, 多数の値を追加するための共通手動手法を模倣する。
参考スコア（独自算出の注目度）: 55.2480439325792
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper introduces a novel training methodology that enables a Transformer model to generalize the addition of two-digit numbers to numbers with unseen lengths of digits. The proposed approach employs an autoregressive generation technique, processing from right to left, which mimics a common manual method for adding large numbers. To the best of my knowledge, this methodology has not been previously explored in the literature. All results are reproducible, and the corresponding R code is available at github.com/AGPatriota/ALGA-R/.
Abstract（参考訳）: 本稿では,トランスフォーマーモデルを用いて,未知の桁数に対する2桁数の追加を一般化する学習手法を提案する。提案手法では, 右から左へ処理を行う自己回帰生成手法を用いて, 多数の値を追加するための共通手動手法を模倣する。私の知る限りでは、この方法論は文献ではこれまで研究されていない。すべての結果は再現可能であり、対応するRコードはgithub.com/AGPatriota/ALGA-R/で入手できる。

関連論文リスト

How to Leverage Digit Embeddings to Represent Numbers? [13.880400817682059]
1+2の代わりに100+200を解くような一般化は、モデルの性能に大きく影響する。数字の文字レベルの埋め込みは、数値表現を改善するための有望なアプローチとして現れている。我々は、数値的な先行計算を用いて、集約された桁埋め込みを計算し、これらの集合をトランスフォーマーモデルに明示的に組み込む。
論文参考訳（メタデータ） (2024-07-01T01:31:41Z)
Reverse That Number! Decoding Order Matters in Arithmetic Learning [49.5504492920404]
本研究は,最少の桁から出力を優先順位付けすることで,桁順を再評価する新たな戦略を導入する。従来のSOTA法と比較すると,通常のトレーニングで使用するトークンの3分の1しか必要とせず,精度の全体的な改善が見られた。
論文参考訳（メタデータ） (2024-03-09T09:04:53Z)
GEC-DePenD: Non-Autoregressive Grammatical Error Correction with Decoupled Permutation and Decoding [52.14832976759585]
文法的誤り訂正(GEC)は、通常自己回帰的なシーケンス・ツー・シーケンスモデルで解決される重要なNLPタスクである。本稿では, アーキテクチャを置換ネットワークに分離する, GEC に対する非自己回帰的アプローチを提案する。 GECの既知の非自己回帰手法よりもネットワークが向上することを示す。
論文参考訳（メタデータ） (2023-11-14T14:24:36Z)
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文参考訳（メタデータ） (2021-10-12T22:42:31Z)
Long-Span Dependencies in Transformer-based Summarization Systems [38.672160430296536]
トランスフォーマティブベースのモデルは、文書要約を含む幅広い自然言語処理(nlp)タスクで最先端の結果を達成している。これらのトランスベースのモデルの1つの問題は、入力長が増加するにつれてメモリと計算要件の点でうまくスケールしないことである。本研究では,事前学習された大規模トランスフォーマーモデルを用いて,抽象的要約における長大な依存関係に対処する。
論文参考訳（メタデータ） (2021-05-08T23:53:03Z)
Handwritten Mathematical Expression Recognition with Bidirectionally Trained Transformer [2.952085248753861]
トランスデコーダデコーダを使用してRNNベースのデコーダを置き換える。実験により, CROHME 2014における現在の最先端手法のExpRateを2.23%改善した。
論文参考訳（メタデータ） (2021-05-06T03:11:54Z)
LT-LM: a novel non-autoregressive language model for single-shot lattice rescoring [55.16665077221941]
本稿では,格子全体をモデルへの単一呼び出しで処理する新しいリスコリング手法を提案する。当社のリコリングポリシーの主な特徴は、新しい非回帰的格子変換言語モデル(LT-LM)です。
論文参考訳（メタデータ） (2021-04-06T14:06:07Z)
Adding Recurrence to Pretrained Transformers for Improved Efficiency and Context Size [41.624797099537375]
本稿では,事前学習したトランスフォーマー言語モデルを適用する新しい手法を提案する。 PG-19 と WikiText-103 コーパスの未修正 GPT-2 モデルよりも難易度が高いことがわかった。
論文参考訳（メタデータ） (2020-08-16T23:19:30Z)
POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。