論文の概要: Residual Learning of Neural Text Generation with $n$-gram Language Model
- arxiv url: http://arxiv.org/abs/2210.14431v1
- Date: Wed, 26 Oct 2022 02:42:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 13:01:25.962127
- Title: Residual Learning of Neural Text Generation with $n$-gram Language Model
- Title(参考訳): $n$-gram言語モデルを用いたニューラルテキスト生成の残差学習
- Authors: Huayang Li, Deng Cai, Jin Xu, Taro Watanabe
- Abstract要約: 我々は、$n$-gramのLMと実データ分布の間の残差に適合するニューラルネットワークLMを学習する。
当社のアプローチは、一般的なスタンドアロンニューラルネットワークモデルに対して、継続的にパフォーマンスの向上を実現しています。
- 参考スコア(独自算出の注目度): 41.26228768053928
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: $N$-gram language models (LM) have been largely superseded by neural LMs as
the latter exhibits better performance. However, we find that $n$-gram models
can achieve satisfactory performance on a large proportion of testing cases,
indicating they have already captured abundant knowledge of the language with
relatively low computational cost. With this observation, we propose to learn a
neural LM that fits the residual between an $n$-gram LM and the real-data
distribution. The combination of $n$-gram and neural LMs not only allows the
neural part to focus on the deeper understanding of language but also provides
a flexible way to customize an LM by switching the underlying $n$-gram model
without changing the neural model. Experimental results on three typical
language tasks (i.e., language modeling, machine translation, and
summarization) demonstrate that our approach attains additional performance
gains over popular standalone neural models consistently. We also show that our
approach allows for effective domain adaptation by simply switching to a
domain-specific $n$-gram model, without any extra training. Our code is
released at https://github.com/ghrua/NgramRes.
- Abstract(参考訳): N$-gram言語モデル(LM)は、より優れた性能を示すため、ニューラルなLMに取って代わられている。
しかし,$n$-gramモデルでは,比較的計算コストの低い言語知識を既に獲得していることから,多数のテストケースにおいて良好な性能が得られることがわかった。
この観察により,n$-gram lmと実データ分布の間の残差に適合するニューラルネットワークlmを学習することを提案する。
n$-gramとneural lmsの組み合わせにより、ニューラルネットワークは言語をより深く理解することに集中できるだけでなく、ニューラルモデルを変更することなく基礎となる$n$-gramモデルを切り替えることで、lmをカスタマイズするための柔軟な方法を提供する。
3つの典型的な言語タスク(言語モデリング、機械翻訳、要約)に関する実験結果から、我々のアプローチは、一般的なスタンドアロンニューラルネットワークモデルよりも、継続的にパフォーマンスが向上することを示した。
また、本手法はドメイン固有の$n$-gramモデルに切り替えるだけで、余分なトレーニングをすることなく、効果的なドメイン適応を可能にすることを示す。
私たちのコードはhttps://github.com/ghrua/ngramresでリリースしています。
関連論文リスト
- Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion
Tokens [148.44679480658303]
神経大言語モデル(LLM)の時代において,n-gram言語モデルはいまだに関係していることを示す。
Infini-gramという名前のエンジン - 接尾辞配列をベースとして - はミリ秒レベルのレイテンシで$infty$-gramの確率を計算することができる。
その結果,次の予測精度(47%)はかなり高く,言語モデリングの難易度を大幅に低減するために,ニューラルLLMを補うことができることがわかった。
論文 参考訳(メタデータ) (2024-01-30T19:03:49Z) - In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。
我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳(メタデータ) (2024-01-23T18:59:21Z) - A Natural Bias for Language Generation Models [31.44752136404971]
我々は、一グラムの周波数統計を先行知識として反映した別個のモジュールで、標準のニューラルネットワーク生成モデルを実現することができることを示す。
この単純なテクニックのテストベッドとしてニューラルマシン翻訳を使用し、(i)学習効率の向上、(ii)全体的なパフォーマンスの向上、そしておそらく最も重要なことは、強い周波数効果を歪めているように見えることです。
論文 参考訳(メタデータ) (2022-12-19T18:14:36Z) - Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た
ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。
マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
論文 参考訳(メタデータ) (2021-06-10T10:18:23Z) - Pre-training Multilingual Neural Machine Translation by Leveraging
Alignment Information [72.2412707779571]
mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。
我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
論文 参考訳(メタデータ) (2020-10-07T03:57:54Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳(メタデータ) (2020-09-21T02:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。