論文の概要: Generation with Dynamic Vocabulary
- arxiv url: http://arxiv.org/abs/2410.08481v1
- Date: Fri, 11 Oct 2024 03:19:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 23:34:54.175522
- Title: Generation with Dynamic Vocabulary
- Title(参考訳): 動的語彙による生成
- Authors: Yanting Liu, Tao Ji, Changzhi Sun, Yuanbin Wu, Xiaoling Wang,
- Abstract要約: その結果、マルチトークンを生成する能力は、生成品質と効率の両方をアトミックに改善することがわかった。
動的語彙はプラグイン・アンド・プレイ方式で展開できるため、様々なダウンストリームアプリケーションには魅力的である。
- 参考スコア(独自算出の注目度): 29.27047674999767
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a new dynamic vocabulary for language models. It can involve arbitrary text spans during generation. These text spans act as basic generation bricks, akin to tokens in the traditional static vocabularies. We show that, the ability to generate multi-tokens atomically improve both generation quality and efficiency (compared to the standard language model, the MAUVE metric is increased by 25%, the latency is decreased by 20%). The dynamic vocabulary can be deployed in a plug-and-play way, thus is attractive for various downstream applications. For example, we demonstrate that dynamic vocabulary can be applied to different domains in a training-free manner. It also helps to generate reliable citations in question answering tasks (substantially enhancing citation results without compromising answer accuracy).
- Abstract(参考訳): 言語モデルのための動的語彙を新たに導入する。
生成中に任意のテキストスパンを含むことができる。
これらのテキストは、伝統的な静的語彙のトークンに似た、基本的な世代のレンガとして機能する。
その結果,マルチトークンの生成能力は生成品質と効率の両方をアトミックに向上させる(標準言語モデルと比較すると,MAUVEメトリックは25%向上し,レイテンシは20%低下する)。
動的語彙はプラグイン・アンド・プレイ方式で展開できるため、様々なダウンストリームアプリケーションには魅力的である。
例えば、動的語彙は訓練のない方法で異なる領域に適用できることを示す。
また、質問応答タスク(回答精度を損なうことなく、サブストラテティヴに引用結果を強化する)において、信頼性の高い引用を生成するのにも役立ちます。
関連論文リスト
- Contextualized Automatic Speech Recognition with Dynamic Vocabulary [41.892863381787684]
本稿では,推論中にバイアストークンを付加できる動的語彙を提案する。
バイアスリストの各エントリは、既存のサブワードトークンのシーケンスとは異なり、単一のトークンとして表現される。
実験の結果,提案手法は英語と日本語のデータセットにおけるバイアスフレーズWERを3.1~4.9ポイント改善することがわかった。
論文 参考訳(メタデータ) (2024-05-22T05:03:39Z) - Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。
本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文 参考訳(メタデータ) (2024-02-27T14:16:19Z) - Injecting Wiktionary to improve token-level contextual representations
using contrastive learning [2.761009930426063]
我々は、英語ウィキオンリーを用いて、レキシコンを代替の監督源として注入する方法を検討する。
また、次元の減少が結果の文脈的単語の埋め込みにどのように影響するかを検証する。
論文 参考訳(メタデータ) (2024-02-12T17:22:42Z) - Generative Spoken Language Model based on continuous word-sized audio
tokens [52.081868603603844]
本稿では,単語サイズ連続評価音声埋め込みに基づく生成音声言語モデルを提案する。
結果として得られるモデルは、単語サイズの連続埋め込みに基づく最初の生成言語モデルである。
論文 参考訳(メタデータ) (2023-10-08T16:46:14Z) - Always Keep your Target in Mind: Studying Semantics and Improving
Performance of Neural Lexical Substitution [124.99894592871385]
本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。
目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
論文 参考訳(メタデータ) (2022-06-07T16:16:19Z) - A Plug-and-Play Method for Controlled Text Generation [38.283313068622085]
制御言語生成のためのプラグイン・アンド・プレイ復号法を提案する。
このアプローチの単純さにもかかわらず、実際に驚くほどうまく機能しているのが分かります。
論文 参考訳(メタデータ) (2021-09-20T17:27:03Z) - Allocating Large Vocabulary Capacity for Cross-lingual Language Model
Pre-training [59.571632468137075]
最近の言語間言語モデルでは,語彙の容量が限られているため,多くの言語が不足していることがわかった。
本稿では,各言語の語彙能力を決定するアルゴリズムであるVoCapを提案する。
この問題に対処するために,k-NNに基づくターゲットサンプリングを提案し,コストの高いソフトマックスを高速化する。
論文 参考訳(メタデータ) (2021-09-15T14:04:16Z) - Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。
言語モデルのための完全合成出力埋め込み層を提案する。
我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文 参考訳(メタデータ) (2020-09-24T07:21:14Z) - Multilingual Jointly Trained Acoustic and Written Word Embeddings [22.63696520064212]
このアイデアを複数の低リソース言語に拡張します。
我々は、複数の言語から音声で書き起こされたデータを用いて、AWEモデルとAGWEモデルを共同で訓練する。
事前トレーニングされたモデルは、目に見えないゼロリソース言語や、低リソース言語のデータを微調整するために使用することができる。
論文 参考訳(メタデータ) (2020-06-24T19:16:02Z) - On the Importance of Word Order Information in Cross-lingual Sequence
Labeling [80.65425412067464]
ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。
本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
論文 参考訳(メタデータ) (2020-01-30T03:35:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。