論文の概要: Large Language Model Inference with Lexical Shortlisting
- arxiv url: http://arxiv.org/abs/2311.09709v1
- Date: Thu, 16 Nov 2023 09:35:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 15:19:49.343674
- Title: Large Language Model Inference with Lexical Shortlisting
- Title(参考訳): 語彙ショートリストを用いた大規模言語モデル推論
- Authors: Nikolay Bogoychev, Pinzhen Chen, Barry Haddow, Alexandra Birch
- Abstract要約: 大規模言語モデル(LLM)の推論は計算とメモリ集約であり、語彙的ショートリストに適応する。
Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という,LLM推論時にサブ語彙をショートリスト化する2つのタスクについて検討する。
語彙的ショートリストは,一部のモデルのメモリ使用量を50%近く削減し,生成速度が25%向上することを示す。
- 参考スコア(独自算出の注目度): 80.46235795566183
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) inference is computation and memory intensive, so
we adapt lexical shortlisting to it hoping to improve both. While lexical
shortlisting is well-explored in tasks like machine translation, it requires
modifications before being suitable for LLMs as the intended applications vary
significantly. Our work studies two heuristics to shortlist sub-vocabulary at
LLM inference time: Unicode-based script filtering and corpus-based selection.
We explore different LLM families and sizes, and we find that lexical
shortlisting can reduce the memory usage of some models by nearly 50\% and has
an upper bound of 25\% improvement in generation speed. In this pilot study, we
also identify the drawbacks of such vocabulary selection methods and propose
avenues for future research.
- Abstract(参考訳): 大規模言語モデル(llm)の推論は計算とメモリ集約であるため、両方の改善を期待する語彙的ショートリストをそれに適合させます。
語彙的ショートリストは機械翻訳のようなタスクでよく研究されているが、意図された用途が異なるため、LLMに適合する前に修正が必要である。
我々の研究は、LLM推論時間におけるサブ語彙をショートリスト化する2つのヒューリスティックス:Unicodeベースのスクリプトフィルタリングとコーパスベースの選択について研究している。
我々は、異なるllmファミリーとサイズを調査し、辞書的ショートリストにより、いくつかのモデルのメモリ使用量を約50\%削減し、世代速度を25\%向上させることができることを見出した。
本実験では,このような語彙選択手法の欠点を特定し,今後の研究への道筋を提案する。
関連論文リスト
- Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。
意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。
本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
論文 参考訳(メタデータ) (2023-12-24T15:10:35Z) - Retrieving Texts based on Abstract Descriptions [63.89087805237351]
埋め込みベクトル上の類似性検索は、クエリによる検索を可能にするが、埋め込みに反映される類似性は不定義であり、一貫性がない。
我々は,その内容の抽象的記述に基づいて文を検索する,明確に定義された一貫したタスクを同定する。
そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
論文 参考訳(メタデータ) (2023-05-21T17:14:31Z) - Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。
我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文 参考訳(メタデータ) (2023-04-27T14:45:55Z) - XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked
Language Models [100.29953199404905]
語彙重複の少ない言語間でのトークン共有を非強調化することにより,多言語語彙に拡張する新たなアプローチを提案する。
我々は100万のトークン語彙を持つ多言語言語モデルであるXLM-Vを訓練する。
XLM-V は低リソースの言語タスクに特に有効であり、マサハナーとアメリカの NLI では XLM-R を 11.2% と 5.8% で上回っている。
論文 参考訳(メタデータ) (2023-01-25T09:15:17Z) - WinoDict: Probing language models for in-context word acquisition [32.81587292382359]
推論中に新しい単語を学習するLarge Language Models(LLM)の能力を測定するために,新しい文脈内学習パラダイムを導入する。
ベンチマークの結果,元のWinogradタスクと比較してLLMの精度が大幅に低下していることが判明した。
論文 参考訳(メタデータ) (2022-09-25T05:30:13Z) - LEXpander: applying colexification networks to automated lexicon
expansion [0.16804697591495946]
LEXpander は,新しいコネクティフィケーションデータを活用する辞書拡張手法である。
LEXpanderは,単語リストの精度とリコールのトレードオフの両面から,既存の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-05-31T14:55:29Z) - Does Transliteration Help Multilingual Language Modeling? [0.0]
多言語言語モデルに対する音訳の効果を実証的に測定する。
私たちは、世界で最もスクリプトの多様性が高いIndic言語にフォーカスしています。
比較的高いソースコード言語に悪影響を及ぼすことなく、低リソース言語にトランスリテラゼーションが有効であることに気付きました。
論文 参考訳(メタデータ) (2022-01-29T05:48:42Z) - Exploiting Language Relatedness for Low Web-Resource Language Model
Adaptation: An Indic Languages Study [14.34516262614775]
言語族における言語間の関連性は、LRLのコーパス制限を克服するために悪用される可能性があると論じる。
我々はインドの言語に焦点をあて,(1)スクリプト(ブラフミック文字から派生した多くのインデックススクリプト)と(2)文構造という2つの次元に沿った関連性を活用する。
論文 参考訳(メタデータ) (2021-06-07T20:43:02Z) - Multilingual Autoregressive Entity Linking [49.35994386221958]
mGENREはMultilingual Entity Linking問題のためのシーケンス対シーケンスシステムである。
与えられた言語で言及すると、mGENREはターゲットエンティティの名前を左から右へ、トークンごとに予測します。
提案手法の有効性を3つのMELベンチマーク実験を含む広範囲な評価により示す。
論文 参考訳(メタデータ) (2021-03-23T13:25:55Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳(メタデータ) (2020-12-31T11:37:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。