論文の概要: Exploring Design Choices for Building Language-Specific LLMs

• arxiv url: http://arxiv.org/abs/2406.14670v2
• Date: Wed, 30 Oct 2024 16:33:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:25:30.855885
• Title: Exploring Design Choices for Building Language-Specific LLMs
• Title（参考訳）: 言語特異的LLM構築のための設計選択の探索
• Authors: Atula Tejaswi, Nilesh Gupta, Eunsol Choi,
• Abstract要約: 単言語モデルと多言語モデルを適用し,言語固有の言語モデルの構築について検討する。 LLMの初期性能は適応後の最終性能と必ずしも相関しないことがわかった。
• 参考スコア（独自算出の注目度）: 36.32622880071991
• License:
• Abstract: Despite rapid progress in large language models (LLMs), their performance on a vast majority of languages remains unsatisfactory. In this paper, we study building language-specific LLMs by adapting monolingual and multilingual LLMs. We conduct systematic experiments on how design choices (base model selection, vocabulary extension, and continued pretraining) impact the adapted LLM, both in terms of efficiency (how many tokens are needed to encode the same amount of information) and end task performance. We find that (1) the initial performance of LLM does not always correlate with the final performance after the adaptation. Adapting an English-centric models can yield better results than adapting multilingual models despite their worse initial performance on low-resource languages. (2) Efficiency can easily improved with simple vocabulary extension and continued pretraining in most LLMs we study, and (3) The optimal adaptation method (choice of the base model, new vocabulary size, training data, initialization strategy) is highly language-dependent, and the simplest embedding initialization works well across various experimental settings. Together, our work lays foundations on efficiently building language-specific LLMs by adapting existing LLMs.
• Abstract（参考訳）: 大きな言語モデル(LLM)の急速な進歩にもかかわらず、ほとんどの言語でのパフォーマンスは相変わらず満足できない。 本稿では,言語固有のLLMをモノリンガルおよび多言語LLMに適応させることにより構築する。 設計選択(基本モデル選択、語彙拡張、継続事前学習)がLLMにどう影響するかを、効率(同じ量の情報をエンコードするためにトークンがいくつ必要か)とタスクパフォーマンスの両面で体系的に実験する。 1) LLMの初期性能は, 適応後の最終性能と必ずしも相関しないことがわかった。 英語中心のモデルに適応すると、低リソース言語での性能が悪くても、多言語モデルに適応するよりも良い結果が得られる。 2) 簡便な語彙拡張と継続事前学習により効率は容易に向上し, (3) 最適適応法(基本モデルの選択, 新たな語彙サイズ, トレーニングデータ, 初期化戦略)は言語に依存し, 最も単純な埋め込み初期化は様々な実験環境において良好に機能する。 本研究は,既存の LLM を適応させることにより,言語固有の LLM を効率的に構築することの基礎となる。

関連論文リスト

• Stacking Small Language Models for Generalizability [0.0]
  大規模言語モデル(LLM)は、異なる自然言語ベンチマークで強いパフォーマンスを一般化する。 本稿では,言語モデルの微調整スタック (FSLM) と呼ばれる新しいアプローチを提案する。 特定のタスクを実行するために各SLMを微調整することにより、このアプローチは、特定のSLMが責任を負う複数の低レベルステップに高レベル推論を分解する。 その結果、FSLMはトレーニングと推論のコストを低減し、各SLMが後続のSLMと自然言語を介して通信するので、モデルの解釈性を向上させることができる。
  論文  参考訳（メタデータ） (2024-10-21T01:27:29Z)
• Bridging the Gap: Dynamic Learning Strategies for Improving Multilingual Performance in LLMs [15.911445732909849]
  大規模言語モデル(LLM)は、世界中の多くのドメインを変換する最前線にある。 しかしながら、その傾向と有効性は、非ラテン文字や低リソース言語に限られている。 本稿では,LLMの多言語的性能向上を,広範囲の訓練や微調整を伴わずに行うことの必須課題に対処する。
  論文  参考訳（メタデータ） (2024-05-28T16:56:42Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
  教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。 提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。 そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
  論文  参考訳（メタデータ） (2024-03-04T10:48:13Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)
• Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback [61.83548032416181]
  複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。 オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
  論文  参考訳（メタデータ） (2023-07-29T18:01:46Z)
• Breaking Language Barriers with a LEAP: Learning Strategies for Polyglot LLMs [5.682384717239095]
  大規模言語モデル(LLM)は、世界中の多くのドメインを変換する最前線にある。 本稿では,LLMの多言語性能向上のための命令的課題に取り組む。 ポリグロットランドスケープにおけるLLMの真のポテンシャルを解き放つ新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-28T14:48:38Z)
• LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
  本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。 我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
  論文  参考訳（メタデータ） (2022-11-10T05:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。