論文の概要: Instability of LLM Pre-Pretraining: It Doesn't Always Help. An Investigation on Multiple Languages

• arxiv url: http://arxiv.org/abs/2608.08800v1
• Date: Sun, 09 Aug 2026 16:26:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.954019
• Title: Instability of LLM Pre-Pretraining: It Doesn't Always Help. An Investigation on Multiple Languages
• Title（参考訳）: LLMプレトレーニングの不安定性:それはいつも役に立たない。複数の言語に関する調査
• Authors: Sofiia Riazhskykh, Nam Luu, Ondřej Bojar,
• Abstract要約: 人工言語("pre-pretraining")でのLLMの事前トレーニングは、トークン効率を33%向上させる可能性があると報告されているテクニックである。 4つの語族にまたがるより大きな自然言語集合に対して、英語の事前結果を検証した。 また、トークン効率の観測値(または損失)を言語の言語特性の定量化に関連づける。
• 参考スコア（独自算出の注目度）: 0.3441021278275805
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pretraining LLMs on artificial languages ("pre-pretraining") is a technique that could reportedly increase token efficiency by 33%, i.e., save up to 33% of training tokens needed to reach a certain performance. We validate this prior result for English on a larger set of natural languages across four language families, using two different tokenizers and varying model sizes. We also relate the observed gains (or losses) in token efficiency to quantified linguistic properties of the languages, such as sentence length, morphological richness, and features of dependency syntactic trees (tree depth, number of children, number of crossing dependencies). Our empirical results indicate that the reported gains depend heavily on the experiment setup and the choice of random seed, although we can confirm the trend of stable gains with 128-Dyck pretraining of small models with the Llama tokenizer for most of the examined languages. On a general note, we argue that multiple training runs should be carried out at least for a subset of experiments to avoid the community adopting unstable approaches.
• Abstract（参考訳）: 人工言語上でのLLMの事前トレーニング(Pretraining LLM)は、トークン効率を33%向上させる、すなわち特定のパフォーマンスに到達するために必要なトレーニングトークンの最大33%を節約できる技術である。 2つの異なるトークン化器と異なるモデルサイズを用いて、4つの言語ファミリーにわたるより大きな自然言語集合に対して、この事前結果を検証した。 また, 文長, 形態的豊かさ, 依存構文木(木深度, 子数, 交叉関係の数)の特徴などの言語特性の定量化に, トークン効率の観測値(あるいは損失)を関連づけた。 実験の結果,実験結果から得られたゲインは実験装置とランダムシードの選択に大きく依存しているが,Llamaトークン化器を用いた小型モデルの128-Dyck事前学習で安定ゲインの傾向を確認することができる。 一般論として、コミュニティが不安定なアプローチを採用するのを避けるために、少なくとも一部の実験では、複数のトレーニングを実施すべきである、と論じる。

関連論文リスト

• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Tokenizer Choice For LLM Training: Negligible or Crucial? [30.33170936148845]
  24個の単言語LLMと多言語LLMを学習し,トークン化選択が大規模言語モデル(LLM)の下流性能に与える影響について検討した。 トークン化ツールの選択は、ダウンストリームのパフォーマンスとトレーニングコストに大きな影響を与えます。 ヨーロッパの5言語で訓練された多言語トークン化器は,英語と比較して語彙サイズが3倍に大きくなることが示唆された。
  論文  参考訳（メタデータ） (2023-10-12T22:44:19Z)
• How Robust is Neural Machine Translation to Language Imbalance in Multilingual Tokenizer Training? [86.48323488619629]
  トークン化学習コーパスにおいて,言語間でのデータ比が変化するにつれて,翻訳性能がどう変化するかを分析する。 言語が均等にサンプリングされる場合、比較的優れたパフォーマンスが観察されることが多いが、下流のパフォーマンスは、通常予想していたよりも、言語の不均衡に対して堅牢である。
  論文  参考訳（メタデータ） (2022-04-29T17:50:36Z)
• Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency [62.0887259003594]
  本研究では,多言語事前学習言語モデルにおける構造化プルーニングの3つの側面について検討する。 9つの下流タスクの実験は、いくつかの反直観的な現象を示している。 モデルを一度トレーニングし、推論時に異なるモデルサイズに適応できるシンプルなアプローチであるDynamic Sparsificationを紹介します。
  論文  参考訳（メタデータ） (2022-04-06T06:29:52Z)
• Analysing The Impact Of Linguistic Features On Cross-Lingual Transfer [3.299672391663527]
  我々は、最先端の多言語モデルを分析し、言語間の良い伝達に何が影響するかを判断する。 また,特定の構文特徴を見ることは,構文的類似性の集合よりも,性能予測に2～4倍有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-12T21:22:58Z)
• Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation [61.88012735215636]
  unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。 UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。 本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
  論文  参考訳（メタデータ） (2020-04-21T17:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。