論文の概要: Structural priors for data-efficient language learning

• arxiv url: http://arxiv.org/abs/2609.11505v1
• Date: Thu, 10 Sep 2026 13:12:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.364185
• Title: Structural priors for data-efficient language learning
• Title（参考訳）: データ効率のよい言語学習のための構造的先行
• Abstract要約: 構造的移動について検討する: 自然言語に有用な先行情報を誘導する非言語データのトレーニングモデル。 我々は、次トーケン予測損失、モデルの重み変化、下流言語ベンチマークによる転送を評価する。 我々は,非言語データが次世代予測の訓練目的の言語データの部分的代用として機能するが,より広範な言語一般化を確実に支援していないと結論づける。
• 参考スコア（独自算出の注目度）: 3.3178771329842185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient language learning requires methods to reduce the reliance on large data and computational resources. We investigate structural transfer: First training models on non-language data to induce useful priors for natural language. This approach is a form of weight initialization for multilingual language modeling. We evaluate transfer via next-token-prediction loss, weight shifts in the model, and downstream linguistic benchmarks. Several symbolic data types - notably music, probabilistic grammars, and cellular automata - yield lower language-modeling loss than random initialization. These gains coincide with smaller weight shifts during subsequent language training, suggesting that structural transfer positions models in a more favorable region of the parameter space. However, a lower loss does not translate consistently into better downstream linguistic performance, and transfer from non-language data is less efficient than additional language data. We conclude that non-language data can serve as a partial substitute for language data for the training objective of next-token prediction but does not reliably support broader linguistic generalization.
• Abstract（参考訳）: 効率的な言語学習には、大規模データや計算資源への依存を減らす方法が必要である。 構造的移動について検討する: 自然言語に有用な先行情報を誘導する非言語データのトレーニングモデル。 このアプローチは多言語言語モデリングにおける重み付け初期化の一形態である。 我々は、次トーケン予測損失、モデルの重み変化、下流言語ベンチマークによる転送を評価する。 いくつかの記号データタイプ(特に音楽、確率文法、セルオートマトン)は、ランダムな初期化よりも言語モデリングの損失が低い。 これらの利得は、その後の言語訓練において、より小さいウェイトシフトと一致し、パラメータ空間のより好ましい領域における構造的移動位置モデルが示唆される。 しかし、低損失は一貫して下流言語のパフォーマンスに変換されず、非言語データからの転送は追加の言語データよりも効率が低い。 我々は,非言語データが次世代予測の訓練目的の言語データの部分的代用として機能するが,より広範な言語一般化を確実に支援していないと結論づける。

関連論文リスト

• Training Bilingual LMs with Data Constraints in the Targeted Language [17.623676545426477]
  本研究では,事前学習データ不足を伴う対象言語における事前学習モデルの性能向上について検討する。 本研究では,データ豊富な補助言語におけるトレーニングとデータ間のパフォーマンスギャップを,対象言語のトレーニングと比較して定量化する。
  論文  参考訳（メタデータ） (2024-11-20T02:27:40Z)
• Self-Translate-Train: Enhancing Cross-Lingual Transfer of Large Language Models via Inherent Capability [31.025371443719404]
  自己翻訳-トレイン(Self-Translate-Train)は、大規模言語モデルがトレーニングデータをターゲット言語に翻訳し、自身の生成されたデータに基づいてモデルを微調整する手法である。 自己翻訳-トレインがゼロショット転送より優れていることを示すことによって、LLMの言語間機能を引き出すためのより良い手法のさらなる探索を奨励する。
  論文  参考訳（メタデータ） (2024-06-29T14:40:23Z)
• Continual Learning Under Language Shift [6.0783165755651325]
  新しいデータが新しい言語から来るとき、言語モデルを更新する長所と短所について検討する。 本研究では,事前学習の順序や言語の特徴に,前向きおよび後向きの伝達効果がどのように依存するかを検討する。
  論文  参考訳（メタデータ） (2023-11-02T12:54:50Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Improving Cross-lingual Information Retrieval on Low-Resource Languages via Optimal Transport Distillation [21.057178077747754]
  本稿では,低リソースな言語間情報検索のためのOPTICAL: Optimal Transport 蒸留法を提案する。 クエリドキュメントマッチングの知識から言語間知識を分離することにより、OPTICALは蒸留訓練のためのbitextデータのみを必要とする。 実験結果から,OPTICALは最小限のトレーニングデータにより,低リソース言語上での強いベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-01-29T22:30:36Z)
• Efficient Language Model Training through Cross-Lingual and Progressive Transfer Learning [0.7612676127275795]
  ほとんどのトランスフォーマー言語モデルは英語のテキストで事前訓練されている。 モデルのサイズが大きくなるにつれて、英語と他の言語のパフォーマンスギャップはさらに大きくなる。 我々はCLP-Transferと呼ばれる言語横断的・進行的トランスファー学習手法を導入する。
  論文  参考訳（メタデータ） (2023-01-23T18:56:12Z)
• Language Agnostic Multilingual Information Retrieval with Contrastive Learning [59.26316111760971]
  本稿では,多言語情報検索システムの学習方法を提案する。 並列コーパスと非並列コーパスを利用して、事前訓練された多言語言語モデルを改善する。 我々のモデルは少数のパラレル文でもうまく機能する。
  論文  参考訳（メタデータ） (2022-10-12T23:53:50Z)
• Language Contamination Explains the Cross-lingual Capabilities of English Pretrained Models [79.38278330678965]
  一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。 これにより、大規模なデータセットで数十億の外国語トークンが生成される。 そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
  論文  参考訳（メタデータ） (2022-04-17T23:56:54Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Pre-Training a Language Model Without Human Language [74.11825654535895]
  先行学習データの本質的性質が下流性能の微調整にどのように寄与するかを検討する。 非構造化データで事前に訓練されたモデルは、下流のタスクでゼロから訓練されたモデルに勝った。 驚くべきことに、特定の非人間言語データの事前トレーニングがGLUEのパフォーマンスを他の非英語言語で事前トレーニングされたパフォーマンスに近づけることを明らかにしました。
  論文  参考訳（メタデータ） (2020-12-22T13:38:06Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。