論文の概要: Domain-adaptative Continual Learning for Low-resource Tasks: Evaluation on Nepali

• arxiv url: http://arxiv.org/abs/2412.13860v1
• Date: Wed, 18 Dec 2024 13:53:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:49:10.392749
• Title: Domain-adaptative Continual Learning for Low-resource Tasks: Evaluation on Nepali
• Title（参考訳）: 低リソース課題に対するドメイン適応型連続学習:ネパールにおける評価
• Authors: Sharad Duwal, Suraj Prasai, Suresh Manandhar,
• Abstract要約: ドメイン適応型事前トレーニング(DAPT)は、トレーニング済みの言語モデルを継続的にトレーニングして、元々トレーニングされていないドメインに適応させることに重点を置いている。 合成データを用いてLlama 3 8Bを4ビットQLoRA設定でネパール語に適応させる訓練を継続する。 適応モデルの性能, 忘れ, 知識獲得について評価する。
• 参考スコア（独自算出の注目度）: 0.20999222360659603
• License:
• Abstract: Continual learning has emerged as an important research direction due to the infeasibility of retraining large language models (LLMs) from scratch in the event of new data availability. Of great interest is the domain-adaptive pre-training (DAPT) paradigm, which focuses on continually training a pre-trained language model to adapt it to a domain it was not originally trained on. In this work, we evaluate the feasibility of DAPT in a low-resource setting, namely the Nepali language. We use synthetic data to continue training Llama 3 8B to adapt it to the Nepali language in a 4-bit QLoRA setting. We evaluate the adapted model on its performance, forgetting, and knowledge acquisition. We compare the base model and the final model on their Nepali generation abilities, their performance on popular benchmarks, and run case-studies to probe their linguistic knowledge in Nepali. We see some unsurprising forgetting in the final model, but also surprisingly find that increasing the number of shots during evaluation yields better percent increases in the final model (as high as 19.29% increase) compared to the base model (4.98%), suggesting latent retention. We also explore layer-head self-attention heatmaps to establish dependency resolution abilities of the final model in Nepali.
• Abstract（参考訳）: 継続学習は、新しいデータ可用性の時に、スクラッチから大きな言語モデル(LLM)を再トレーニングできないため、重要な研究方向として現れている。 ドメイン適応型事前トレーニング(DAPT)パラダイムは、トレーニング済みの言語モデルをトレーニングして、元々トレーニングされていないドメインに適応させることに重点を置いている。 本研究では,低リソース環境,すなわちネパール語のDAPTの実現可能性を評価する。 合成データを用いてLlama 3 8Bを4ビットQLoRA設定でネパール語に適応させる訓練を継続する。 適応モデルの性能, 忘れ, 知識獲得について評価する。 ネパールの言語知識を探索するために,基礎モデルとネパールの世代能力の最終モデル,人気のあるベンチマークのパフォーマンスを比較し,ケーススタディを実行した。 最終的なモデルでは意外なほど忘れられているものの、評価中のショット数の増加は、ベースモデル(4.98%)と比較して最終モデルにおいてより良いパーセント(19.29%)の増加をもたらすことが判明し、遅延保持が示唆された。 また、ネパールにおける最終モデルの依存性解決能力を確立するために、レイヤーヘッド自己注意ヒートマップについても検討する。

関連論文リスト

• Development of Pre-Trained Transformer-based Models for the Nepali Language [0.0]
  全世界で約3200万人が話しているネパール語は、この領域では著しく過小評価されている。 ネパール語コーパスの約2.4倍の27.5GBのテキストデータを収集した。 我々のモデルは、Nep-gLUEベンチマークで既存の最良のモデルよりも2ポイント優れ、95.60得点、テキスト生成タスクで既存のモデルよりも優れています。
  論文  参考訳（メタデータ） (2024-11-24T06:38:24Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• Adaptation Odyssey in LLMs: Why Does Additional Pretraining Sometimes Fail to Improve? [19.34040322172224]
  テキストドメイン上でモデルをトレーニングすることは、同じドメインのテスト部分において、その難易度を低下させる可能性があることを示す。 我々の発見は、いつモデルを適応するか、いつ基礎的な能力に頼るかを決める上で、私たちを導くでしょう。
  論文  参考訳（メタデータ） (2024-10-08T00:37:16Z)
• Abstractive Summarization of Low resourced Nepali language using Multilingual Transformers [0.0]
  この研究は、まずWebスクレイピングを通じて要約データセットを作成することによって、ネパールのテキストの要約に関連する重要な課題に対処する。 次に、ROUGEスコアと人的評価を用いて、微調整モデルの性能を評価した。 LoRAモデルを用いた4ビット量子化mBARTは、より優れたネパールのニュースの見出しを生成するのに有効であることが判明した。
  論文  参考訳（メタデータ） (2024-09-29T05:58:27Z)
• FairPIVARA: Reducing and Assessing Biases in CLIP-Based Multimodal Models [5.748694060126043]
  視覚言語モデルにおける4種類の識別実践を評価した。 特徴埋め込みの最も影響の大きい次元を除去し,FairPItheraを提案する。 FairPItheraの応用により、観測されたバイアスの最大98%が大幅に削減された。
  論文  参考訳（メタデータ） (2024-09-28T22:49:22Z)
• Unpacking DPO and PPO: Disentangling Best Practices for Learning from Preference Feedback [110.16220825629749]
  嗜好フィードバックからの学習は、現代言語モデルの生成品質と性能を改善するための重要なステップとして現れてきた。 本研究では、嗜好データ、学習アルゴリズム、報酬モデル、政策訓練プロンプトという、嗜好に基づく学習の4つの側面を特定する。 以上の結果から,すべての側面がパフォーマンス上重要であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-13T16:17:21Z)
• Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation [12.86275938443485]
  本研究では,データ量,品質,言語分布などの学習データ要素がモデル性能に及ぼす影響について検討する。 我々は,実世界の9つのシナリオを含む1,000のサンプルを用いて,様々なモデルを評価する。 GPT-3のようなプロプライエタリな言語モデルに最も近いオープンソースパフォーマンスを持つモデルであるLLaMAの語彙を拡張します。
  論文  参考訳（メタデータ） (2023-04-16T18:37:39Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
  我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。 は、アメリカ大陸の10の原住民の言語である。 XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。 XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
  論文  参考訳（メタデータ） (2021-04-18T05:32:28Z)
• Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
  訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。 ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。 提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-04-29T14:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。