論文の概要: Can Small Language Models Learn, Unlearn, and Retain Noise Patterns?

• arxiv url: http://arxiv.org/abs/2407.00996v2
• Date: Thu, 14 Nov 2024 06:55:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:22:57.341993
• Title: Can Small Language Models Learn, Unlearn, and Retain Noise Patterns?
• Title（参考訳）: 小言語モデルは騒音パターンを学習し、学習し、維持することができるか?
• Authors: Nicy Scaria, Silvester John Joseph Kennedy, Deepak Subramani,
• Abstract要約: 小型言語モデル (SLM) は一般に大型言語モデル (LLM) のよりコンパクトなバージョンと考えられている。 本研究では,10億から30億のパラメータを持つSLMを学習し,保持し,その後にデータに存在する様々な種類のノイズを除去する能力について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Small Language Models (SLMs) are generally considered more compact versions of large language models (LLMs). This study investigates the ability of SLMs with parameters between 1 and 3 billion to learn, retain, and subsequently eliminate different types of noise present in the data. Four pre-trained SLMs were utilized for this: Olmo 1B, Qwen1.5 1.8B, Gemma 2B, and Phi2 2.7B. The models were instruction-tuned on noise-free data and tested using in-context examples to determine if they could learn noise through examples. Subsequently, noise patterns were introduced in instruction tuning to evaluate the noise learning, unlearning, and retention capabilities of the models. Olmo, the smallest model, was highly sensitive to noise, quickly adapting to noisy patterns. Phi2 resisted learning character-level and transliteration noise, likely due to its carefully curated, structured, and high-quality pretraining data. Gemma excelled with transliteration noise, likely benefiting from its multilingual pretraining. The findings can be used to develop robust training strategies for SLMs.
• Abstract（参考訳）: 小型言語モデル (SLM) は一般に大型言語モデル (LLM) のよりコンパクトなバージョンと考えられている。 本研究では,10億から30億のパラメータを持つSLMを学習し,保持し,その後にデータに存在する様々な種類のノイズを除去する能力について検討する。 予備訓練された4機のSLM(Olmo 1B、Qwen1.5 1.8B、Gemma 2B、Phi2 2.7B)が使用された。 モデルは、ノイズのないデータに基づいて命令調整され、実例を通してノイズを学習できるかどうかを判断するために、コンテキスト内例を用いてテストされた。 その後、モデルのノイズ学習、未学習、保持能力を評価するために、指導調律にノイズパターンを導入した。 最小のモデルであるOlmoはノイズに非常に敏感で、すぐにノイズのパターンに適応した。 Phi2は、注意深くキュレートされ、構造化され、高品質な事前学習データのために、学習文字レベルと文字変換ノイズに抵抗した。 Gemmaは音の発音に優れており、多言語事前学習の恩恵を受けている。 この知見は、SLMの堅牢なトレーニング戦略の開発に利用できる。

関連論文リスト

• Enhance Vision-Language Alignment with Noise [59.2608298578913]
  本研究では,凍結モデルがカスタマイズノイズによって微調整可能であるか検討する。 ビジュアルエンコーダとテキストエンコーダの両方にノイズを注入することでCLIPを微調整できる正インセンティブノイズ(PiNI)を提案する。
  論文  参考訳（メタデータ） (2024-12-14T12:58:15Z)
• Denoising-Aware Contrastive Learning for Noisy Time Series [35.97130925600067]
  時系列自己教師型学習(SSL)は、ラベルへの依存を軽減するために事前トレーニングのためにラベル付きデータを活用することを目的としている。 本稿では,表現中の雑音を軽減し,各サンプルに対して適切な復調法を自動選択するDenoising-Aware contrastive Learning (DECL)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T04:27:32Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding the Effect of Noise in LLM Training Data with Algorithmic Chains of Thought [0.0]
  思考の連鎖におけるノイズが,高度に制御された環境下でのタスクパフォーマンスに与える影響について検討する。 本研究では,CoTトレース処理後に適用される局所的な雑音と,トレース処理時にエラーを伝播する大域的なノイズであるテクトダイナミックノイズの2種類を定義した。 微調整されたモデルでは、高レベルの静的ノイズに対して非常に頑健であるが、低レベルの動的ノイズに対してかなり苦労している。
  論文  参考訳（メタデータ） (2024-02-06T13:59:56Z)
• Large Language Models are Efficient Learners of Noise-Robust Speech Recognition [65.95847272465124]
  大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。 本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。 最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
  論文  参考訳（メタデータ） (2024-01-19T01:29:27Z)
• Noise-Robust Fine-Tuning of Pretrained Language Models via External Guidance [61.809732058101304]
  ノイズラベルを用いた微調整PLMの革新的な手法を提案する。 このアプローチにはChatGPTのようなLarge Language Models(LLM)のガイダンスが組み込まれている。 このガイダンスは、クリーンサンプルとノイズサンプルを正確に区別するのに役立つ。
  論文  参考訳（メタデータ） (2023-11-02T09:20:38Z)
• An Empirical Study on Noisy Label Learning for Program Understanding [22.81028693504839]
  本稿では,プログラム理解データセットの深層学習における雑音ラベル学習の有効性について検討する。 我々は,プログラム分類,脆弱性検出,コード要約という3つのタスクにおいて,様々なNLLアプローチとディープラーニングモデルを評価する。 我々の発見は、プログラム理解におけるNLLの能力に関する洞察を与え、ソフトウェアエンジニアリングデータセットのノイズに対処する将来の作業に光を当てることができると信じています。
  論文  参考訳（メタデータ） (2023-07-18T06:04:20Z)
• Robustification of Multilingual Language Models to Real-world Noise with Robust Contrastive Pretraining [14.087882550564169]
  ノイズの多いデータに基づいてニューラルモデルのロバスト性を評価し,改良は英語に限られていることを示唆する。 事前訓練された多言語モデルの性能をベンチマークするために、5つの言語と4つのNLPタスクをカバーするノイズの多いデータセットを構築した。 本稿では,多言語事前学習モデルのゼロショット言語間ロバスト性を高めるために,ロバストコントラスト事前学習(RCP)を提案する。
  論文  参考訳（メタデータ） (2022-10-10T15:40:43Z)
• Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
  NLT(Noisy Long-Tailed Classification)を紹介する。 ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。 我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-07-27T09:03:03Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Contextual Text Denoising with Masked Language Models [21.923035129334373]
  そこで本研究では,既使用マスキング言語モデルに基づく文脈記述型音声認識アルゴリズムを提案する。 提案アルゴリズムはモデルの再学習を必要とせず,任意のNLPシステムに統合可能である。
  論文  参考訳（メタデータ） (2019-10-30T18:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。