論文の概要: Can Small Language Models Learn, Unlearn, and Retain Noise Patterns?

• arxiv url: http://arxiv.org/abs/2407.00996v1
• Date: Mon, 1 Jul 2024 06:22:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 00:36:18.680455
• Title: Can Small Language Models Learn, Unlearn, and Retain Noise Patterns?
• Title（参考訳）: 小言語モデルは騒音パターンを学習し、学習し、維持することができるか?
• Authors: Nicy Scaria, Silvester John Joseph Kennedy, Deepak Subramani,
• Abstract要約: 小型言語モデル(SLM)は、一般に大型言語モデル(LLM)のよりコンパクトなバージョンと考えられている。 本研究は,インターネット上では通常見つからない雑音を学習・保持・除去する小型言語モデルの能力について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Small Language Models (SLMs) are generally considered to be more compact versions of large language models (LLMs), typically having fewer than 7 billion parameters. This study investigates the ability of small language models to learn, retain, and subsequently eliminate noise that is typically not found on the internet, where most pretraining datasets are sourced. For this, four pre-trained SLMs were utilized: Olmo 1B, Qwen1.5 1.8B, Gemma 2B, and Phi2 2.7B. The models were instruction-tuned without noise and tested for task execution with in-context learning. Afterward, noise patterns were introduced to evaluate the models' learning and unlearning capabilities. We evaluated the models' performance at various training levels. Phi consistently excelled with word-level noise but performed the worst with character-level noise. Despite being the smallest with approximately 1 billion parameters, Olmo performed consistently well on tasks.
• Abstract（参考訳）: 小型言語モデル(SLM)は一般に、70億以上のパラメータを持つ大型言語モデル(LLM)のよりコンパクトなバージョンと考えられている。 本研究では、学習、保持、そしてそれに続くノイズを除去する小さな言語モデルの能力について検討する。 このために、Olmo 1B、Qwen1.5 1.8B、Gemma 2B、Phi2 2.7Bの4つの事前訓練SLMが使用された。 モデルはノイズなしで命令調整され、コンテキスト内学習によるタスク実行のテストが行われた。 その後、モデルの学習能力と学習能力を評価するためにノイズパターンを導入した。 モデルの性能を様々な訓練レベルで評価した。 ピーは単語レベルのノイズに一貫して優れていたが、文字レベルのノイズでは最悪だった。 約10億のパラメータを持つ最小のパラメータにもかかわらず、Olmoはタスクで一貫してうまく動作した。

関連論文リスト

• Denoising-Aware Contrastive Learning for Noisy Time Series [35.97130925600067]
  時系列自己教師型学習(SSL)は、ラベルへの依存を軽減するために事前トレーニングのためにラベル付きデータを活用することを目的としている。 本稿では,表現中の雑音を軽減し,各サンプルに対して適切な復調法を自動選択するDenoising-Aware contrastive Learning (DECL)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T04:27:32Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding the Effect of Noise in LLM Training Data with Algorithmic Chains of Thought [0.0]
  思考の連鎖におけるノイズが,高度に制御された環境下でのタスクパフォーマンスに与える影響について検討する。 本研究では,CoTトレース処理後に適用される局所的な雑音と,トレース処理時にエラーを伝播する大域的なノイズであるテクトダイナミックノイズの2種類を定義した。 微調整されたモデルでは、高レベルの静的ノイズに対して非常に頑健であるが、低レベルの動的ノイズに対してかなり苦労している。
  論文  参考訳（メタデータ） (2024-02-06T13:59:56Z)
• Large Language Models are Efficient Learners of Noise-Robust Speech Recognition [65.95847272465124]
  大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。 本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。 最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
  論文  参考訳（メタデータ） (2024-01-19T01:29:27Z)
• Noise-Robust Fine-Tuning of Pretrained Language Models via External Guidance [61.809732058101304]
  ノイズラベルを用いた微調整PLMの革新的な手法を提案する。 このアプローチにはChatGPTのようなLarge Language Models(LLM)のガイダンスが組み込まれている。 このガイダンスは、クリーンサンプルとノイズサンプルを正確に区別するのに役立つ。
  論文  参考訳（メタデータ） (2023-11-02T09:20:38Z)
• An Empirical Study on Noisy Label Learning for Program Understanding [22.81028693504839]
  本稿では,プログラム理解データセットの深層学習における雑音ラベル学習の有効性について検討する。 我々は,プログラム分類,脆弱性検出,コード要約という3つのタスクにおいて,様々なNLLアプローチとディープラーニングモデルを評価する。 我々の発見は、プログラム理解におけるNLLの能力に関する洞察を与え、ソフトウェアエンジニアリングデータセットのノイズに対処する将来の作業に光を当てることができると信じています。
  論文  参考訳（メタデータ） (2023-07-18T06:04:20Z)
• Robustification of Multilingual Language Models to Real-world Noise with Robust Contrastive Pretraining [14.087882550564169]
  ノイズの多いデータに基づいてニューラルモデルのロバスト性を評価し,改良は英語に限られていることを示唆する。 事前訓練された多言語モデルの性能をベンチマークするために、5つの言語と4つのNLPタスクをカバーするノイズの多いデータセットを構築した。 本稿では,多言語事前学習モデルのゼロショット言語間ロバスト性を高めるために,ロバストコントラスト事前学習(RCP)を提案する。
  論文  参考訳（メタデータ） (2022-10-10T15:40:43Z)
• Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
  NLT(Noisy Long-Tailed Classification)を紹介する。 ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。 我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-07-27T09:03:03Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Unpaired Learning of Deep Image Denoising [80.34135728841382]
  本稿では,自己指導型学習と知識蒸留を取り入れた2段階の手法を提案する。 自己教師型学習では,実雑音の画像のみから視覚を学習するための拡張型盲点ネットワーク(D-BSN)を提案する。 実験の結果,本手法は合成ノイズ画像と実世界のノイズ画像の両方で良好に機能することがわかった。
  論文  参考訳（メタデータ） (2020-08-31T16:22:40Z)
• Contextual Text Denoising with Masked Language Models [21.923035129334373]
  そこで本研究では,既使用マスキング言語モデルに基づく文脈記述型音声認識アルゴリズムを提案する。 提案アルゴリズムはモデルの再学習を必要とせず,任意のNLPシステムに統合可能である。
  論文  参考訳（メタデータ） (2019-10-30T18:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。