論文の概要: Noise-BERT: A Unified Perturbation-Robust Framework with Noise Alignment Pre-training for Noisy Slot Filling Task

• arxiv url: http://arxiv.org/abs/2402.14494v3
• Date: Wed, 6 Mar 2024 07:17:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 17:26:27.753999
• Title: Noise-BERT: A Unified Perturbation-Robust Framework with Noise Alignment Pre-training for Noisy Slot Filling Task
• Title（参考訳）: noise-bert: ノイズアライメントを事前学習した統一摂動ロバストフレームワーク
• Authors: Jinxu Zhao, Guanting Dong, Yueyan Qiu, Tingfeng Hui, Xiaoshuai Song, Daichi Guo, Weiran Xu
• Abstract要約: 現実的な対話システムでは、ユーザからの入力情報は様々な種類の入力摂動の対象となることが多い。 本研究では,ノイズアライメント事前学習による摂動ロバスト統合フレームワークであるNoss-BERTを提案する。 本フレームワークは,2つのノイズアライメント事前学習タスクを組み込んでいる。
• 参考スコア（独自算出の注目度）: 14.707646721729228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In a realistic dialogue system, the input information from users is often subject to various types of input perturbations, which affects the slot-filling task. Although rule-based data augmentation methods have achieved satisfactory results, they fail to exhibit the desired generalization when faced with unknown noise disturbances. In this study, we address the challenges posed by input perturbations in slot filling by proposing Noise-BERT, a unified Perturbation-Robust Framework with Noise Alignment Pre-training. Our framework incorporates two Noise Alignment Pre-training tasks: Slot Masked Prediction and Sentence Noisiness Discrimination, aiming to guide the pre-trained language model in capturing accurate slot information and noise distribution. During fine-tuning, we employ a contrastive learning loss to enhance the semantic representation of entities and labels. Additionally, we introduce an adversarial attack training strategy to improve the model's robustness. Experimental results demonstrate the superiority of our proposed approach over state-of-the-art models, and further analysis confirms its effectiveness and generalization ability.
• Abstract（参考訳）: 現実的な対話システムでは、ユーザからの入力情報は様々な種類の入力摂動を受けており、スロット充足作業に影響を及ぼす。 規則に基づくデータ拡張手法は良好な結果を得たが、未知のノイズ障害に直面した場合、望ましい一般化を示すことができない。 本研究では,ノイズアライメント事前学習と統合型摂動ロバストフレームワークであるNoss-BERTを提案することで,スロット充填における入力摂動による課題に対処する。 提案手法は,スロットマスキング予測と文不明瞭性判定の2つの事前学習タスクを組み込んで,正確なスロット情報と雑音分布を捉えた事前学習言語モデルを導出することを目的としている。 微調整の間、我々はエンティティとラベルの意味表現を強化するために対照的な学習損失を用いる。 さらに,モデルのロバスト性を改善するために,敵対的攻撃訓練戦略を導入する。 実験結果から,提案手法が最先端モデルよりも優れていることを示し,その効果と一般化能力のさらなる分析を行った。

関連論文リスト

• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding the Effect of Noise in LLM Training Data with Algorithmic Chains of Thought [0.0]
  思考の連鎖におけるノイズが,高度に制御された環境下でのタスクパフォーマンスに与える影響について検討する。 本研究では,CoTトレース処理後に適用される局所的な雑音と,トレース処理時にエラーを伝播する大域的なノイズであるテクトダイナミックノイズの2種類を定義した。 微調整されたモデルでは、高レベルの静的ノイズに対して非常に頑健であるが、低レベルの動的ノイズに対してかなり苦労している。
  論文  参考訳（メタデータ） (2024-02-06T13:59:56Z)
• May the Noise be with you: Adversarial Training without Adversarial Examples [3.4673556247932225]
  我々は、敵の訓練を受けずに敵の訓練を受けたモデルを得ることができるかという疑問を調査する。 提案手法は,訓練時にNNモデルの層にガウス雑音を埋め込むことによって固有性を取り入れる。 我々の研究は、全く異なるアプローチで敵の訓練を受けたネットワークに貢献し、敵の訓練と経験的に類似した堅牢性を持つ。
  論文  参考訳（メタデータ） (2023-12-12T08:22:28Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• DiffSED: Sound Event Detection with Denoising Diffusion [70.18051526555512]
  生成学習の観点からSED問題を再構築する。 具体的には,騒音拡散過程において,雑音のある提案から音の時間境界を生成することを目的としている。 トレーニング中は,ノイズの多い遅延クエリを基本バージョンに変換することで,ノイズ発生過程の逆転を学習する。
  論文  参考訳（メタデータ） (2023-08-14T17:29:41Z)
• NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
  雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。 我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
  論文  参考訳（メタデータ） (2022-12-14T08:19:30Z)
• Sources of Noise in Dialogue and How to Deal with Them [63.02707014103651]
  トレーニング対話システムは、ノイズの多いトレーニング例や予期しないユーザ入力を扱うことが多い。 その頻度にもかかわらず、現在、対話ノイズの正確な調査が欠けている。 本稿では,対話システムで発生する雑音の分類を初めて構築することによって,このギャップを解消する。
  論文  参考訳（メタデータ） (2022-12-06T04:36:32Z)
• Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
  実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。 雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。 ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2021-10-28T20:39:02Z)
• Dynamic Layer Customization for Noise Robust Speech Emotion Recognition in Heterogeneous Condition Training [16.807298318504156]
  ノイズ条件毎に,サンプルを特殊特徴エンコーダに動的にルーティングすることで,性能を向上できることを示す。 時間的順序付けを動的にルーティングすることで,これらの改善をマルチモーダル設定に拡張する。
  論文  参考訳（メタデータ） (2020-10-21T18:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。