論文の概要: Noise-Robustness Through Noise: Asymmetric LoRA Adaption with Poisoning Expert

• arxiv url: http://arxiv.org/abs/2505.23868v3
• Date: Mon, 09 Jun 2025 03:25:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 14:13:04.09344
• Title: Noise-Robustness Through Noise: Asymmetric LoRA Adaption with Poisoning Expert
• Title（参考訳）: 騒音による騒音-腐食性:汚染専門家による非対称ロラ適応
• Authors: Zhaokun Wang, Jinyu Guo, Jingwen Pu, Lingfeng Chen, Hongli Pu, Jie Ou, Libo Qin, Wenhong Tian,
• Abstract要約: ダウンストリームタスクに事前訓練された言語モデルを適用するための現在の微調整手法は、ノイズの多いデータからの干渉に影響を受けやすい。 非対称なロラ中毒専門家(LoPE)によるノイズロバスト適応手法を提案する。 LoPEは、低コストのノイズ注入によって、パフォーマンスとロバスト性を純粋に達成し、データクリーニングの必要性を完全に排除する。
• 参考スコア（独自算出の注目度）: 7.501033048686552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current parameter-efficient fine-tuning methods for adapting pre-trained language models to downstream tasks are susceptible to interference from noisy data. Conventional noise-handling approaches either rely on laborious data pre-processing or employ model architecture modifications prone to error accumulation. In contrast to existing noise-process paradigms, we propose a noise-robust adaptation method via asymmetric LoRA poisoning experts (LoPE), a novel framework that enhances model robustness to noise only with generated noisy data. Drawing inspiration from the mixture-of-experts architecture, LoPE strategically integrates a dedicated poisoning expert in an asymmetric LoRA configuration. Through a two-stage paradigm, LoPE performs noise injection on the poisoning expert during fine-tuning to enhance its noise discrimination and processing ability. During inference, we selectively mask the dedicated poisoning expert to leverage purified knowledge acquired by normal experts for noise-robust output. Extensive experiments demonstrate that LoPE achieves strong performance and robustness purely through the low-cost noise injection, which completely eliminates the requirement of data cleaning.
• Abstract（参考訳）: 事前学習した言語モデルを下流タスクに適応するための現在のパラメータ効率の良い微調整法は、ノイズの多いデータからの干渉の影響を受けやすい。 従来のノイズ処理アプローチでは、面倒なデータ前処理に依存するか、あるいはモデルアーキテクチャの変更によってエラーの蓄積が難しくなる。 従来のノイズ処理のパラダイムとは対照的に,非対称なLoRA中毒専門家(LoPE)によるノイズロバスト適応手法を提案する。 専門家の混成アーキテクチャからインスピレーションを得たLoPEは、非対称なLoRA構成で専用の中毒専門家を戦略的に統合した。 2段階のパラダイムを通じて、LoPEは、音の識別と処理能力を高めるために、微調整中に中毒の専門家にノイズ注入を行う。 推測中、我々は専用中毒専門家を選択的にマスクし、通常の騒音汚染出力の専門家が取得した浄化知識を活用する。 大規模な実験により、LoPEは低コストノイズ注入によって純粋に高い性能とロバスト性を達成し、データクリーニングの必要性を完全に排除することを示した。

関連論文リスト

• Noise Augmented Fine Tuning for Mitigating Hallucinations in Large Language Models [1.0579965347526206]
  大規模言語モデル(LLM)は、しばしば不正確な、または誤解を招くコンテンツ・ハロシンを生成する。 noise-Augmented Fine-Tuning (NoiseFiT) は適応ノイズ注入を利用してモデルロバスト性を高める新しいフレームワークである。 NoiseFiTは、動的にスケールしたガウス雑音を用いて、高SNR(より堅牢)または低SNR(潜在的に過正規化)と同定された層を選択的に摂動する。
  論文  参考訳（メタデータ） (2025-04-04T09:27:19Z)
• Triply Laplacian Scale Mixture Modeling for Seismic Data Noise Suppression [51.87076090814921]
  ポーラシティに基づくテンソルリカバリ法は, 地震データノイズを抑制する大きな可能性を示している。 本研究では, 3次元ラプラシアンスケール混合(TLSM)による地震波の抑制手法を提案する。
  論文  参考訳（メタデータ） (2025-02-20T08:28:01Z)
• Dataset Distillers Are Good Label Denoisers In the Wild [16.626153947696743]
  ノイズ除去にデータセット蒸留を利用する新しい手法を提案する。 本手法は,既存の手法に共通するフィードバックループを回避し,訓練効率を向上させる。 各種ノイズ条件下での3つの代表的なデータセット蒸留法(DATM, DANCE, RCIG)を厳格に評価した。
  論文  参考訳（メタデータ） (2024-11-18T06:26:41Z)
• Explainable Artificial Intelligence driven mask design for self-supervised seismic denoising [0.0]
  自己教師付きコヒーレントノイズ抑圧法は、ノイズ統計の広範な知識を必要とする。 本稿では,視覚ネットワークであるブラックボックスの内部を見るために,説明可能な人工知能アプローチを提案する。 ランダムに選択された多数の入力画素に対するジャコビアン寄与の簡易な平均化が、最も効果的なマスクの指標であることを示す。
  論文  参考訳（メタデータ） (2023-07-13T11:02:55Z)
• Realistic Noise Synthesis with Diffusion Models [44.404059914652194]
  ディープラーニングモデルには、大規模な実世界のトレーニングデータが必要です。 本稿では,これらの課題に対処するために拡散モデルを用いた新しい実音合成拡散器(RNSD)法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T12:56:01Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• Inference and Denoise: Causal Inference-based Neural Speech Enhancement [83.4641575757706]
  本研究では、雑音の存在を介入としてモデル化することにより、因果推論パラダイムにおける音声強調(SE)課題に対処する。 提案した因果推論に基づく音声強調(CISE)は,ノイズ検出器を用いて間欠雑音音声中のクリーンフレームとノイズフレームを分離し,両フレームセットを2つのマスクベース拡張モジュール(EM)に割り当て,ノイズ条件SEを実行する。
  論文  参考訳（メタデータ） (2022-11-02T15:03:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。