論文の概要: CDAE: Enhancing Perturbation Robustness in Pretrained Language Models with Contrastive Denoising

• arxiv url: http://arxiv.org/abs/2607.28236v1
• Date: Thu, 30 Jul 2026 14:04:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.584749
• Title: CDAE: Enhancing Perturbation Robustness in Pretrained Language Models with Contrastive Denoising
• Title（参考訳）: CDAE:コントラスト劣化を伴う事前学習言語モデルにおける摂動ロバスト性向上
• Abstract要約: 本研究は,BERT埋め込みを改良した軽量なContrastive Denoising Autoencoderを提案する。 提案手法は,様々な強度を持つ複数の摂動戦略を用いて評価し,元のBERT埋め込みとSimCSEと比較した。 実験の結果, CDAEは摂動下で高い埋め込み類似性を持続的に維持することが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models have significantly improved sentence representation learning, yet their embedding remain sensitive to semantic preserving textual perturbations such as synonym substitution, masking and word dropout. This work proposes a lightweight Contrastive Denoising Autoencoder (CDAE) that refines pre-trained BERT embedding by jointly optimizing contrastive and reconstruction objective to learn perturbation-invariant representation. We evaluate the proposed framework using multiple perturbation strategies with varying strengths and compare it against the original BERT embeddings and SimCSE. Experimental results show that CDAE consistently preserves higher embedding similarity under perturbations, with the improvements becoming more pronounced as framework effectively enhances representation stability while preserving semantic information, highlighting perturbation-invariant learning as a promising direction for improving sentence embeddings. The source code is publicly available at: https://github.com/ComputationIASBS/CDAE
• Abstract（参考訳）: 事前訓練された言語モデルは、文表現学習を大幅に改善したが、その埋め込みは、同義語置換、マスキング、単語ドロップアウトなどの文の摂動を保存する意味に敏感である。 本研究は、コントラストと再構成の目的を協調的に最適化し、摂動不変表現を学習することにより、事前学習したBERT埋め込みを洗練する軽量なコントラストDenoising Autoencoder(CDAE)を提案する。 提案手法は,様々な強度を持つ複数の摂動戦略を用いて評価し,元のBERT埋め込みとSimCSEと比較した。 実験結果から,CDAEは摂動下で高い埋め込み類似性を保ちつつ,意味情報を保存しながら表現安定性を効果的に向上し,文の埋め込みを改善するための有望な方向として摂動不変学習を強調した。 ソースコードは、https://github.com/ComputationIASBS/CDAEで公開されている。

関連論文リスト

• Beyond Fully Random Masking: Attention-Guided Denoising and Optimization for Diffusion Language Models [129.8880969196575]
  拡散大言語モデル(dLLM)における注意の実証分析について述べる。 我々は,未成熟の文脈に強く参加するトークンがより世代安定性を示し,推論において重要な役割を担っていることを示す。 これらの知見に触発され,注意誘導型分極最適化フレームワーク AGDO を提案する。
  論文  参考訳（メタデータ） (2026-06-10T16:14:23Z)
• Provable Sparse Inversion and Token Relabel Enhanced One-shot Federated Learning with ViTs [77.42033827176806]
  ワンショットフェデレートラーニング(One-Shot Federated Learning)は、単一のコミュニケーションラウンドでグローバルモデルを学ぶ中央サーバが、有望なパラダイムとして登場したものだ。 本稿では,合成画像の全パッチをフル活用してグローバルモデルをトレーニングする,新しいフェデレーションモデルインバージョンとトークンリラベルフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-11T15:49:08Z)
• Training-Free Intelligibility-Guided Observation Addition for Noisy ASR [57.74127683005929]
  本稿では,雑音環境下での音声認識を改善するために,インテリジェンス誘導観測加算法を提案する。 さまざまなSE-ASRの組み合わせとデータセットによる実験は、既存のOAベースラインよりも強い堅牢性と改善を示している。
  論文  参考訳（メタデータ） (2026-02-24T14:46:54Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• reCSE: Portable Reshaping Features for Sentence Embedding in Self-supervised Contrastive Learning [1.4604134018640291]
  特徴再構成に基づく自己教師付きコントラスト学習文表現フレームワークreCSEを提案する。 このフレームワークは、離散データ拡張メソッドを使用する現在の高度なモデルとは異なる。 我々のreCSEはセマンティック類似性タスクにおける競合性能を達成した。
  論文  参考訳（メタデータ） (2024-08-09T09:56:30Z)
• Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models [20.107727903240065]
  本研究では,エンコーダに基づく言語モデルのための等方的および意味論的トークン埋め込みを再構築するために,DefindEMBを提案する。 本実験は,Wiktionaryの定義を応用し,そのような埋め込みを再構築する効果を実証する。
  論文  参考訳（メタデータ） (2024-08-02T15:00:05Z)
• Self-Adaptive Reconstruction with Contrastive Learning for Unsupervised Sentence Embeddings [24.255946996327104]
  教師なし文埋め込みタスクは、文を意味ベクトル表現に変換することを目的としている。 事前訓練された言語モデルにおけるトークンバイアスのため、モデルは文中のきめ細かいセマンティクスをキャプチャできない。 本稿では,新たな自己適応型コントラスト文埋め込みフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-23T07:28:31Z)
• Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE [13.494159547236425]
  本研究では、SimCSEとハードネガティブマイニングを組み合わせた教師なしのコントラスト学習フレームワークを提案する。 提案した焦点情報処理関数は、対照的な目的に自己対応変調項を導入し、容易な負に関連付けられた損失を減らし、強負に焦点を絞ったモデルを促進する。
  論文  参考訳（メタデータ） (2023-10-10T18:15:24Z)
• CORE: A Retrieve-then-Edit Framework for Counterfactual Data Generation [91.16551253297588]
  Counterfactual Generation via Retrieval and Editing (CORE) は、トレーニングのための多様な反事実摂動を生成するための検索強化された生成フレームワークである。 COREはまず、学習されたバイエンコーダを用いて、タスク関連未ラベルテキストコーパス上で密集した検索を行う。 COREはこれらを、反ファクト編集のために、数ショットの学習機能を備えた大規模な言語モデルへのプロンプトに組み込む。
  論文  参考訳（メタデータ） (2022-10-10T17:45:38Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Consistency Training with Virtual Adversarial Discrete Perturbation [17.311821099484987]
  本稿では,オリジナル入力と摂動入力とが類似するトレーニングモデルの予測を強制する効果的な一貫性トレーニングフレームワークを提案する。 少数のトークンを置き換えることで得られる仮想対向離散ノイズは、トレーニングモデルの決定境界を効率的にプッシュする。
  論文  参考訳（メタデータ） (2021-04-15T07:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。