論文の概要: Dual Debiasing for Noisy In-Context Learning for Text Generation

• arxiv url: http://arxiv.org/abs/2506.00418v1
• Date: Sat, 31 May 2025 06:44:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.978635
• Title: Dual Debiasing for Noisy In-Context Learning for Text Generation
• Title（参考訳）: テキスト生成のための雑音の多いインコンテキスト学習のためのデュアルデバイアス
• Authors: Siqi Liang, Sumyeong Ahn, Paramveer S. Dhillon, Jiayu Zhou,
• Abstract要約: 文脈学習では、大きな注釈付きコーパスから引き出された高品質なデモンストレーションに大きく依存する。 既存のアプローチでは、ノイズのあるサンプルがクリーンなアノテーションよりも高いパープレキシティをもたらすと仮定して、局所的なパープレキシティをランク付けすることでノイズの多いアノテーションを検出する。 我々は、ノイズの多いアノテーションの下でテキスト生成のためのパープレキシティに基づくパラダイムを再検討し、パープレキシティの2つのバイアス源を強調した。 合成された隣接体を用いて、パープレキシティ推定を明示的に補正し、ロバストなサンプルクリーンネススコアを生成する双対脱バイアスフレームワークを導入する。
• 参考スコア（独自算出の注目度）: 35.57978360647332
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In context learning (ICL) relies heavily on high quality demonstrations drawn from large annotated corpora. Existing approaches detect noisy annotations by ranking local perplexities, presuming that noisy samples yield higher perplexities than their clean counterparts. However, this assumption breaks down when the noise ratio is high and many demonstrations are flawed. We reexamine the perplexity based paradigm for text generation under noisy annotations, highlighting two sources of bias in perplexity: the annotation itself and the domain specific knowledge inherent in large language models (LLMs). To overcome these biases, we introduce a dual debiasing framework that uses synthesized neighbors to explicitly correct perplexity estimates, yielding a robust Sample Cleanliness Score. This metric uncovers absolute sample cleanliness regardless of the overall corpus noise level. Extensive experiments demonstrate our method's superior noise detection capabilities and show that its final ICL performance is comparable to that of a fully clean demonstration corpus. Moreover, our approach remains robust even when noise ratios are extremely high.
• Abstract（参考訳）: 文脈学習(ICL)では、大きな注釈付きコーパスから引き出された高品質な実演に大きく依存している。 既存のアプローチでは、ノイズのあるサンプルがクリーンなアノテーションよりも高いパープレキシティをもたらすと仮定して、局所的なパープレキシティをランク付けすることでノイズの多いアノテーションを検出する。 しかし、この仮定はノイズ比が高く、多くの実演に欠陥がある場合に破滅する。 我々は、ノイズの多いアノテーションの下でのテキスト生成の難易度に基づくパラダイムを再検討し、大言語モデル(LLM)に固有のアノテーション自体とドメイン固有の知識の2つのバイアス源を強調した。 これらのバイアスを克服するために、合成された隣人を用いてパープレキシティ推定を明示的に補正し、ロバストなサンプルクリーンネススコアを生成するデュアルデバイアスフレームワークを導入する。 この計量は、全コーパスノイズレベルに関係なく絶対的な試料の清浄度を明らかにする。 広汎な実験により,本手法の優れたノイズ検出能力を実証し,最終的なICL性能が完全クリーンな実演コーパスに匹敵することを示した。 さらに,ノイズ比が極端に高い場合でも,我々の手法は頑健なままである。

関連論文リスト

• On the Noise Robustness of In-Context Learning for Text Generation [41.59602454113563]
  本研究では、テキスト生成タスクにおいて、ノイズの多いアノテーションがテキスト内学習の性能を著しく損なうことを示す。 この問題を回避するために,LPR(Local Perplexity Ranking)と呼ばれるシンプルで効果的なアプローチを提案する。 LPRは「騒々しい」候補者を、より清潔である可能性が高い隣人に置き換える。
  論文  参考訳（メタデータ） (2024-05-27T15:22:58Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• Label-Noise Learning with Intrinsically Long-Tailed Data [65.41318436799993]
  本稿では,本質的な長期データを用いたラベルノイズ学習のための学習フレームワークを提案する。 具体的には, 2段階の2次元試料選択法(TABASCO)を提案する。
  論文  参考訳（メタデータ） (2022-08-21T07:47:05Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• Centrality and Consistency: Two-Stage Clean Samples Identification for Learning with Instance-Dependent Noisy Labels [87.48541631675889]
  本稿では,2段階のクリーンサンプル識別手法を提案する。 まず,クリーンサンプルの早期同定にクラスレベルの特徴クラスタリング手法を用いる。 次に, 基底真理クラス境界に近い残余のクリーンサンプルについて, 一貫性に基づく新しい分類法を提案する。
  論文  参考訳（メタデータ） (2022-07-29T04:54:57Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)
• Training Classifiers that are Universally Robust to All Label Noise Levels [91.13870793906968]
  ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。 ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。 我々の枠組みは概して中～高騒音レベルにおいて優れています。
  論文  参考訳（メタデータ） (2021-05-27T13:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。