論文の概要: Learning to Retrieve with Weakened Labels: Robust Training under Label Noise

• arxiv url: http://arxiv.org/abs/2512.13237v1
• Date: Mon, 15 Dec 2025 11:52:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.644842
• Title: Learning to Retrieve with Weakened Labels: Robust Training under Label Noise
• Title（参考訳）: ラベルを弱くする学習--ラベル雑音下でのロバストトレーニング
• Authors: Arnab Sharma,
• Abstract要約: ラベルノイズの存在下で頑健な検索モデルを生成するためのラベル弱化手法を検討する。 最初の結果から,ラベルの弱化は,10種類の最先端損失関数と比較して,検索タスクの性能を向上させることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Encoders are frequently used in the NLP domain to perform dense retrieval tasks, for instance, to generate the candidate documents for a given query in question-answering tasks. However, sparse annotation and label noise in the training data make it challenging to train or fine-tune such retrieval models. Although existing works have attempted to mitigate these problems by incorporating modified loss functions or data cleaning, these approaches either require some hyperparameters to tune during training or add substantial complexity to the training setup. In this work, we consider a label weakening approach to generate robust retrieval models in the presence of label noise. Instead of enforcing a single, potentially erroneous label for each query document pair, we allow for a set of plausible labels derived from both the observed supervision and the model's confidence scores. We perform an extensive evaluation considering two retrieval models, one re-ranking model, considering four diverse ranking datasets. To this end, we also consider a realistic noisy setting by using a semantic-aware noise generation technique to generate different ratios of noise. Our initial results show that label weakening can improve the performance of the retrieval tasks in comparison to 10 different state-of-the-art loss functions.
• Abstract（参考訳）: ニューラルエンコーダは、NLPドメインで高密度検索タスクを実行するために、例えば、質問応答タスクにおいて与えられたクエリの候補文書を生成するために頻繁に使用される。 しかし、トレーニングデータ中のスパースアノテーションやラベルノイズは、そのような検索モデルを訓練または微調整することが困難である。 既存の研究は、修正された損失関数やデータクリーニングを組み込むことで、これらの問題を緩和しようとしているが、これらのアプローチはトレーニング中にチューニングするハイパーパラメータを必要とするか、トレーニング設定にかなりの複雑さを加えるかのいずれかである。 本研究では,ラベルノイズの存在下で頑健な検索モデルを生成するためのラベル弱化手法を検討する。 各クエリドキュメントペアに対して、単一の、潜在的に誤ったラベルを強制するのではなく、観察された監視結果とモデルの信頼性スコアの両方から導かれる、妥当なラベルのセットを許可する。 我々は,2つの検索モデル,1つの再ランクモデル,4つの多様なランキングデータセットを考慮した広範囲な評価を行う。 そこで本研究では,意味認識型ノイズ生成技術を用いて,雑音の異なる比率を生成することで,現実的な雑音設定も検討する。 最初の結果から,ラベルの弱化は,10種類の最先端損失関数と比較して,検索タスクの性能を向上させることが示唆された。

関連論文リスト

• Correcting Noisy Multilabel Predictions: Modeling Label Noise through Latent Space Shifts [6.0882756122009996]
  ほとんどの現実世界の機械学習アプリケーションでは、データのノイズは避けられないように思える。 マルチラベル分類における雑音ラベル学習の分野について検討した。 我々のモデルは、雑音のラベル付けは潜伏変数の変化から生じると仮定し、より堅牢で有益な学習手段を提供する。
  論文  参考訳（メタデータ） (2025-02-20T05:41:52Z)
• Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
  ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。 NPCは検出モジュールと修正モジュールから構成される。 我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
  論文  参考訳（メタデータ） (2023-11-07T08:27:14Z)
• Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and Uncurated Unlabeled Data [70.25049762295193]
  本稿では,トレーニング中にノイズラベル付きおよび未処理データを受け入れる条件付き画像生成フレームワークを提案する。 本稿では,ラベルのないデータに新たなラベルを割り当てながら,逆行訓練にインスタンスワイドを割り当てるソフトカリキュラム学習を提案する。 実験により,本手法は,定量および定性性能の両面において,既存の半教師付き・ラベル付きロバストな手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-17T08:31:59Z)
• Co-Learning Meets Stitch-Up for Noisy Multi-label Visual Recognition [70.00984078351927]
  本稿では,多ラベル分類と長期学習の特徴に基づく雑音の低減に焦点をあてる。 よりクリーンなサンプルを合成し,マルチラベルノイズを直接低減するStitch-Up拡張を提案する。 ヘテロジニアス・コラーニング・フレームワークは、長い尾の分布とバランスの取れた分布の不整合を活用するためにさらに設計されている。
  論文  参考訳（メタデータ） (2023-07-03T09:20:28Z)
• Is BERT Robust to Label Noise? A Study on Learning with Noisy Labels in Text Classification [23.554544399110508]
  トレーニングデータの誤りラベルは、人間のアノテータがミスをしたときや、弱いまたは遠い監視によってデータが生成されるときに発生する。 複雑なノイズハンドリング技術は、モデルがこのラベルノイズに収まらないようにする必要があることが示されている。 BERTのような現代のNLPモデルを用いたテキスト分類タスクにおいて、様々なノイズタイプに対して、既存のノイズハンドリング手法は必ずしも性能を向上せず、さらに劣化する可能性があることを示す。
  論文  参考訳（メタデータ） (2022-04-20T10:24:19Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Learning from Noisy Labels for Entity-Centric Information Extraction [17.50856935207308]
  エンティティ中心の情報抽出のための単純な共正規化フレームワークを提案する。 これらのモデルはタスク固有の損失と共同最適化され、同様の予測を生成するために正規化される。 結局のところ、トレーニングされたモデルのいずれかを推論に利用できます。
  論文  参考訳（メタデータ） (2021-04-17T22:49:12Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
  ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。 この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
  論文  参考訳（メタデータ） (2020-02-16T09:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。