論文の概要: Contrastive Fine-tuning Improves Robustness for Neural Rankers

• arxiv url: http://arxiv.org/abs/2105.12932v1
• Date: Thu, 27 May 2021 04:00:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-29 07:21:22.888918
• Title: Contrastive Fine-tuning Improves Robustness for Neural Rankers
• Title（参考訳）: コントラストファインチューニングによるニューラルネットワークのロバスト性向上
• Authors: Xiaofei Ma, Cicero Nogueira dos Santos and Andrew O. Arnold
• Abstract要約: 本稿では、ドメイン外データやクエリの摂動に対するロバスト性を大幅に向上させることができる、微調整型ニューラルローダの新しい手法を提案する。 関連ラベルを用いて類似/異種ペアを表現し、異なるクエリとドキュメントのペア間で、モデルが基礎となるマッチングセマンティクスを学習できるようにする。 提案手法は, BERT と BART をベースとしたロータの問合せ, ノイズ摂動, ゼロショット転送に対するロバスト性の向上を実現する。
• 参考スコア（独自算出の注目度）: 1.3868793694964396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The performance of state-of-the-art neural rankers can deteriorate substantially when exposed to noisy inputs or applied to a new domain. In this paper, we present a novel method for fine-tuning neural rankers that can significantly improve their robustness to out-of-domain data and query perturbations. Specifically, a contrastive loss that compares data points in the representation space is combined with the standard ranking loss during fine-tuning. We use relevance labels to denote similar/dissimilar pairs, which allows the model to learn the underlying matching semantics across different query-document pairs and leads to improved robustness. In experiments with four passage ranking datasets, the proposed contrastive fine-tuning method obtains improvements on robustness to query reformulations, noise perturbations, and zero-shot transfer for both BERT and BART based rankers. Additionally, our experiments show that contrastive fine-tuning outperforms data augmentation for robustifying neural rankers.
• Abstract（参考訳）: 最先端のニューラルランク装置の性能は、ノイズの多い入力に晒されたり、新しい領域に適用されたりすると著しく低下する。 本稿では,ドメイン外データやクエリの摂動に対するロバスト性を大幅に向上させるニューラルランカの微調整手法を提案する。 具体的には、表現空間内のデータポイントを比較するコントラスト損失と、微調整時の標準ランキング損失とを組み合わせる。 関連ラベルを用いて、類似/異種ペアを表現し、異なるクエリとドキュメントのペア間で基礎となるマッチングセマンティクスを学習し、ロバスト性を向上させる。 4つのパッセージランキングデータセットを用いた実験において,提案手法は,bert と bart ベースの両方のランカに対して,クエリの再構成,ノイズの摂動,ゼロショット転送に対するロバスト性を改善した。 さらに,神経ランカのロバスト化において,コントラスト的微調整がデータ拡張よりも優れていることを示した。

関連論文リスト

• Classification-Denoising Networks [6.783232060611113]
  画像分類と認知は、堅牢性の欠如や条件情報の部分的に無視という相補的な問題に悩まされる。 両タスクを(ノイズの多い)画像とクラスラベルの結合確率のモデルで統一することで緩和できると論じる。 CIFAR-10とImageNetの数値実験は、競合する分類とノイズ発生性能を示している。
  論文  参考訳（メタデータ） (2024-10-04T15:20:57Z)
• Phase-aggregated Dual-branch Network for Efficient Fingerprint Dense Registration [34.16169623776737]
  指紋密度登録は、指紋ペアをピクセルレベルで微調整することを目的としており、これにより歪みによるクラス内差を低減する。 従来の方法では、低品質の指紋を扱う場合、サブパーパフォーマンスが見られた。 深層学習に基づくアプローチはこれらの面で大幅に改善されているが、その登録精度はまだ不十分である。
  論文  参考訳（メタデータ） (2024-04-26T05:06:53Z)
• DiffImpute: Tabular Data Imputation With Denoising Diffusion Probabilistic Model [9.908561639396273]
  DiffImputeという新しい拡散確率モデル(DDPM)を提案する。 既存のデータの信頼性を損なうことなく、欠落したエントリに対して信頼できる警告を生成する。 Missing Completely At Random (MCAR) と Missing At Random (MAR) の様々な設定に適用できる。
  論文  参考訳（メタデータ） (2024-03-20T08:45:31Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• RoPDA: Robust Prompt-based Data Augmentation for Low-Resource Named Entity Recognition [10.03246698225533]
  低リソースNERのためのロバストプロンプトベースデータ拡張(RoPDA) 継続的なプロンプトを持つ事前学習言語モデル(PLM)に基づいて、RoPDAはエンティティ拡張とコンテキスト拡張を実行する。 異なるドメインの3つのベンチマークの実験では、RoPDAは強いベースラインで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-07-11T14:44:14Z)
• Modelling Adversarial Noise for Adversarial Defense [96.56200586800219]
  敵の防御は、通常、敵の音を除去したり、敵の頑強な目標モデルを訓練するために、敵の例を活用することに焦点を当てる。 逆データと自然データの関係は、逆データからクリーンデータを推測し、最終的な正しい予測を得るのに役立ちます。 本研究では, ラベル空間の遷移関係を学習するために, 逆方向の雑音をモデル化し, 逆方向の精度を向上させることを目的とした。
  論文  参考訳（メタデータ） (2021-09-21T01:13:26Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)
• Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and Self-Control Gradient Estimator [62.26981903551382]
  バイナリ潜在変数を持つ変分自動エンコーダ(VAE)は、文書検索の精度の観点から最先端のパフォーマンスを提供する。 本稿では、クラス内類似度とクラス間類似度に報いるために、個別潜伏型VAEを用いたペアワイズ損失関数を提案する。 この新しいセマンティックハッシュフレームワークは、最先端技術よりも優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-05-21T06:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。