論文の概要: Unsupervised dense retrieval with conterfactual contrastive learning
- arxiv url: http://arxiv.org/abs/2412.20756v1
- Date: Mon, 30 Dec 2024 07:01:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-31 16:03:44.092517
- Title: Unsupervised dense retrieval with conterfactual contrastive learning
- Title（参考訳）: Conterfactal contrastive learningを用いた教師なし高密度検索
- Authors: Haitian Chen, Qingyao Ai, Xiao Wang, Yiqun Liu, Fen Lin, Qin Liu,
- Abstract要約: そこで本研究では,高密度検索モデルの高感度化により,高密度検索モデルのロバスト性を向上させることを提案する。
この文脈での感度を達成するモデルは、クエリとの関連性を決定するドキュメントのキーパスが修正されたときに高いばらつきを示すべきである。
因果関係と反事実分析に動機付け, 一連の反事実正則化手法を提案する。
- 参考スコア（独自算出の注目度）: 16.679649921935482
- License:
- Abstract: Efficiently retrieving a concise set of candidates from a large document corpus remains a pivotal challenge in Information Retrieval (IR). Neural retrieval models, particularly dense retrieval models built with transformers and pretrained language models, have been popular due to their superior performance. However, criticisms have also been raised on their lack of explainability and vulnerability to adversarial attacks. In response to these challenges, we propose to improve the robustness of dense retrieval models by enhancing their sensitivity of fine-graned relevance signals. A model achieving sensitivity in this context should exhibit high variances when documents' key passages determining their relevance to queries have been modified, while maintaining low variances for other changes in irrelevant passages. This sensitivity allows a dense retrieval model to produce robust results with respect to attacks that try to promote documents without actually increasing their relevance. It also makes it possible to analyze which part of a document is actually relevant to a query, and thus improve the explainability of the retrieval model. Motivated by causality and counterfactual analysis, we propose a series of counterfactual regularization methods based on game theory and unsupervised learning with counterfactual passages. Experiments show that, our method can extract key passages without reliance on the passage-level relevance annotations. Moreover, the regularized dense retrieval models exhibit heightened robustness against adversarial attacks, surpassing the state-of-the-art anti-attack methods.
- Abstract（参考訳）: 大規模な文書コーパスから簡潔な候補を効率よく取り出すことは、情報検索(IR)において重要な課題である。
ニューラル検索モデル、特にトランスフォーマーと事前訓練言語モデルで構築された高密度検索モデルは、優れた性能のために人気がある。
しかし、敵の攻撃に対する説明可能性や脆弱性の欠如についても批判の声が上がっている。
これらの課題に応えて,細粒度関連信号の感度を高めることにより,高密度検索モデルのロバスト性を向上させることを提案する。
この文脈における感度を達成するモデルは、クエリとの関連性を決定する文書のキーパスが変更されたときに高いばらつきを示すとともに、無関係なパスにおける他の変更に対して低いばらつきを維持する必要がある。
この感度により、密度の高い検索モデルは、ドキュメントを実際に関連性を高めることなく促進しようとする攻撃に対して堅牢な結果を生成することができる。
また、文書のどの部分が実際にクエリに関連しているかを分析し、検索モデルの説明可能性を向上させることができる。
因果関係と反事実分析に動機付け,ゲーム理論と非教師なし学習に基づく一連の反事実正規化手法を提案する。
提案手法は,パスレベルの関連アノテーションに依存することなくキーパスを抽出できることを示す。
さらに, 正規化高密度検索モデルでは, 対人攻撃に対する強靭性が高く, 最先端の対人攻撃法を超越している。
関連論文リスト
- Evaluating the Adversarial Robustness of Semantic Segmentation: Trying Harder Pays Off [0.6554326244334868]
対人摂動に対する感度の良好な近似は、現在満足していると見なされているものよりもはるかに多くの労力を要すると我々は主張する。
我々は新たな攻撃を提案し、文学で利用可能な最強の攻撃と組み合わせる。
我々の結果は、異なるモデルが異なる攻撃に対して脆弱であることが多いため、多様な強力な攻撃が必要であることも示している。
論文 参考訳（メタデータ） (2024-07-12T10:32:53Z) - Mitigating the Impact of False Negatives in Dense Retrieval with
Contrastive Confidence Regularization [15.204113965411777]
ノイズコントラスト推定(NCE)損失に対する新しいコントラスト信頼度正規化器を提案する。
解析の結果,正則化器はより高密度な検索モデルにおいて,理論的保証のある偽陰性に対してより堅牢であることがわかった。
論文 参考訳（メタデータ） (2023-12-30T08:01:57Z) - How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。
ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。
実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
論文 参考訳（メタデータ） (2023-09-07T12:02:00Z) - Defense of Adversarial Ranking Attack in Text Retrieval: Benchmark and
Baseline via Detection [12.244543468021938]
本稿では,敵対的文書に対する2種類の検出タスクを提案する。
敵のランク防衛の調査を容易にするために、ベンチマークデータセットが確立されている。
いくつかの検出基準線の性能を総合的に調査する。
論文 参考訳（メタデータ） (2023-07-31T16:31:24Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:22:33Z) - Improving the Robustness of Summarization Systems with Dual Augmentation [68.53139002203118]
頑健な要約システムは、入力中の特定の単語の選択やノイズに関わらず、文書のギストをキャプチャできるべきである。
まず,単語レベルの同義語置換や雑音を含む摂動に対する要約モデルの頑健性について検討する。
SummAttackerを提案する。これは言語モデルに基づく対数サンプルを生成するための効率的な手法である。
論文 参考訳（メタデータ） (2023-06-01T19:04:17Z) - Adversarial Counterfactual Visual Explanations [0.7366405857677227]
本稿では,敵攻撃を意味論的に意味のある摂動に変換するエレガントな手法を提案する。
提案手法は,拡散確率モデルが高周波および分布外摂動を回避するための優れた正則化器であることを仮定する。
論文 参考訳（メタデータ） (2023-03-17T13:34:38Z) - Improving Adversarial Robustness to Sensitivity and Invariance Attacks
with Deep Metric Learning [80.21709045433096]
対向ロバスト性の標準的な方法は、サンプルを最小に摂動させることによって作られたサンプルに対して防御する枠組みを仮定する。
距離学習を用いて、最適輸送問題として逆正則化をフレーム化する。
予備的な結果から, 変分摂動の規則化は, 変分防御と敏感防御の両方を改善することが示唆された。
論文 参考訳（メタデータ） (2022-11-04T13:54:02Z) - Forget-me-not! Contrastive Critics for Mitigating Posterior Collapse [20.258298183228824]
我々は,潜伏変数と観測値の対応を必要とする事で,後部崩壊を検知し,インセンティブを与える推論評論家を紹介した。
このアプローチは実装が簡単で、事前のメソッドよりもトレーニング時間が大幅に少なくなります。
論文 参考訳（メタデータ） (2022-07-19T20:07:17Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳（メタデータ） (2022-03-25T19:57:19Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳（メタデータ） (2021-09-24T17:37:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。