Fugu-MT 論文翻訳(概要): Deep Learning Based Dense Retrieval: A Comparative Study

論文の概要: Deep Learning Based Dense Retrieval: A Comparative Study

arxiv url: http://arxiv.org/abs/2410.20315v1
Date: Sun, 27 Oct 2024 02:52:36 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-29 12:18:20.819271
Title: Deep Learning Based Dense Retrieval: A Comparative Study
Title（参考訳）: 深層学習に基づくDense Retrieval : 比較研究
Authors: Ming Zhong, Zhizhi Wu, Nanako Honda,
Abstract要約: 我々は, BERT, Dense Passage Retrieval (DPR), Contriever, SimCSE, ANCEなどのモデルを評価することにより, 汚染トークン化剤に対する高密度検索システムの脆弱性を評価する。実験の結果, 小さな摂動でも精度に大きく影響し, 重要なアプリケーションにおける堅牢な防御の必要性が浮き彫りになった。
参考スコア（独自算出の注目度）: 11.705651144832041
License:
Abstract: Dense retrievers have achieved state-of-the-art performance in various information retrieval tasks, but their robustness against tokenizer poisoning remains underexplored. In this work, we assess the vulnerability of dense retrieval systems to poisoned tokenizers by evaluating models such as BERT, Dense Passage Retrieval (DPR), Contriever, SimCSE, and ANCE. We find that supervised models like BERT and DPR experience significant performance degradation when tokenizers are compromised, while unsupervised models like ANCE show greater resilience. Our experiments reveal that even small perturbations can severely impact retrieval accuracy, highlighting the need for robust defenses in critical applications.
Abstract（参考訳）: デンスレトリバーは、様々な情報検索タスクにおいて最先端のパフォーマンスを達成したが、トークン化剤中毒に対する堅牢性はまだ未調査である。本研究では、BERT、Dense Passage Retrieval(DPR)、Contriever、SimCSE、ANCEなどのモデルを評価することにより、汚染されたトークン化剤に対する高密度検索システムの脆弱性を評価する。 BERTやDPRのような教師なしモデルでは、トークン化剤が侵害された場合のパフォーマンスが大幅に低下するのに対して、ANCEのような教師なしモデルではレジリエンスが向上することがわかった。実験の結果, 小さな摂動でも精度に大きく影響し, 重要なアプリケーションにおける堅牢な防御の必要性が浮き彫りになった。

関連論文リスト

Adversarial Robustness Overestimation and Instability in TRADES [4.063518154926961]
TRADES は多クラス分類タスクにおける AutoAttack テストの精度と比較して,PGD の検証精度が極めて高い場合が多い。この矛盾は、勾配マスキングに結びつく可能性のある、これらのインスタンスに対するロバストネスのかなりの過大評価を浮き彫りにする。
論文参考訳（メタデータ） (2024-10-10T07:32:40Z)
Deep Learning for Network Anomaly Detection under Data Contamination: Evaluating Robustness and Mitigating Performance Degradation [0.0]
ディープラーニング(DL)は、サイバーセキュリティのためのネットワーク異常検出(NAD)において重要なツールとして登場した。異常検出のためのDLモデルはデータから特徴や学習パターンを抽出するのに優れているが、データ汚染には弱い。本研究では,データ汚染に対する6つの教師なしDLアルゴリズムのロバスト性を評価する。
論文参考訳（メタデータ） (2024-07-11T19:47:37Z)
Evaluating and Safeguarding the Adversarial Robustness of Retrieval-Based In-Context Learning [21.018893978967053]
In-Context Learning (ICL) は、プロンプトでデモをエンコードするために使用される選択、順序、動詞に敏感である。 Retrieval-Augmented ICLメソッドは、レトリバーを活用して、意味論的に関連する例を例示として抽出することで、この問題に対処しようとする。本研究は, 検索強化モデルにより, 検体攻撃に対する堅牢性が向上することを明らかにする。そこで本研究では,攻撃したサンプルを用いてサンプルプールを充実させる,効果的な訓練自由対人防御手法であるDARDを導入する。
論文参考訳（メタデータ） (2024-05-24T23:56:36Z)
Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
論文参考訳（メタデータ） (2024-02-27T13:49:12Z)
Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文参考訳（メタデータ） (2024-02-07T21:58:40Z)
SEDA: Self-Ensembling ViT with Defensive Distillation and Adversarial Training for robust Chest X-rays Classification [0.8812173669205372]
ViT(Vision Transformer)は、敵、プライバシ、シークレットの攻撃に対して、医療環境における信頼性に対する深刻な懸念を引き起こす。防衛蒸留・逆行訓練(SEDA)を用いた自己組立型ViTを提案する。 SEDAは、効率的なCNNブロックを用いて、中間 ViT ブロックから抽出した特徴表現から様々なレベルの抽象的な空間的特徴を学習する。
論文参考訳（メタデータ） (2023-08-15T16:40:46Z)
Exploring the Physical World Adversarial Robustness of Vehicle Detection [13.588120545886229]
アドリアックは現実世界の検知モデルの堅牢性を損なう可能性がある。 CARLAシミュレータを用いた革新的なインスタントレベルデータ生成パイプラインを提案する。本研究は, 逆境条件下での多種多様なモデル性能について考察した。
論文参考訳（メタデータ） (2023-08-07T11:09:12Z)
On Practical Aspects of Aggregation Defenses against Data Poisoning Attacks [58.718697580177356]
悪意のあるトレーニングサンプルを持つディープラーニングモデルに対する攻撃は、データ中毒として知られている。データ中毒に対する防衛戦略の最近の進歩は、認証された毒性の堅牢性を達成するためのアグリゲーション・スキームの有効性を強調している。ここでは、Deep Partition Aggregation(ディープ・パーティション・アグリゲーション・アグリゲーション)、代表的アグリゲーション・ディフェンス(アグリゲーション・ディフェンス)に焦点を当て、効率、性能、堅牢性など、その実践的側面を評価する。
論文参考訳（メタデータ） (2023-06-28T17:59:35Z)
Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文参考訳（メタデータ） (2021-06-21T21:42:08Z)
Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文参考訳（メタデータ） (2021-06-18T16:34:23Z)
Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
論文参考訳（メタデータ） (2021-05-23T01:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。