論文の概要: Zero-shot sampling of adversarial entities in biomedical question
answering
- arxiv url: http://arxiv.org/abs/2402.10527v1
- Date: Fri, 16 Feb 2024 09:29:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 16:50:09.826431
- Title: Zero-shot sampling of adversarial entities in biomedical question
answering
- Title(参考訳): 生物医学的質問応答における相手のゼロショットサンプリング
- Authors: R. Patrick Xian, Alex J. Lee, Vincent Wang, Qiming Cui, Russell Ro,
Reza Abbasi-Asl
- Abstract要約: 高精度かつ知識集約的なタスクでは、モデル予測の信頼性を定量化する上で、モデルの脆弱性を理解することが不可欠である。
そこで本研究では,多種多様な対向性物体をインタプリタとして検出するために,埋め込み空間におけるパワースケール距離重み付きサンプリング手法を提案する。
本研究では,大規模言語モデルにおけるドメイン知識の脆さについて考察し,高容量モデルに対する標準評価の欠点を明らかにした。
- 参考スコア(独自算出の注目度): 0.6990493129893112
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing depth of parametric domain knowledge in large language models
(LLMs) is fueling their rapid deployment in real-world applications. In
high-stakes and knowledge-intensive tasks, understanding model vulnerabilities
is essential for quantifying the trustworthiness of model predictions and
regulating their use. The recent discovery of named entities as adversarial
examples in natural language processing tasks raises questions about their
potential guises in other settings. Here, we propose a powerscaled
distance-weighted sampling scheme in embedding space to discover diverse
adversarial entities as distractors. We demonstrate its advantage over random
sampling in adversarial question answering on biomedical topics. Our approach
enables the exploration of different regions on the attack surface, which
reveals two regimes of adversarial entities that markedly differ in their
characteristics. Moreover, we show that the attacks successfully manipulate
token-wise Shapley value explanations, which become deceptive in the
adversarial setting. Our investigations illustrate the brittleness of domain
knowledge in LLMs and reveal a shortcoming of standard evaluations for
high-capacity models.
- Abstract(参考訳): 大規模言語モデル(LLM)におけるパラメトリックドメイン知識の深化は、現実世界のアプリケーションへの迅速な展開を加速させている。
高スループットと知識集約的なタスクでは、モデルの脆弱性を理解することは、モデル予測の信頼性を定量化し、それらの使用を規制するために不可欠である。
最近、自然言語処理タスクの逆例として名前付きエンティティが発見されたことで、他の設定での潜在的なガイダンスに関する疑問が持ち上がった。
そこで本研究では,多種多様な逆対象を注意散らしとして発見するために,埋め込み空間におけるパワースケール距離重み付きサンプリング手法を提案する。
バイオメディカルトピックに対する逆問題応答におけるランダムサンプリングの利点を示す。
本手法により,攻撃面上の異なる領域の探索が可能となり,その特性に顕著な相違点が存在することが判明した。
さらに,攻撃がトークンワイドシェープ値説明の操作に成功し,相手設定で偽装となることを示す。
本研究は,LLMにおけるドメイン知識の脆さと,高容量モデルに対する標準評価の欠点を明らかにするものである。
関連論文リスト
- Adversarial Examples in the Physical World: A Survey [29.085967632276148]
ディープニューラルネットワーク(DNN)は、敵の例に高い脆弱性を示す。
物理的敵対例(PAEs)は、その特徴を包括的に理解していない。
我々は、PAEを新しく、徹底的に、体系的に理解し、堅牢な対人学習の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-11-01T06:55:09Z) - A Survey on Transferability of Adversarial Examples across Deep Neural
Networks [54.47263618782188]
逆の例では、機械学習モデルを操作して誤った予測を行うことができます。
敵の例の転送可能性によって"ブラックボックス"攻撃が可能になり、ターゲットモデルの詳細な知識の必要性を回避することができる。
本研究は, 対角移動可能性の展望を考察した。
論文 参考訳(メタデータ) (2023-10-26T17:45:26Z) - Context-aware Adversarial Attack on Named Entity Recognition [15.049160192547909]
本研究では,文脈対応型対向攻撃法について検討し,モデルのロバスト性について検討する。
具体的には、エンティティを認識するために最も情報に富む単語を摂動し、敵の例を作成することを提案する。
実験と分析により,本手法は強いベースラインよりも間違った予測を下すのに有効であることが示された。
論文 参考訳(メタデータ) (2023-09-16T14:04:23Z) - Towards an Accurate and Secure Detector against Adversarial
Perturbations [58.02078078305753]
敵の摂動に対するディープニューラルネットワークの脆弱性は、コンピュータビジョンコミュニティで広く認識されている。
現在のアルゴリズムは、通常、自然・人工データの識別的分解を通じて、敵対的なパターンを検出する。
本研究では,秘密鍵を用いた空間周波数判別分解に基づく,高精度かつセキュアな対向検波器を提案する。
論文 参考訳(メタデータ) (2023-05-18T10:18:59Z) - Consistent Valid Physically-Realizable Adversarial Attack against
Crowd-flow Prediction Models [4.286570387250455]
ディープラーニング(DL)モデルは、都市全体のクラウドフローパターンを効果的に学習することができる。
DLモデルは、目立たない逆境の摂動に対して不利に作用することが知られている。
論文 参考訳(メタデータ) (2023-03-05T13:30:25Z) - ExploreADV: Towards exploratory attack for Neural Networks [0.33302293148249124]
ExploreADVは、地域的および非受容的な攻撃をモデル化できる汎用的で柔軟な敵攻撃システムである。
提案システムは,入力のサブリージョンに着目し,知覚不能な摂動を探索し,攻撃に対する画素/領域の脆弱性を理解するための柔軟性をユーザに提供する。
論文 参考訳(メタデータ) (2023-01-01T07:17:03Z) - Improving Adversarial Robustness via Mutual Information Estimation [144.33170440878519]
ディープニューラルネットワーク(DNN)は、敵の雑音に弱い。
本稿では,情報理論の観点から,対象モデルの出力と入力対向サンプルの依存性について検討する。
本稿では,自然MIの最大化と,学習過程における敵MIの最小化により,敵ロバスト性を高めることを提案する。
論文 参考訳(メタデータ) (2022-07-25T13:45:11Z) - Characterizing the adversarial vulnerability of speech self-supervised
learning [95.03389072594243]
我々は,ゼロ知識とリミテッド知識の両方の敵からの攻撃の下で,そのようなパラダイムの敵対的脆弱性を調査するための最初の試みを行う。
実験結果から, SUPERB が提案するパラダイムは, 限られた知識を持つ敵に対して脆弱であることが示唆された。
論文 参考訳(メタデータ) (2021-11-08T08:44:04Z) - Proactive Pseudo-Intervention: Causally Informed Contrastive Learning
For Interpretable Vision Models [103.64435911083432]
PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。
PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。
また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
論文 参考訳(メタデータ) (2020-12-06T20:30:26Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳(メタデータ) (2020-12-03T10:17:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。