論文の概要: Evaluating Concurrent Robustness of Language Models Across Diverse Challenge Sets
- arxiv url: http://arxiv.org/abs/2311.08662v2
- Date: Mon, 15 Jul 2024 20:59:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 23:50:29.478049
- Title: Evaluating Concurrent Robustness of Language Models Across Diverse Challenge Sets
- Title（参考訳）: 異種課題集合における言語モデルの同時ロバスト性の評価
- Authors: Vatsal Gupta, Pranshu Pandya, Tushar Kataria, Vivek Gupta, Dan Roth,
- Abstract要約: 言語モデルはブラックボックスの性質が特徴で、しばしば幻覚を呈し、入力の摂動に敏感である。
入力摂動が言語モデルにどう影響するかを,様々な尺度で検討する手法を提案する。
複数の摂動に対するロバスト性に対処するための3つの異なる微調整戦略を提案する。
- 参考スコア（独自算出の注目度）: 46.19529338280716
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models, characterized by their black-box nature, often hallucinate and display sensitivity to input perturbations, causing concerns about trust. To enhance trust, it is imperative to gain a comprehensive understanding of the model's failure modes and develop effective strategies to improve their performance. In this study, we introduce a methodology designed to examine how input perturbations affect language models across various scales, including pre-trained models and large language models (LLMs). Utilizing fine-tuning, we enhance the model's robustness to input perturbations. Additionally, we investigate whether exposure to one perturbation enhances or diminishes the model's performance with respect to other perturbations. To address robustness against multiple perturbations, we present three distinct fine-tuning strategies. Furthermore, we broaden the scope of our methodology to encompass large language models (LLMs) by leveraging a chain of thought (CoT) prompting approach augmented with exemplars. We employ the Tabular-NLI task to showcase how our proposed strategies adeptly train a robust model, enabling it to address diverse perturbations while maintaining accuracy on the original dataset.
- Abstract（参考訳）: 言語モデルはブラックボックスの性質が特徴で、しばしば幻覚を呈し、入力の摂動に敏感で、信頼を心配する。
信頼を高めるためには、モデルの障害モードを包括的に理解し、パフォーマンスを改善する効果的な戦略を開発することが不可欠である。
本研究では,入力摂動が事前学習モデルや大規模言語モデル(LLM)など,様々なスケールの言語モデルにどのように影響するかを検討する手法を提案する。
微調整を利用して、入力摂動に対するモデルの堅牢性を高める。
さらに,1つの摂動に曝露することで,他の摂動に対するモデルの性能が向上するか,低下するかを検討する。
複数の摂動に対する頑健性に対処するため、我々は3つの異なる微調整戦略を示す。
さらに,思考の連鎖(CoT)を活用することで,言語モデル(LLM)を包含する方法論の範囲を広げる。
Tabular-NLIタスクを使用して、提案した戦略が頑健なモデルを十分にトレーニングする方法を示し、元のデータセットの精度を維持しながら、さまざまな摂動に対処できるようにします。
関連論文リスト
- Analyzing Persuasive Strategies in Meme Texts: A Fusion of Language Models with Paraphrase Enrichment [0.23020018305241333]
本稿では,ミームテキストにおける説得手法の階層的マルチラベル検出へのアプローチについて述べる。
本研究の範囲は、革新的なトレーニング技術とデータ強化戦略を通じて、モデルパフォーマンスの向上を含む。
論文 参考訳（メタデータ） (2024-07-01T20:25:20Z) - Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。
本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。
LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
論文 参考訳（メタデータ） (2024-04-18T15:47:00Z) - Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。
以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
論文 参考訳（メタデータ） (2024-04-02T22:27:24Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2024-01-25T09:18:51Z) - Improving the Robustness of Transformer-based Large Language Models with
Dynamic Attention [43.95101492654236]
BERTやGPTといったトランスフォーマーベースのモデルは、自然言語処理(NLP)において広く採用されている。
近年の研究では、テキスト入力を意図的に操作することで、モデルの出力を誤認できるような、テキストの敵対攻撃に対する脆弱性が示されている。
本稿では,トランスアーキテクチャに適した動的アテンション(動的アテンション)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-29T07:09:13Z) - In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。
実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。
また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
論文 参考訳（メタデータ） (2022-12-20T14:06:50Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z) - SafeAMC: Adversarial training for robust modulation recognition models [53.391095789289736]
通信システムには、Deep Neural Networks(DNN)モデルに依存する変調認識など、多くのタスクがある。
これらのモデルは、逆方向の摂動、すなわち、誤分類を引き起こすために作られた知覚不能な付加音に影響を受けやすいことが示されている。
本稿では,自動変調認識モデルのロバスト性を高めるために,逆方向の摂動を伴うモデルを微調整する逆方向トレーニングを提案する。
論文 参考訳（メタデータ） (2021-05-28T11:29:04Z) - Evaluating Deception Detection Model Robustness To Linguistic Variation [10.131671217810581]
認知ニュース検出の設定における言語的変化に対するモデル堅牢性の解析を提案する。
2つの予測タスクを検討し,3つの最先端組込みを比較して,モデル性能の一貫した傾向を強調する。
キャラクタあるいは混合アンサンブルモデルが最も効果的な防御であり,キャラクタ摂動に基づく攻撃戦術がより成功していることがわかった。
論文 参考訳（メタデータ） (2021-04-23T17:25:38Z) - Evaluating Neural Machine Comprehension Model Robustness to Noisy Inputs
and Adversarial Attacks [9.36331571226256]
我々は,文字,単語,文レベルで新しい摂動を実行することで,機械理解モデルによる雑音や敵対攻撃に対する頑健さを評価する。
敵攻撃時のモデル誤差を予測するモデルを開発した。
論文 参考訳（メタデータ） (2020-05-01T03:05:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。