論文の概要: NLP Verification: Towards a General Methodology for Certifying Robustness
- arxiv url: http://arxiv.org/abs/2403.10144v1
- Date: Fri, 15 Mar 2024 09:43:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 17:50:08.382401
- Title: NLP Verification: Towards a General Methodology for Certifying Robustness
- Title（参考訳）: NLP検証:ロバスト性認証のための一般的な方法論を目指して
- Authors: Marco Casadio, Tanvi Dinkar, Ekaterina Komendantskaya, Luca Arnaboldi, Omri Isac, Matthew L. Daggitt, Guy Katz, Verena Rieser, Oliver Lemon,
- Abstract要約: 我々は,NLP検証パイプラインの一般的なコンポーネントを除去し,評価する試みを行っている。
我々は、検証された部分空間のセマンティック・ジェネリシビリティの技術的課題を識別し、対処する効果的な方法を与える。
埋め込みギャップの効果を解析するための一般的な手法を提案する。
- 参考スコア（独自算出の注目度）: 9.897538432223714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks have exhibited substantial success in the field of Natural Language Processing (NLP) and ensuring their safety and reliability is crucial: there are safety critical contexts where such models must be robust to variability or attack, and give guarantees over their output. Unlike Computer Vision, NLP lacks a unified verification methodology and, despite recent advancements in literature, they are often light on the pragmatical issues of NLP verification. In this paper, we make an attempt to distil and evaluate general components of an NLP verification pipeline, that emerges from the progress in the field to date. Our contributions are two-fold. Firstly, we give a general characterisation of verifiable subspaces that result from embedding sentences into continuous spaces. We identify, and give an effective method to deal with, the technical challenge of semantic generalisability of verified subspaces; and propose it as a standard metric in the NLP verification pipelines (alongside with the standard metrics of model accuracy and model verifiability). Secondly, we propose a general methodology to analyse the effect of the embedding gap, a problem that refers to the discrepancy between verification of geometric subpspaces on the one hand, and semantic meaning of sentences which the geometric subspaces are supposed to represent, on the other hand. In extreme cases, poor choices in embedding of sentences may invalidate verification results. We propose a number of practical NLP methods that can help to identify the effects of the embedding gap; and in particular we propose the metric of falsifiability of semantic subpspaces as another fundamental metric to be reported as part of the NLP verification pipeline. We believe that together these general principles pave the way towards a more consolidated and effective development of this new domain.
- Abstract（参考訳）: ディープニューラルネットワークは、自然言語処理(NLP)の分野で大きな成功を収め、その安全性と信頼性の確保が不可欠である。
コンピュータビジョンとは異なり、NLPには統一的な検証手法がなく、近年の文献の進歩にもかかわらず、NLP検証の実用的問題に光を当てることが多い。
本稿では,NLP検証パイプラインの一般的なコンポーネントを消耗し,評価しようとする試みについて述べる。
私たちの貢献は2倍です。
まず、文を連続空間に埋め込んだ結果の検証可能な部分空間を一般化する。
我々は、検証された部分空間のセマンティック・ジェネリシビリティに関する技術的課題を同定し、対処する効果的な方法を提供し、NLP検証パイプラインの標準指標として提案する(モデル精度とモデル検証可能性の標準指標に加えて)。
第2に,埋め込みギャップの効果を解析するための一般的な手法を提案する。これは,幾何学的部分空間の検証と,幾何学的部分空間が表すはずの文の意味的意味の相違に言及する問題である。
極端な場合、文章を埋め込む際の不適切な選択は、検証結果を無効にする可能性がある。
特に,NLP検証パイプラインの一部として報告すべき他の基本的な指標として,意味的部分空間のフェルシフィビリティの尺度を提案する。
これらの一般的な原則が組み合わさって、この新しいドメインをより統合し、効果的に開発するための道を開いたと信じています。
関連論文リスト
- Revisiting Differential Verification: Equivalence Verification with Confidence [0.6562256987706128]
検証済みニューラルネットワーク(NN)がデプロイ前にプルーニング(および再トレーニング)されると、新しいNNが元のNNと同等に振る舞うことを証明することが望ましい。
本稿では,NN間の差異を推論する差分検証の考え方を再考する。
論文 参考訳（メタデータ） (2024-10-26T15:53:25Z) - Advancing Fairness in Natural Language Processing: From Traditional Methods to Explainability [0.9065034043031668]
この論文は、NLPシステムにおける株式と透明性の必要性に対処している。
高リスクNLPアプリケーションにおけるバイアスを軽減する革新的なアルゴリズムを導入している。
また、トランスフォーマーモデルの概念を特定し、ランク付けするモデルに依存しない説明可能性法を提案する。
論文 参考訳（メタデータ） (2024-10-16T12:38:58Z) - Embedding Trajectory for Out-of-Distribution Detection in Mathematical Reasoning [50.84938730450622]
数理推論におけるOOD検出にトラジェクトリボラティリティを用いたトラジェクトリベースのTVスコアを提案する。
本手法は, 数学的推論シナリオ下でのGLM上での従来のアルゴリズムよりも優れる。
提案手法は,複数選択質問などの出力空間における高密度特徴を持つアプリケーションに拡張することができる。
論文 参考訳（メタデータ） (2024-05-22T22:22:25Z) - Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。
実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。
我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
論文 参考訳（メタデータ） (2023-08-28T03:03:03Z) - No Strong Feelings One Way or Another: Re-operationalizing Neutrality in
Natural Language Inference [6.485890157501745]
自然言語推論(NLI)は、言語モデルの推論推論能力を評価するための基礎的なタスクである。
NLIで使用される標準的な3方向分類スキームは、自然な人間の推論のニュアンスを捉えるモデルの能力を評価するのに、よく知られた欠点がある。
我々は、現在のNLIデータセットにおける中立ラベルの運用は、妥当性が低く、矛盾なく解釈され、少なくとも1つの重要な中立感が無視されることを論じる。
論文 参考訳（メタデータ） (2023-06-16T15:45:08Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。
また、局所的な一貫性の結果に基づいた理論的保証も提供する。
この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文 参考訳（メタデータ） (2022-11-17T15:48:06Z) - Evaluate Confidence Instead of Perplexity for Zero-shot Commonsense
Reasoning [85.1541170468617]
本稿では,コモンセンス推論の性質を再考し,新しいコモンセンス推論尺度であるNon-Replacement Confidence(NRC)を提案する。
提案手法は,2つのコモンセンス推論ベンチマークデータセットと,さらに7つのコモンセンス質問応答データセットに対してゼロショット性能を向上する。
論文 参考訳（メタデータ） (2022-08-23T14:42:14Z) - Quantifying Robustness to Adversarial Word Substitutions [24.164523751390053]
深層学習に基づくNLPモデルは単語置換摂動に弱いことが判明した。
単語レベルの堅牢性を評価するための形式的枠組みを提案する。
メトリックは、BERTのような最先端のモデルが、いくつかの単語置換によって簡単に騙される理由を理解するのに役立ちます。
論文 参考訳（メタデータ） (2022-01-11T08:18:39Z) - Incremental Verification of Fixed-Point Implementations of Neural
Networks [0.19573380763700707]
インクリメンタル境界モデル検査(BMC)、満足度変調理論(SMT)、不変推論を用いた新しいシンボル検証フレームワークの開発と評価を行った。
提案手法は,異なる入力画像を考慮した21の試験事例の85.8%,カバー手法に関連する特性の100%を検証・生成することができた。
論文 参考訳（メタデータ） (2020-12-21T10:03:44Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。