論文の概要: NLP Verification: Towards a General Methodology for Certifying Robustness
- arxiv url: http://arxiv.org/abs/2403.10144v3
- Date: Fri, 24 Jan 2025 15:43:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-27 14:55:22.838121
- Title: NLP Verification: Towards a General Methodology for Certifying Robustness
- Title（参考訳）: NLP検証:ロバスト性認証のための一般的な方法論を目指して
- Authors: Marco Casadio, Tanvi Dinkar, Ekaterina Komendantskaya, Luca Arnaboldi, Matthew L. Daggitt, Omri Isac, Guy Katz, Verena Rieser, Oliver Lemon,
- Abstract要約: 機械学習(ML)は自然言語処理(NLP)の分野で大きな成功を収めている。
これらのシステムが現実世界のアプリケーションにますます統合されるにつれて、安全性と信頼性の確保が主な関心事となっている。
本稿では,幾何学的部分空間の検証と文の意味的意味の相違に言及した,埋め込みギャップの効果を解析するための一般的な手法を提案する。
- 参考スコア（独自算出の注目度）: 9.897538432223714
- License:
- Abstract: Machine Learning (ML) has exhibited substantial success in the field of Natural Language Processing (NLP). For example large language models have empirically proven to be capable of producing text of high complexity and cohesion. However, they are prone to inaccuracies and hallucinations. As these systems are increasingly integrated into real-world applications, ensuring their safety and reliability becomes a primary concern. There are safety critical contexts where such models must be robust to variability or attack, and give guarantees over their output. Computer Vision had pioneered the use of formal verification of neural networks for such scenarios and developed common verification standards and pipelines, leveraging precise formal reasoning about geometric properties of data manifolds. In contrast, NLP verification methods have only recently appeared in the literature. While presenting sophisticated algorithms, these papers have not yet crystallised into a common methodology. They are often light on the pragmatical issues of NLP verification and the area remains fragmented. In this paper, we attempt to distil and evaluate general components of an NLP verification pipeline, that emerges from the progress in the field to date. Our contributions are two-fold. Firstly, we propose a general methodology to analyse the effect of the embedding gap, a problem that refers to the discrepancy between verification of geometric subspaces and the semantic meaning of sentences, which the geometric subspaces are supposed to represent. We propose a number of practical NLP methods that can help to quantify the effects of the embedding gap. Secondly, we give a general method for training and verification of neural networks that leverages a more precise geometric estimation of semantic similarity of sentences in the embedding space and helps to overcome the effects of the embedding gap in practice.
- Abstract（参考訳）: 機械学習(ML)は自然言語処理(NLP)の分野で大きな成功を収めている。
例えば、大きな言語モデルは、高い複雑さと凝集性のテキストを生成できることを実証的に証明している。
しかし、不正確さや幻覚の傾向が強い。
これらのシステムが現実世界のアプリケーションにますます統合されるにつれて、安全性と信頼性の確保が主な関心事となっている。
このようなモデルは、変数やアタックに対して堅牢でなければならず、アウトプットに対して保証を与えなければならない。
コンピュータビジョンはそのようなシナリオにおけるニューラルネットワークの形式的検証の使用の先駆者であり、データ多様体の幾何学的性質に関する正確な公式推論を生かし、共通の検証基準とパイプラインを開発した。
対照的に、NLP検証手法は文献に最近登場したばかりである。
洗練されたアルゴリズムを提示する一方で、これらの論文は共通の方法論としてまだ定説化されていない。
多くの場合、NLP検証の実用的問題に光を当てており、領域は断片化されている。
本稿では,NLP検証パイプラインの一般成分の消耗と評価を試みる。
私たちの貢献は2倍です。
まず、幾何学的部分空間の検証と、幾何学的部分空間が表すはずの文の意味的意味の相違に言及した問題である埋め込みギャップの効果を分析するための一般的な手法を提案する。
組込みギャップの効果を定量化するための実用的NLP法を多数提案する。
第2に、埋め込み空間における文の意味的類似性のより正確な幾何学的推定を利用して、ニューラルネットワークのトレーニングと検証を行う一般的な方法を提供し、実際的な埋め込みギャップの影響を克服するのに役立つ。
関連論文リスト
- Revisiting Differential Verification: Equivalence Verification with Confidence [0.6562256987706128]
検証済みニューラルネットワーク(NN)がデプロイ前にプルーニング(および再トレーニング)されると、新しいNNが元のNNと同等に振る舞うことを証明することが望ましい。
本稿では,NN間の差異を推論する差分検証の考え方を再考する。
論文 参考訳（メタデータ） (2024-10-26T15:53:25Z) - Advancing Fairness in Natural Language Processing: From Traditional Methods to Explainability [0.9065034043031668]
この論文は、NLPシステムにおける株式と透明性の必要性に対処している。
高リスクNLPアプリケーションにおけるバイアスを軽減する革新的なアルゴリズムを導入している。
また、トランスフォーマーモデルの概念を特定し、ランク付けするモデルに依存しない説明可能性法を提案する。
論文 参考訳（メタデータ） (2024-10-16T12:38:58Z) - Embedding Trajectory for Out-of-Distribution Detection in Mathematical Reasoning [50.84938730450622]
数理推論におけるOOD検出にトラジェクトリボラティリティを用いたトラジェクトリベースのTVスコアを提案する。
本手法は, 数学的推論シナリオ下でのGLM上での従来のアルゴリズムよりも優れる。
提案手法は,複数選択質問などの出力空間における高密度特徴を持つアプリケーションに拡張することができる。
論文 参考訳（メタデータ） (2024-05-22T22:22:25Z) - Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。
実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。
我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
論文 参考訳（メタデータ） (2023-08-28T03:03:03Z) - No Strong Feelings One Way or Another: Re-operationalizing Neutrality in
Natural Language Inference [6.485890157501745]
自然言語推論(NLI)は、言語モデルの推論推論能力を評価するための基礎的なタスクである。
NLIで使用される標準的な3方向分類スキームは、自然な人間の推論のニュアンスを捉えるモデルの能力を評価するのに、よく知られた欠点がある。
我々は、現在のNLIデータセットにおける中立ラベルの運用は、妥当性が低く、矛盾なく解釈され、少なくとも1つの重要な中立感が無視されることを論じる。
論文 参考訳（メタデータ） (2023-06-16T15:45:08Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。
また、局所的な一貫性の結果に基づいた理論的保証も提供する。
この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文 参考訳（メタデータ） (2022-11-17T15:48:06Z) - Evaluate Confidence Instead of Perplexity for Zero-shot Commonsense
Reasoning [85.1541170468617]
本稿では,コモンセンス推論の性質を再考し,新しいコモンセンス推論尺度であるNon-Replacement Confidence(NRC)を提案する。
提案手法は,2つのコモンセンス推論ベンチマークデータセットと,さらに7つのコモンセンス質問応答データセットに対してゼロショット性能を向上する。
論文 参考訳（メタデータ） (2022-08-23T14:42:14Z) - Quantifying Robustness to Adversarial Word Substitutions [24.164523751390053]
深層学習に基づくNLPモデルは単語置換摂動に弱いことが判明した。
単語レベルの堅牢性を評価するための形式的枠組みを提案する。
メトリックは、BERTのような最先端のモデルが、いくつかの単語置換によって簡単に騙される理由を理解するのに役立ちます。
論文 参考訳（メタデータ） (2022-01-11T08:18:39Z) - Incremental Verification of Fixed-Point Implementations of Neural
Networks [0.19573380763700707]
インクリメンタル境界モデル検査(BMC)、満足度変調理論(SMT)、不変推論を用いた新しいシンボル検証フレームワークの開発と評価を行った。
提案手法は,異なる入力画像を考慮した21の試験事例の85.8%,カバー手法に関連する特性の100%を検証・生成することができた。
論文 参考訳（メタデータ） (2020-12-21T10:03:44Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。