論文の概要: NLP Verification: Towards a General Methodology for Certifying Robustness
- arxiv url: http://arxiv.org/abs/2403.10144v1
- Date: Fri, 15 Mar 2024 09:43:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 17:50:08.382401
- Title: NLP Verification: Towards a General Methodology for Certifying Robustness
- Title（参考訳）: NLP検証:ロバスト性認証のための一般的な方法論を目指して
- Authors: Marco Casadio, Tanvi Dinkar, Ekaterina Komendantskaya, Luca Arnaboldi, Omri Isac, Matthew L. Daggitt, Guy Katz, Verena Rieser, Oliver Lemon,
- Abstract要約: 我々は,NLP検証パイプラインの一般的なコンポーネントを除去し,評価する試みを行っている。
我々は、検証された部分空間のセマンティック・ジェネリシビリティの技術的課題を識別し、対処する効果的な方法を与える。
埋め込みギャップの効果を解析するための一般的な手法を提案する。
- 参考スコア（独自算出の注目度）: 9.897538432223714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks have exhibited substantial success in the field of Natural Language Processing (NLP) and ensuring their safety and reliability is crucial: there are safety critical contexts where such models must be robust to variability or attack, and give guarantees over their output. Unlike Computer Vision, NLP lacks a unified verification methodology and, despite recent advancements in literature, they are often light on the pragmatical issues of NLP verification. In this paper, we make an attempt to distil and evaluate general components of an NLP verification pipeline, that emerges from the progress in the field to date. Our contributions are two-fold. Firstly, we give a general characterisation of verifiable subspaces that result from embedding sentences into continuous spaces. We identify, and give an effective method to deal with, the technical challenge of semantic generalisability of verified subspaces; and propose it as a standard metric in the NLP verification pipelines (alongside with the standard metrics of model accuracy and model verifiability). Secondly, we propose a general methodology to analyse the effect of the embedding gap, a problem that refers to the discrepancy between verification of geometric subpspaces on the one hand, and semantic meaning of sentences which the geometric subspaces are supposed to represent, on the other hand. In extreme cases, poor choices in embedding of sentences may invalidate verification results. We propose a number of practical NLP methods that can help to identify the effects of the embedding gap; and in particular we propose the metric of falsifiability of semantic subpspaces as another fundamental metric to be reported as part of the NLP verification pipeline. We believe that together these general principles pave the way towards a more consolidated and effective development of this new domain.
- Abstract（参考訳）: ディープニューラルネットワークは、自然言語処理(NLP)の分野で大きな成功を収め、その安全性と信頼性の確保が不可欠である。
コンピュータビジョンとは異なり、NLPには統一的な検証手法がなく、近年の文献の進歩にもかかわらず、NLP検証の実用的問題に光を当てることが多い。
本稿では,NLP検証パイプラインの一般的なコンポーネントを消耗し,評価しようとする試みについて述べる。
私たちの貢献は2倍です。
まず、文を連続空間に埋め込んだ結果の検証可能な部分空間を一般化する。
我々は、検証された部分空間のセマンティック・ジェネリシビリティに関する技術的課題を同定し、対処する効果的な方法を提供し、NLP検証パイプラインの標準指標として提案する(モデル精度とモデル検証可能性の標準指標に加えて)。
第2に,埋め込みギャップの効果を解析するための一般的な手法を提案する。これは,幾何学的部分空間の検証と,幾何学的部分空間が表すはずの文の意味的意味の相違に言及する問題である。
極端な場合、文章を埋め込む際の不適切な選択は、検証結果を無効にする可能性がある。
特に,NLP検証パイプラインの一部として報告すべき他の基本的な指標として,意味的部分空間のフェルシフィビリティの尺度を提案する。
これらの一般的な原則が組み合わさって、この新しいドメインをより統合し、効果的に開発するための道を開いたと信じています。
関連論文リスト
- Geometric Neural Process Fields [58.77241763774756]
幾何学的ニューラル・プロセス・フィールド(Geometric Neural Process Fields, G-NPF)は、ニューラル・ラディアンス・フィールドの確率的フレームワークである。
これらの基盤の上に構築された階層型潜在変数モデルにより、G-NPFは複数の空間レベルにまたがる構造情報を統合できる。
3次元シーンと2次元画像と1次元信号レグレッションの新規ビュー合成実験により,本手法の有効性を実証した。
論文 参考訳（メタデータ） (2025-02-04T14:17:18Z) - Causal Representation Learning with Generative Artificial Intelligence: Application to Texts as Treatments [0.0]
テキストなどの非構造的高次元処理による因果推論の有効性を高める方法について述べる。
本稿では,大規模言語モデル(LLM)のような深層生成モデルを用いて治療を効率的に生成することを提案する。
この真の内部表現の知識は、関心事の処理特徴を乱すのに役立ちます。
論文 参考訳（メタデータ） (2024-10-01T17:46:21Z) - Paired Completion: Flexible Quantification of Issue-framing at Scale with LLMs [0.41436032949434404]
我々は,大規模なテキストデータセット内の問題フレーミングと物語分析のための新しい検出手法を開発し,厳密に評価する。
問題フレーミングは大きなコーパスにおいて, 与えられた問題に対して, いずれの視点でも, 確実に, 効率的に検出できることを示す。
論文 参考訳（メタデータ） (2024-08-19T07:14:15Z) - Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。
本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-04T20:38:41Z) - Faithful Explanations of Black-box NLP Models Using LLM-generated
Counterfactuals [67.64770842323966]
NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。
既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。
本稿では, 対物近似(CF)の2つの手法を提案する。
論文 参考訳（メタデータ） (2023-10-01T07:31:04Z) - Robust Natural Language Processing: Recent Advances, Challenges, and
Future Directions [4.409836695738517]
文献を様々な次元にわたって体系的に要約することで,NLPロバストネス研究の構造化概要を述べる。
次に、テクニック、メトリクス、埋め込み、ベンチマークなど、堅牢性のさまざまな側面を深く掘り下げます。
論文 参考訳（メタデータ） (2022-01-03T17:17:11Z) - Learning to Detect Critical Nodes in Sparse Graphs via Feature Importance Awareness [53.351863569314794]
クリティカルノード問題(CNP)は、削除が残余ネットワークのペア接続性を最大に低下させるネットワークから臨界ノードの集合を見つけることを目的としている。
本研究は,ノード表現のための特徴重要度対応グラフアテンションネットワークを提案する。
ダブルディープQネットワークと組み合わせて、初めてCNPを解くエンドツーエンドのアルゴリズムを作成する。
論文 参考訳（メタデータ） (2021-12-03T14:23:05Z) - Descriptive vs. inferential community detection in networks: pitfalls,
myths, and half-truths [0.0]
推論手法は、より明確な科学的問題と整合し、より堅牢な結果をもたらすのが一般的であり、多くの場合好まれるべきである、と我々は主張する。
我々は,コミュニティ検出が実際に行われている場合によく信じられる神話や半真実を,そのような手法の使用と結果の解釈の両方を改善するために,取り除こうと試みている。
論文 参考訳（メタデータ） (2021-11-30T23:57:51Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳（メタデータ） (2021-10-04T03:59:15Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-25T14:00:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。