論文の概要: NLP Verification: Towards a General Methodology for Certifying Robustness

• arxiv url: http://arxiv.org/abs/2403.10144v3
• Date: Fri, 24 Jan 2025 15:43:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:55:22.838121
• Title: NLP Verification: Towards a General Methodology for Certifying Robustness
• Title（参考訳）: NLP検証:ロバスト性認証のための一般的な方法論を目指して
• Authors: Marco Casadio, Tanvi Dinkar, Ekaterina Komendantskaya, Luca Arnaboldi, Matthew L. Daggitt, Omri Isac, Guy Katz, Verena Rieser, Oliver Lemon,
• Abstract要約: 機械学習(ML)は自然言語処理(NLP)の分野で大きな成功を収めている。 これらのシステムが現実世界のアプリケーションにますます統合されるにつれて、安全性と信頼性の確保が主な関心事となっている。 本稿では,幾何学的部分空間の検証と文の意味的意味の相違に言及した,埋め込みギャップの効果を解析するための一般的な手法を提案する。
• 参考スコア（独自算出の注目度）: 9.897538432223714
• License:
• Abstract: Machine Learning (ML) has exhibited substantial success in the field of Natural Language Processing (NLP). For example large language models have empirically proven to be capable of producing text of high complexity and cohesion. However, they are prone to inaccuracies and hallucinations. As these systems are increasingly integrated into real-world applications, ensuring their safety and reliability becomes a primary concern. There are safety critical contexts where such models must be robust to variability or attack, and give guarantees over their output. Computer Vision had pioneered the use of formal verification of neural networks for such scenarios and developed common verification standards and pipelines, leveraging precise formal reasoning about geometric properties of data manifolds. In contrast, NLP verification methods have only recently appeared in the literature. While presenting sophisticated algorithms, these papers have not yet crystallised into a common methodology. They are often light on the pragmatical issues of NLP verification and the area remains fragmented. In this paper, we attempt to distil and evaluate general components of an NLP verification pipeline, that emerges from the progress in the field to date. Our contributions are two-fold. Firstly, we propose a general methodology to analyse the effect of the embedding gap, a problem that refers to the discrepancy between verification of geometric subspaces and the semantic meaning of sentences, which the geometric subspaces are supposed to represent. We propose a number of practical NLP methods that can help to quantify the effects of the embedding gap. Secondly, we give a general method for training and verification of neural networks that leverages a more precise geometric estimation of semantic similarity of sentences in the embedding space and helps to overcome the effects of the embedding gap in practice.
• Abstract（参考訳）: 機械学習(ML)は自然言語処理(NLP)の分野で大きな成功を収めている。 例えば、大きな言語モデルは、高い複雑さと凝集性のテキストを生成できることを実証的に証明している。 しかし、不正確さや幻覚の傾向が強い。 これらのシステムが現実世界のアプリケーションにますます統合されるにつれて、安全性と信頼性の確保が主な関心事となっている。 このようなモデルは、変数やアタックに対して堅牢でなければならず、アウトプットに対して保証を与えなければならない。 コンピュータビジョンはそのようなシナリオにおけるニューラルネットワークの形式的検証の使用の先駆者であり、データ多様体の幾何学的性質に関する正確な公式推論を生かし、共通の検証基準とパイプラインを開発した。 対照的に、NLP検証手法は文献に最近登場したばかりである。 洗練されたアルゴリズムを提示する一方で、これらの論文は共通の方法論としてまだ定説化されていない。 多くの場合、NLP検証の実用的問題に光を当てており、領域は断片化されている。 本稿では,NLP検証パイプラインの一般成分の消耗と評価を試みる。 私たちの貢献は2倍です。 まず、幾何学的部分空間の検証と、幾何学的部分空間が表すはずの文の意味的意味の相違に言及した問題である埋め込みギャップの効果を分析するための一般的な手法を提案する。 組込みギャップの効果を定量化するための実用的NLP法を多数提案する。 第2に、埋め込み空間における文の意味的類似性のより正確な幾何学的推定を利用して、ニューラルネットワークのトレーニングと検証を行う一般的な方法を提供し、実際的な埋め込みギャップの影響を克服するのに役立つ。

関連論文リスト

• Geometric Neural Process Fields [58.77241763774756]
  幾何学的ニューラル・プロセス・フィールド(Geometric Neural Process Fields, G-NPF)は、ニューラル・ラディアンス・フィールドの確率的フレームワークである。 これらの基盤の上に構築された階層型潜在変数モデルにより、G-NPFは複数の空間レベルにまたがる構造情報を統合できる。 3次元シーンと2次元画像と1次元信号レグレッションの新規ビュー合成実験により,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-02-04T14:17:18Z)
• Causal Representation Learning with Generative Artificial Intelligence: Application to Texts as Treatments [0.0]
  テキストなどの非構造的高次元処理による因果推論の有効性を高める方法について述べる。 本稿では,大規模言語モデル(LLM)のような深層生成モデルを用いて治療を効率的に生成することを提案する。 この真の内部表現の知識は、関心事の処理特徴を乱すのに役立ちます。
  論文  参考訳（メタデータ） (2024-10-01T17:46:21Z)
• Paired Completion: Flexible Quantification of Issue-framing at Scale with LLMs [0.41436032949434404]
  我々は,大規模なテキストデータセット内の問題フレーミングと物語分析のための新しい検出手法を開発し,厳密に評価する。 問題フレーミングは大きなコーパスにおいて, 与えられた問題に対して, いずれの視点でも, 確実に, 効率的に検出できることを示す。
  論文  参考訳（メタデータ） (2024-08-19T07:14:15Z)
• Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
  大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。 本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T20:38:41Z)
• Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals [67.64770842323966]
  NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。 既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。 本稿では, 対物近似(CF)の2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T07:31:04Z)
• Robust Natural Language Processing: Recent Advances, Challenges, and Future Directions [4.409836695738517]
  文献を様々な次元にわたって体系的に要約することで,NLPロバストネス研究の構造化概要を述べる。 次に、テクニック、メトリクス、埋め込み、ベンチマークなど、堅牢性のさまざまな側面を深く掘り下げます。
  論文  参考訳（メタデータ） (2022-01-03T17:17:11Z)
• Learning to Detect Critical Nodes in Sparse Graphs via Feature Importance Awareness [53.351863569314794]
  クリティカルノード問題(CNP)は、削除が残余ネットワークのペア接続性を最大に低下させるネットワークから臨界ノードの集合を見つけることを目的としている。 本研究は,ノード表現のための特徴重要度対応グラフアテンションネットワークを提案する。 ダブルディープQネットワークと組み合わせて、初めてCNPを解くエンドツーエンドのアルゴリズムを作成する。
  論文  参考訳（メタデータ） (2021-12-03T14:23:05Z)
• Descriptive vs. inferential community detection in networks: pitfalls, myths, and half-truths [0.0]
  推論手法は、より明確な科学的問題と整合し、より堅牢な結果をもたらすのが一般的であり、多くの場合好まれるべきである、と我々は主張する。 我々は,コミュニティ検出が実際に行われている場合によく信じられる神話や半真実を,そのような手法の使用と結果の解釈の両方を改善するために,取り除こうと試みている。
  論文  参考訳（メタデータ） (2021-11-30T23:57:51Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。