論文の概要: ANTONIO: Towards a Systematic Method of Generating NLP Benchmarks for Verification

• arxiv url: http://arxiv.org/abs/2305.04003v2
• Date: Wed, 12 Jul 2023 09:24:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 16:46:53.859734
• Title: ANTONIO: Towards a Systematic Method of Generating NLP Benchmarks for Verification
• Title（参考訳）: ANTONIO:検証のためのNLPベンチマーク生成方式
• Authors: Marco Casadio, Luca Arnaboldi, Matthew L. Daggitt, Omri Isac, Tanvi Dinkar, Daniel Kienitz, Verena Rieser, Ekaterina Komendantskaya
• Abstract要約: コンピュータビジョンや他の数値データセットで機能する既知のニューラルネットワーク検証方法は、NLPでは機能しない。 本稿では,この問題の根底にある技術的理由について考察する。 我々は,これらの手法を,ニューラルネットワーク検証器ERANとマラブーにリンクするANTONIOと呼ばれるPythonライブラリとして実装する。
• 参考スコア（独自算出の注目度）: 8.775984661418912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Verification of machine learning models used in Natural Language Processing (NLP) is known to be a hard problem. In particular, many known neural network verification methods that work for computer vision and other numeric datasets do not work for NLP. Here, we study technical reasons that underlie this problem. Based on this analysis, we propose practical methods and heuristics for preparing NLP datasets and models in a way that renders them amenable to known verification methods based on abstract interpretation. We implement these methods as a Python library called ANTONIO that links to the neural network verifiers ERAN and Marabou. We perform evaluation of the tool using an NLP dataset R-U-A-Robot suggested as a benchmark for verifying legally critical NLP applications. We hope that, thanks to its general applicability, this work will open novel possibilities for including NLP verification problems into neural network verification competitions, and will popularise NLP problems within this community.
• Abstract（参考訳）: 自然言語処理(NLP)で使用される機械学習モデルの検証は難しい問題であることが知られている。 特に、コンピュータビジョンや他の数値データセットで機能する多くの既知のニューラルネットワーク検証方法は、NLPでは機能しない。 ここでは,この問題を裏付ける技術的理由について検討する。 そこで本研究では,NLPデータセットとモデルを作成するための実践的手法とヒューリスティックスを提案する。 我々はこれらの手法を,ニューラルネットワーク検証器ERANとマラブーにリンクするANTONIOと呼ばれるPythonライブラリとして実装する。 我々は,NLP データセット R-U-A-Robot を法的に重要な NLP アプリケーションを検証するためのベンチマークとして提案したツールの評価を行う。 一般的な適用性のおかげで、この研究がニューラルネットワーク検証コンテストにNLP検証問題を含める新たな可能性を開き、コミュニティ内でNLP問題の普及を期待する。

関連論文リスト

• NLP4PBM: A Systematic Review on Process Extraction using Natural Language Processing with Rule-based, Machine and Deep Learning Methods [0.0]
  本稿では,自然言語処理(NLP)を用いたテキスト記述の構造化プロセスへの変換という,自動プロセス抽出の分野を概観する。 機械学習 (ML) / ディープラーニング (DL) メソッドが NLP コンポーネントにますます利用されていることが分かりました。 いくつかのケースでは、プロセス抽出に対する適合性から選択され、その結果、古典的なルールベースの手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-10T15:16:02Z)
• Targeted Visualization of the Backbone of Encoder LLMs [46.453758431767724]
  注意に基づく大規模言語モデル(LLMs)は、自然言語処理(NLP)における最先端技術である。 エンコーダモデルの成功にもかかわらず、私たちはこの作業に集中していますが、バイアスの問題や敵の攻撃に対する感受性など、いくつかのリスクも抱えています。 決定関数の一部を2次元のデータセットとともに視覚化するDeepViewのNLPドメインへの応用について検討する。
  論文  参考訳（メタデータ） (2024-03-26T12:51:02Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• HugNLP: A Unified and Comprehensive Library for Natural Language Processing [14.305751154503133]
  本稿では,HugingFace Transformersのバックエンドを備えた自然言語処理(NLP)ライブラリであるHugNLPを紹介する。 HugNLPは、モデル、プロセッサ、アプリケーションを含む階層構造で構成され、異なるNLPタスクで事前訓練された言語モデル(PLM)の学習プロセスを統一する。
  論文  参考訳（メタデータ） (2023-02-28T03:38:26Z)
• Meta Learning for Natural Language Processing: A Survey [88.58260839196019]
  ディープラーニングは自然言語処理(NLP)分野において主要な技術である。 ディープラーニングには多くのラベル付きデータが必要です。 メタ学習は、より良いアルゴリズムを学ぶためのアプローチを研究する機械学習の分野である。
  論文  参考訳（メタデータ） (2022-05-03T13:58:38Z)
• Interpreting Deep Learning Models in Natural Language Processing: A Review [33.80537635077772]
  ニューラルネットワークモデルに対する長年にわたる批判は、解釈可能性の欠如である。 本研究では,NLPにおけるニューラルモデルに対する様々な解釈手法について概説する。
  論文  参考訳（メタデータ） (2021-10-20T10:17:04Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Model Explainability in Deep Learning Based Natural Language Processing [0.0]
  我々は、一般的な機械学習モデル説明可能性方法論をレビューし、比較した。 NLP分類モデルにNLP説明可能性手法の1つを適用した。 我々は,NLPモデルの特質から,いくつかの共通点を明らかにした。
  論文  参考訳（メタデータ） (2021-06-14T13:23:20Z)
• FedNLP: A Research Platform for Federated Learning in Natural Language Processing [55.01246123092445]
  NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。 FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。 FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
  論文  参考訳（メタデータ） (2021-04-18T11:04:49Z)
• NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
  本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。 NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。 NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
  論文  参考訳（メタデータ） (2020-12-09T13:02:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。