論文の概要: Systematicity, Compositionality and Transitivity of Deep NLP Models: a Metamorphic Testing Perspective

• arxiv url: http://arxiv.org/abs/2204.12316v1
• Date: Tue, 26 Apr 2022 13:50:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 13:36:14.285486
• Title: Systematicity, Compositionality and Transitivity of Deep NLP Models: a Metamorphic Testing Perspective
• Title（参考訳）: 深部NLPモデルの体系性・構成性・推移性:変成試験の視点から
• Authors: Edoardo Manino, Julia Rozanova, Danilo Carvalho, Andre Freitas, Lucas Cordeiro
• Abstract要約: 本稿では, 体系性, 構成性, 推移性に対処する変成関係の3つの新しいクラスを提案する。 それらを用いて、最先端のNLPモデルの内部整合性を検証し、期待される言語特性に応じて常に振る舞うわけではないことを示す。 最後に,メタモルフィック関係の内部構造を効率的に要約する新しいグラフィカル表記法を提案する。
• 参考スコア（独自算出の注目度）: 1.6799377888527685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Metamorphic testing has recently been used to check the safety of neural NLP models. Its main advantage is that it does not rely on a ground truth to generate test cases. However, existing studies are mostly concerned with robustness-like metamorphic relations, limiting the scope of linguistic properties they can test. We propose three new classes of metamorphic relations, which address the properties of systematicity, compositionality and transitivity. Unlike robustness, our relations are defined over multiple source inputs, thus increasing the number of test cases that we can produce by a polynomial factor. With them, we test the internal consistency of state-of-the-art NLP models, and show that they do not always behave according to their expected linguistic properties. Lastly, we introduce a novel graphical notation that efficiently summarises the inner structure of metamorphic relations.
• Abstract（参考訳）: 最近、ニューラルNLPモデルの安全性を確認するためにメタモルフィックテストが使用されている。 その主な利点は、テストケースを生成するために基礎的な真実に頼らないことである。 しかし、既存の研究は主にロバストネスのような変成関係に関係しており、テスト可能な言語特性の範囲を制限する。 本稿では, 体系性, 構成性, 推移性という性質を扱う3つの新しい変成関係のクラスを提案する。 ロバスト性とは異なり、我々の関係は複数のソース入力で定義され、多項式因子によって生成できるテストケースの数を増加させる。 それらを用いて,最先端nlpモデルの内部整合性をテストし,期待する言語特性に必ずしも従わないことを示す。 最後に,メタモルフィック関係の内部構造を効率的に要約する新しいグラフィカル表記法を提案する。

関連論文リスト

• Explaining Datasets in Words: Statistical Models with Natural Language Parameters [66.69456696878842]
  本稿では, クラスタリング, 時系列, 分類モデルなど, 自然言語の述語によってパラメータ化される統計モデル群を紹介する。 当社のフレームワークは、ユーザチャット対話の分類、時間の経過とともにどのように進化するかの特徴付け、一方の言語モデルが他方よりも優れているカテゴリを見つけることなど、幅広い問題に適用しています。
  論文  参考訳（メタデータ） (2024-09-13T01:40:20Z)
• A Causal Framework to Quantify the Robustness of Mathematical Reasoning with Language Models [81.15974174627785]
  入力空間における直接的介入に対する頑健さと感度の観点から言語モデルの振舞いについて検討する。 しかし, GPT-3 Davinciモデル(175B)は, 他のGPTモデルと比較して, 頑健さと感度の両面で劇的な改善を実現している。
  論文  参考訳（メタデータ） (2022-10-21T15:12:37Z)
• Benchmarking Compositionality with Formal Languages [64.09083307778951]
  我々は,NLPにおける大規模ニューラルモデルが,データから学習しながら,原始概念をより大規模な新しい組み合わせに組み込むことができるかどうかを検討する。 多くのトランスデューサをランダムにサンプリングすることにより、ニューラルネットワークによる合成関係の学習性に寄与する特性を探索する。 モデルは完全に関係を学習するか全く学習しないかが分かる。鍵となるのはトランジッションカバレッジであり、トランジッション毎に400の例でソフトな学習可能性制限を設定する。
  論文  参考訳（メタデータ） (2022-08-17T10:03:18Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Stretching Sentence-pair NLI Models to Reason over Long Documents and Clusters [35.103851212995046]
  自然言語推論(NLI)は,文ペア間の意味的関係を推定するフレームワークとして,NLPコミュニティによって広く研究されている。 我々は、NLIモデルの実アプリケーションへの直接ゼロショット適用性について、訓練された文ペア設定を超えて検討する。 本研究では,ContractNLIデータセット上で,フルドキュメント上で動作し,最先端のパフォーマンスを実現するための新たなアグリゲーション手法を開発した。
  論文  参考訳（メタデータ） (2022-04-15T12:56:39Z)
• Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
  トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。 BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。 特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
  論文  参考訳（メタデータ） (2021-09-10T12:13:45Z)
• Replicating and Extending "Because Their Treebanks Leak": Graph Isomorphism, Covariants, and Parser Performance [0.32228025627337864]
  NLPの他の統計分析と同様に、結果は線形回帰の評価に基づいていた。 そこで本研究では,グラフの同型性に関して,短い文のサブセットのみの性能が異なることを確認した。 このような統計的分析から得られた結論は、より容易に要因を分解することで、制御された実験がそれらを補う必要があることを示唆する。
  論文  参考訳（メタデータ） (2021-06-01T10:00:46Z)
• Exploring Transitivity in Neural NLI Models through Veridicality [39.845425535943534]
  推論関係の推移性に着目する。推論を体系的に描く基本的な性質である。 推移性をキャプチャするモデルは、基本的な推論パターンを構成し、新しい推論を引き出すことができる。 現在のNLIモデルは、推移性推論タスクで一貫してうまく機能しないことがわかります。
  論文  参考訳（メタデータ） (2021-01-26T11:18:35Z)
• ABNIRML: Analyzing the Behavior of Neural IR Models [45.74073795558624]
  BERTやT5のような事前訓練された言語モデルは、アドホック検索のための新しい最先端技術を確立した。 ニューラルIRモードL(ABNIRML)の挙動解析のための包括的枠組みを提案する。 我々は、ニューラルネットワークの利得に寄与する要因についての洞察を得るための実証的研究を行う。
  論文  参考訳（メタデータ） (2020-11-02T03:07:38Z)
• High-order Semantic Role Labeling [86.29371274587146]
  本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。 これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。 CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
  論文  参考訳（メタデータ） (2020-10-09T15:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。