論文の概要: PerturbScore: Connecting Discrete and Continuous Perturbations in NLP

• arxiv url: http://arxiv.org/abs/2310.08889v1
• Date: Fri, 13 Oct 2023 06:50:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 14:13:01.531529
• Title: PerturbScore: Connecting Discrete and Continuous Perturbations in NLP
• Title（参考訳）: PerturbScore: NLPにおける離散と連続摂動の接続
• Authors: Linyang Li, Ke Ren, Yunfan Shao, Pengyu Wang, Xipeng Qiu
• Abstract要約: 本稿では,離散摂動と連続摂動を結びつけることを目的とする。 回帰タスクをPerturbScoreとして設計し,相関関係を自動的に学習する。 離散摂動と連続摂動の接続を構築でき、提案したPerturbScoreを使ってそのような相関関係を学習できる。
• 参考スコア（独自算出の注目度）: 64.28423650146877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of neural network applications in NLP, model robustness problem is gaining more attention. Different from computer vision, the discrete nature of texts makes it more challenging to explore robustness in NLP. Therefore, in this paper, we aim to connect discrete perturbations with continuous perturbations, therefore we can use such connections as a bridge to help understand discrete perturbations in NLP models. Specifically, we first explore how to connect and measure the correlation between discrete perturbations and continuous perturbations. Then we design a regression task as a PerturbScore to learn the correlation automatically. Through experimental results, we find that we can build a connection between discrete and continuous perturbations and use the proposed PerturbScore to learn such correlation, surpassing previous methods used in discrete perturbation measuring. Further, the proposed PerturbScore can be well generalized to different datasets, perturbation methods, indicating that we can use it as a powerful tool to study model robustness in NLP.
• Abstract（参考訳）: NLPにおけるニューラルネットワークアプリケーションの急速な開発に伴い、モデルロバストネスの問題が注目されている。 コンピュータビジョンと異なり、テキストの離散的な性質は、NLPの堅牢性を探ることをより困難にする。 そこで本稿では,離散摂動と連続摂動を接続することを目的として,NLPモデルにおける離散摂動の理解を支援するために橋梁のような接続を利用する。 具体的には, 離散摂動と連続摂動の相関関係を接続し, 測定する方法を最初に検討する。 次に、回帰タスクをPerturbScoreとして設計し、相関を自動的に学習する。 実験の結果、離散摂動と連続摂動の接続を構築し、提案したPerturbScoreを用いてそのような相関関係を学習し、離散摂動測定における従来の手法を上回ります。 さらに、提案したPerturbScoreは、異なるデータセット、摂動法に適切に一般化することができ、NLPのモデル堅牢性を研究する強力なツールとして使用できることを示す。

関連論文リスト

• Cross-modulated Attention Transformer for RGBT Tracking [35.1700920590541]
  本稿では,RGBT追跡のためのCross-modulated Attention Transformer (CAFormer) という新しい手法を提案する。 特に,まず各モードの相関写像を独立に生成し,それらを設計した相関変調拡張モジュールに供給する。 5つの公開RGBT追跡ベンチマークの実験は、提案したCAFormerの最先端手法に対する優れた性能を示している。
  論文  参考訳（メタデータ） (2024-08-05T03:54:40Z)
• Causal Reasoning in the Presence of Latent Confounders via Neural ADMG Learning [8.649109147825985]
  潜伏境界は、観測データから因果推論を行うための長年の障害である。 本稿では,ADMG学習のための自己回帰フローに基づく新しい神経因果モデルを提案する。
  論文  参考訳（メタデータ） (2023-03-22T16:45:54Z)
• Integrating Random Effects in Deep Neural Networks [4.860671253873579]
  深層ニューラルネットワークにおける相関データを扱うために混合モデルフレームワークを提案する。 相関構造に基づく効果をランダムな効果として扱うことにより、混合モデルは過度に適合したパラメータ推定を避けることができる。 LMMNNと呼ばれる我々のアプローチは、様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2022-06-07T14:02:24Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Identifying and Mitigating Spurious Correlations for Improving Robustness in NLP Models [19.21465581259624]
  多くの問題は、刺激的な相関を利用したモデルや、トレーニングデータとタスクラベルの間のショートカットに起因する可能性がある。 本論文では,NLPモデルにおけるこのような素因的相関を大規模に同定することを目的とする。 提案手法は,スケーラブルな「ショートカット」の集合を効果的かつ効率的に同定し,複数のアプリケーションにおいてより堅牢なモデルに導かれることを示す。
  論文  参考訳（メタデータ） (2021-10-14T21:40:03Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Online neural connectivity estimation with ensemble stimulation [5.156484100374058]
  スパースネットワークにおけるこのプロセスの効率を大幅に向上させる,ノイズの多いグループテストに基づく手法を提案する。 人口規模に比例して対数的にしか成長しない多数のテストにより、二項化ネットワーク接続を回復可能であることを示す。 また、ネット上の数万のニューロンのネットワークに対して、接続性を推測する可能性も示しています。
  論文  参考訳（メタデータ） (2020-07-27T23:47:03Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Estimating the Effects of Continuous-valued Interventions using Generative Adversarial Networks [103.14809802212535]
  我々は,連続的評価介入の効果を推定する問題に対処するため,GAN(Generative Adversarial Network)フレームワークを構築した。 我々のモデルであるSCIGANは柔軟であり、いくつかの異なる継続的な介入に対する対実的な結果の同時推定が可能である。 継続的な介入に移行することによって生じる課題に対処するために、差別者のための新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-27T18:46:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。