論文の概要: Robustness Tests of NLP Machine Learning Models: Search and Semantically
Replace
- arxiv url: http://arxiv.org/abs/2104.09978v1
- Date: Tue, 20 Apr 2021 14:05:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-21 13:55:46.114663
- Title: Robustness Tests of NLP Machine Learning Models: Search and Semantically
Replace
- Title(参考訳): nlp機械学習モデルのロバスト性テスト:検索と意味論的置き換え
- Authors: Rahul Singh, Karan Jindal, Yufei Yu, Hanyu Yang, Tarun Joshi, Matthew
A. Campbell, Wayne B. Shoumaker
- Abstract要約: 本稿では、自然言語処理(NLP)を含む機械学習モデルの堅牢性を評価する戦略を提案する。
全体的アプローチは、(1)テキストの重要な部分を識別する検索と、(2)重要な部分の置換を見つけ、置き換えられたトークンを意味的に類似した単語で制限するセマンティック置換という2つのステップからなる検索とセマンティック置換戦略に依存します。
- 参考スコア(独自算出の注目度): 2.0611838991750018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a strategy to assess the robustness of different machine
learning models that involve natural language processing (NLP). The overall
approach relies upon a Search and Semantically Replace strategy that consists
of two steps: (1) Search, which identifies important parts in the text; (2)
Semantically Replace, which finds replacements for the important parts, and
constrains the replaced tokens with semantically similar words. We introduce
different types of Search and Semantically Replace methods designed
specifically for particular types of machine learning models. We also
investigate the effectiveness of this strategy and provide a general framework
to assess a variety of machine learning models. Finally, an empirical
comparison is provided of robustness performance among three different model
types, each with a different text representation.
- Abstract(参考訳): 本稿では,自然言語処理(NLP)を含む機械学習モデルの堅牢性を評価するための戦略を提案する。
全体的なアプローチは、(1)テキストの重要な部分を特定する検索、(2)重要な部分の置き換えを見つける意味的置換、そして、置換されたトークンを意味的に類似した単語で制約する2つのステップからなる、検索と意味的置換戦略に依存している。
本稿では,特定の種類の機械学習モデルに特化して設計された検索とセマンティック・リプレース手法を紹介する。
また,この戦略の有効性を調査し,様々な機械学習モデルを評価するための汎用フレームワークを提供する。
最後に、3つの異なるモデルタイプ間で、それぞれ異なるテキスト表現を持つロバスト性性能を実証的に比較する。
関連論文リスト
- Beyond Turing: A Comparative Analysis of Approaches for Detecting
Machine-Generated Text [1.919654267936118]
従来の浅層学習,言語モデル(LM)微調整,多言語モデル微調整の評価を行った。
結果は、メソッド間でのパフォーマンスにかなりの違いが示される。
この研究は、堅牢で差別性の高いモデルを作成することを目的とした将来の研究の道を開くものである。
論文 参考訳(メタデータ) (2023-11-21T06:23:38Z) - One model to rule them all: ranking Slovene summarizers [0.0]
与えられたテキストに対して最適な要約モデルを推奨するシステムを提案する。
提案システムは、入力内容を解析する完全に接続されたニューラルネットワークを用いる。
提案したSloMetaSumモデルの性能を自動評価し,その一部を手動で評価する。
論文 参考訳(メタデータ) (2023-06-20T13:12:58Z) - Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。
本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。
無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
論文 参考訳(メタデータ) (2023-03-21T07:00:35Z) - Neural Coreference Resolution based on Reinforcement Learning [53.73316523766183]
コアレゾリューションシステムは2つのサブタスクを解決する必要がある。
ひとつのタスクは、潜在的な言及のすべてを検出することであり、もう1つは、可能な言及ごとに前者のリンクを学習することである。
本稿では,アクターをベースとした強化学習型ニューラルコア参照分解システムを提案する。
論文 参考訳(メタデータ) (2022-12-18T07:36:35Z) - Artificial Interrogation for Attributing Language Models [0.0]
この課題は、人気言語モデルの12のオープンソースベースバージョンと、テキスト生成のための12の微調整言語モデルを提供する。
コンテストの目標は、どのモデルがどのベースモデルに由来するかを特定することである。
両集合のモデルから生成された応答の類似性を測定するために4つの異なるアプローチを採用した。
論文 参考訳(メタデータ) (2022-11-20T05:46:29Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - Detecting Text Formality: A Study of Text Classification Approaches [78.11745751651708]
本研究は,統計的,ニューラルベース,トランスフォーマーベースの機械学習手法に基づく形式性検出手法の体系的研究を初めて行う。
単言語,多言語,言語横断の3種類の実験を行った。
本研究は,モノリンガルおよび多言語形式分類タスクのためのトランスフォーマーベースモデルに対するChar BiLSTMモデルの克服を示す。
論文 参考訳(メタデータ) (2022-04-19T16:23:07Z) - Partner-Assisted Learning for Few-Shot Image Classification [54.66864961784989]
人間の視覚能力を模倣し、徹底的な人間のアノテーションを必要とせずに効果的なモデルを学ぶために、わずかなショットラーニングが研究されている。
本稿では,新しいクラスのプロトタイプをラベル付きサンプルから推定できるように,要素表現を得るためのトレーニング戦略の設計に焦点をあてる。
本稿では,まずパートナーエンコーダのペアワイド類似性をモデル化し,ソフトアンカーとして機能する特徴を抽出し,その出力をソフトアンカーと整列させ,分類性能を最大化しようとする2段階トレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-15T22:46:19Z) - Set-to-Sequence Methods in Machine Learning: a Review [0.0]
逐次出力に向けた集合の機械学習は重要かつユビキタスなタスクであり、言語モデリングやメタラーニングからマルチエージェント戦略ゲーム、電力グリッド最適化まで幅広い応用がある。
本稿では,この分野の総合的な紹介と,これらの課題に対処する重要な機械学習手法の概要について述べる。
論文 参考訳(メタデータ) (2021-03-17T13:52:33Z) - On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。
我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。
我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
論文 参考訳(メタデータ) (2020-10-24T04:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。