論文の概要: Robustness Tests of NLP Machine Learning Models: Search and Semantically Replace

• arxiv url: http://arxiv.org/abs/2104.09978v1
• Date: Tue, 20 Apr 2021 14:05:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-21 13:55:46.114663
• Title: Robustness Tests of NLP Machine Learning Models: Search and Semantically Replace
• Title（参考訳）: nlp機械学習モデルのロバスト性テスト:検索と意味論的置き換え
• Authors: Rahul Singh, Karan Jindal, Yufei Yu, Hanyu Yang, Tarun Joshi, Matthew A. Campbell, Wayne B. Shoumaker
• Abstract要約: 本稿では、自然言語処理(NLP)を含む機械学習モデルの堅牢性を評価する戦略を提案する。 全体的アプローチは、(1)テキストの重要な部分を識別する検索と、(2)重要な部分の置換を見つけ、置き換えられたトークンを意味的に類似した単語で制限するセマンティック置換という2つのステップからなる検索とセマンティック置換戦略に依存します。
• 参考スコア（独自算出の注目度）: 2.0611838991750018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a strategy to assess the robustness of different machine learning models that involve natural language processing (NLP). The overall approach relies upon a Search and Semantically Replace strategy that consists of two steps: (1) Search, which identifies important parts in the text; (2) Semantically Replace, which finds replacements for the important parts, and constrains the replaced tokens with semantically similar words. We introduce different types of Search and Semantically Replace methods designed specifically for particular types of machine learning models. We also investigate the effectiveness of this strategy and provide a general framework to assess a variety of machine learning models. Finally, an empirical comparison is provided of robustness performance among three different model types, each with a different text representation.
• Abstract（参考訳）: 本稿では,自然言語処理(NLP)を含む機械学習モデルの堅牢性を評価するための戦略を提案する。 全体的なアプローチは、(1)テキストの重要な部分を特定する検索、(2)重要な部分の置き換えを見つける意味的置換、そして、置換されたトークンを意味的に類似した単語で制約する2つのステップからなる、検索と意味的置換戦略に依存している。 本稿では,特定の種類の機械学習モデルに特化して設計された検索とセマンティック・リプレース手法を紹介する。 また,この戦略の有効性を調査し,様々な機械学習モデルを評価するための汎用フレームワークを提供する。 最後に、3つの異なるモデルタイプ間で、それぞれ異なるテキスト表現を持つロバスト性性能を実証的に比較する。

関連論文リスト

• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Determine-Then-Ensemble: Necessity of Top-k Union for Large Language Model Ensembling [23.447466392929712]
  大規模言語モデル(LLM)は、様々なタスクに様々な長所と短所を示す。 既存のLLMアンサンブル法は、しばしばモデルの互換性を見落とし、確率の非効率なアライメントに苦しむ。 textscUnion textscTop-$k$ textscEnsembling (textscUniTE)は,各モデルから上位kトークンの結合に着目し,効率的にモデルを結合する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-10-03T08:42:38Z)
• Visual Prompt Selection for In-Context Learning Segmentation [77.15684360470152]
  本稿では,サンプル選択戦略の再考と改善に焦点をあてる。 まず、ICLに基づくセグメンテーションモデルが異なる文脈に敏感であることを示す。 さらに、経験的証拠は、文脈的プロンプトの多様性がセグメンテーションを導く上で重要な役割を担っていることを示している。
  論文  参考訳（メタデータ） (2024-07-14T15:02:54Z)
• Adapting Dual-encoder Vision-language Models for Paraphrased Retrieval [55.90407811819347]
  モデルが類似した結果を返すことを目的とした,パラフレーズ付きテキスト画像検索の課題について考察する。 我々は、大きなテキストコーパスで事前訓練された言語モデルから始まる二重エンコーダモデルを訓練する。 CLIPやOpenCLIPのような公開デュアルエンコーダモデルと比較して、最高の適応戦略で訓練されたモデルは、パラフレーズクエリのランク付けの類似性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-06T06:30:17Z)
• Beyond Turing: A Comparative Analysis of Approaches for Detecting Machine-Generated Text [1.919654267936118]
  従来の浅層学習,言語モデル(LM)微調整,多言語モデル微調整の評価を行った。 結果は、メソッド間でのパフォーマンスにかなりの違いが示される。 この研究は、堅牢で差別性の高いモデルを作成することを目的とした将来の研究の道を開くものである。
  論文  参考訳（メタデータ） (2023-11-21T06:23:38Z)
• One model to rule them all: ranking Slovene summarizers [0.0]
  与えられたテキストに対して最適な要約モデルを推奨するシステムを提案する。 提案システムは、入力内容を解析する完全に接続されたニューラルネットワークを用いる。 提案したSloMetaSumモデルの性能を自動評価し,その一部を手動で評価する。
  論文  参考訳（メタデータ） (2023-06-20T13:12:58Z)
• Artificial Interrogation for Attributing Language Models [0.0]
  この課題は、人気言語モデルの12のオープンソースベースバージョンと、テキスト生成のための12の微調整言語モデルを提供する。 コンテストの目標は、どのモデルがどのベースモデルに由来するかを特定することである。 両集合のモデルから生成された応答の類似性を測定するために4つの異なるアプローチを採用した。
  論文  参考訳（メタデータ） (2022-11-20T05:46:29Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Detecting Text Formality: A Study of Text Classification Approaches [78.11745751651708]
  本研究は,統計的,ニューラルベース,トランスフォーマーベースの機械学習手法に基づく形式性検出手法の体系的研究を初めて行う。 単言語,多言語,言語横断の3種類の実験を行った。 本研究は,モノリンガルおよび多言語形式分類タスクのためのトランスフォーマーベースモデルに対するChar BiLSTMモデルの克服を示す。
  論文  参考訳（メタデータ） (2022-04-19T16:23:07Z)
• Set-to-Sequence Methods in Machine Learning: a Review [0.0]
  逐次出力に向けた集合の機械学習は重要かつユビキタスなタスクであり、言語モデリングやメタラーニングからマルチエージェント戦略ゲーム、電力グリッド最適化まで幅広い応用がある。 本稿では,この分野の総合的な紹介と,これらの課題に対処する重要な機械学習手法の概要について述べる。
  論文  参考訳（メタデータ） (2021-03-17T13:52:33Z)
• On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
  平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。 我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。 我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
  論文  参考訳（メタデータ） (2020-10-24T04:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。