論文の概要: Evaluating Paraphrastic Robustness in Textual Entailment Models

• arxiv url: http://arxiv.org/abs/2306.16722v1
• Date: Thu, 29 Jun 2023 06:48:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 14:27:41.722507
• Title: Evaluating Paraphrastic Robustness in Textual Entailment Models
• Title（参考訳）: テキストエンターメントモデルにおけるパラフラスティックロバスト性の評価
• Authors: Dhruv Verma, Yash Kumar Lal, Shreyashee Sinha, Benjamin Van Durme, Adam Poliak
• Abstract要約: PaRTEは1,126対のRecognizing Textual Entailment (RTE)サンプルのコレクションである。 評価セットを用いて,実例を言い換えると,RTEモデルの予測が変化するかどうかを判断する。
• 参考スコア（独自算出の注目度）: 32.30510117760708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present PaRTE, a collection of 1,126 pairs of Recognizing Textual Entailment (RTE) examples to evaluate whether models are robust to paraphrasing. We posit that if RTE models understand language, their predictions should be consistent across inputs that share the same meaning. We use the evaluation set to determine if RTE models' predictions change when examples are paraphrased. In our experiments, contemporary models change their predictions on 8-16\% of paraphrased examples, indicating that there is still room for improvement.
• Abstract（参考訳）: パラフレージングにロバストなモデルかどうかを評価するために,1,126組のreceptive textual entailment (rte) サンプルを収集したparteを提案する。 RTEモデルが言語を理解している場合、その予測は同じ意味を持つ入力間で一貫性があるべきであると仮定する。 評価セットを用いて,実例を言い換えると,RTEモデルの予測が変化するかどうかを判断する。 実験の結果,現代モデルでは8～16 %の言い回しで予測が変化しており,まだ改善の余地があることが示唆された。

関連論文リスト

• CONTESTS: a Framework for Consistency Testing of Span Probabilities in Language Models [16.436592723426305]
  単語スパンに関節確率を割り当てる異なる方法で、言語モデルが同じ値を生成するかどうかは不明である。 我々の研究はConTestSという新しいフレームワークを導入し、交換可能な完了順序と条件付き順序でスコアの整合性を評価する統計的テストを含む。
  論文  参考訳（メタデータ） (2024-09-30T06:24:43Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Adversarial Training for Improving Model Robustness? Look at Both Prediction and Interpretation [21.594361495948316]
  本稿では,FLAT という新しい特徴レベルの対角訓練手法を提案する。 FLATは、グローバルな単語の重要性を学ぶために、変分ワードマスクをニューラルネットワークに組み込んでいる。 FLATが予測と解釈の両方において頑健性を向上させる効果を示す実験を行った。
  論文  参考訳（メタデータ） (2022-03-23T20:04:14Z)
• Instance-Based Neural Dependency Parsing [56.63500180843504]
  依存関係解析のための解釈可能な推論プロセスを持つニューラルモデルを開発する。 私たちのモデルはインスタンスベースの推論を採用しており、トレーニングセットのエッジと比較することで、依存関係のエッジを抽出し、ラベル付けします。
  論文  参考訳（メタデータ） (2021-09-28T05:30:52Z)
• Empowering Language Understanding with Counterfactual Reasoning [141.48592718583245]
  本稿では,反現実的思考を模倣した反現実的推論モデルを提案する。 特に,各実例に対して代表的対実サンプルを生成する生成モジュールを考案し,その対実サンプルと実例サンプルを比較してモデル予測を振り返るレトロスペクティブモジュールを考案した。
  論文  参考訳（メタデータ） (2021-06-06T06:36:52Z)
• Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation [109.06060143938052]
  テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。 この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
  論文  参考訳（メタデータ） (2021-04-12T06:57:36Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models [29.40992909208733]
  本研究では,会話コヒーレンスと文間距離をモデル化した言語モデルの事前学習のための文間目的であるconPONOを提案する。 談話表現ベンチマークのDiscoEvalでは、これまでの最先端技術よりも最大13%改善しています。 また,言論を明示的に評価しないタスクにおいても,ConPONOは2%～6%の利得が得られることを示した。
  論文  参考訳（メタデータ） (2020-05-20T23:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。