論文の概要: Measuring and Improving Consistency in Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2102.01017v1
• Date: Mon, 1 Feb 2021 17:48:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 16:46:28.214491
• Title: Measuring and Improving Consistency in Pretrained Language Models
• Title（参考訳）: 学習済み言語モデルにおける一貫性の測定と改善
• Authors: Yanai Elazar, Nora Kassner, Shauli Ravfogel, Abhilasha Ravichander, Eduard Hovy, Hinrich Sch\"utze, Yoav Goldberg
• Abstract要約: 予測言語モデル(PLM)は、事実的知識に関して一貫性があるか? ParaRel を用いて、我々が実験したすべての PLM の整合性は貧弱であるが、関係のばらつきは高い。
• 参考スコア（独自算出の注目度）: 40.46184998481918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consistency of a model -- that is, the invariance of its behavior under meaning-preserving alternations in its input -- is a highly desirable property in natural language processing. In this paper we study the question: Are Pretrained Language Models (PLMs) consistent with respect to factual knowledge? To this end, we create ParaRel, a high-quality resource of cloze-style query English paraphrases. It contains a total of 328 paraphrases for thirty-eight relations. Using ParaRel, we show that the consistency of all PLMs we experiment with is poor -- though with high variance between relations. Our analysis of the representational spaces of PLMs suggests that they have a poor structure and are currently not suitable for representing knowledge in a robust way. Finally, we propose a method for improving model consistency and experimentally demonstrate its effectiveness.
• Abstract（参考訳）: モデルの一貫性、すなわち、その入力における意味保存的な変化の下での振る舞いの不変性は、自然言語処理において非常に望ましい特性である。 本稿では, 事前学習型言語モデル(PLM)は, 事実的知識に対して一貫性があるか? この目的のために私たちは、clozeスタイルのクエリ英語パラフレーズの高品質なリソースであるpararelを作成します。 総計328のパラフレーズがあり、38の関係がある。 ParaRel を用いて、我々が実験したすべての PLM の整合性は貧弱であるが、関係のばらつきは高い。 plm の表現空間の解析は,構造が貧弱であり,現在,知識を堅牢に表現するのに適していないことを示唆する。 最後に,モデルの一貫性を向上させる手法を提案し,その効果を実験的に実証する。

関連論文リスト

• How often are errors in natural language reasoning due to paraphrastic variability? [29.079188032623605]
  本稿では,自然言語推論モデルのパラフラスティック一貫性を評価するための指標を提案する。 我々は、この計量をパラフレーズ化に起因するモデルの正しさの分散の比率に数学的に結合する。 そこで我々は,7,782人の人間による記述・検証された推論問題のデータセットであるParaNLUを収集した。
  論文  参考訳（メタデータ） (2024-04-17T20:11:32Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• An Application of Pseudo-Log-Likelihoods to Natural Language Scoring [5.382454613390483]
  比較的少ないパラメータとトレーニングステップを持つ言語モデルは、最近の大規模なデータセットでそれを上回るパフォーマンスを得ることができる。 二項選択タスクにおける常識推論のための絶対的最先端結果を生成する。 より小さなモデルの堅牢性は、構成性の観点から理解されるべきである。
  論文  参考訳（メタデータ） (2022-01-23T22:00:54Z)
• Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization [20.14487209460865]
  自然質問をクローズスタイルの文に翻訳できる4つの翻訳手法について検討する。 提案手法は知識ベース改良モデルと相補的なデータセットであり,それらを組み合わせることで,最先端のゼロショット性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-01-01T07:12:49Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Accurate, yet inconsistent? Consistency Analysis on Language Understanding Models [38.03490197822934]
  一貫性とは、意味的に類似したコンテキストに対して、同じ予測を生成する能力である。 本稿では,言語理解モデル(CALUM)における一貫性解析というフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-15T06:25:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。