論文の概要: SPE: Symmetrical Prompt Enhancement for Fact Probing

• arxiv url: http://arxiv.org/abs/2211.07078v1
• Date: Mon, 14 Nov 2022 03:05:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 15:41:54.134733
• Title: SPE: Symmetrical Prompt Enhancement for Fact Probing
• Title（参考訳）: SPE:Fact Probingのための対称型プロンプトエンハンスメント
• Authors: Yiyuan Li, Tong Che, Yezhen Wang, Zhengbao Jiang, Caiming Xiong, Snigdha Chaturvedi
• Abstract要約: 事前学習型言語モデル(PLM)における事実探索のための連続的プロンプトベース手法を提案する。 その結果,従来の探索手法に比べて,SPEの大幅な改善が見られた。
• 参考スコア（独自算出の注目度）: 81.82104239636574
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pretrained language models (PLMs) have been shown to accumulate factual knowledge during pretrainingng (Petroni et al., 2019). Recent works probe PLMs for the extent of this knowledge through prompts either in discrete or continuous forms. However, these methods do not consider symmetry of the task: object prediction and subject prediction. In this work, we propose Symmetrical Prompt Enhancement (SPE), a continuous prompt-based method for factual probing in PLMs that leverages the symmetry of the task by constructing symmetrical prompts for subject and object prediction. Our results on a popular factual probing dataset, LAMA, show significant improvement of SPE over previous probing methods.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)は,事前トレーニング中に事実知識を蓄積することが示されている(Petroni et al., 2019)。 最近の研究は、離散形式または連続形式のいずれかのプロンプトを通じて、この知識の範囲をplmで調査している。 しかし、これらの手法はタスクの対称性を考慮しない: 対象予測と対象予測である。 本研究では,主観的および対象的予測のための対称的プロンプトを構築することで,課題の対称性を活用するPLMにおける実写的プロンプトに基づく連続的プロンプトベース手法であるSPEを提案する。 その結果,従来の探索手法に比べて,SPEの大幅な改善が見られた。

関連論文リスト

• Sparse Orthogonal Parameters Tuning for Continual Learning [34.462967722928724]
  事前学習モデル(PTM)に基づく連続学習手法が近年注目されている。 本稿では,SoTU(Sparse Orthogonal Parameters TUning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T05:19:09Z)
• Making Pre-trained Language Models both Task-solvers and Self-calibrators [52.98858650625623]
  プレトレーニング言語モデル(PLM)は、様々な現実世界のシステムのバックボーンとして機能する。 以前の研究は、余分なキャリブレーションタスクを導入することでこの問題を緩和できることを示している。 課題に対処するためのトレーニングアルゴリズムLM-TOASTを提案する。
  論文  参考訳（メタデータ） (2023-07-21T02:51:41Z)
• Improved Representation of Asymmetrical Distances with Interval Quasimetric Embeddings [45.69333765438636]
  非対称距離構造(準距離構造)は、私たちの生活においてユビキタスであり、機械学習応用においてより注目を集めている。 このような準計量モデルに4つの望ましい性質を示し、先行研究がそれに対してどのように失敗するかを示す。 4つの基準を全て満たすために, IQE (Interval Quasimetric Embedding) を提案する。
  論文  参考訳（メタデータ） (2022-11-28T08:22:26Z)
• ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
  ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。 意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。 本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-10T08:41:40Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
  最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。 ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。 DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
  論文  参考訳（メタデータ） (2022-05-23T10:11:50Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。