論文の概要: Prompt2Gaussia: Uncertain Prompt-learning for Script Event Prediction
- arxiv url: http://arxiv.org/abs/2308.02103v1
- Date: Fri, 4 Aug 2023 01:34:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-07 14:13:28.041489
- Title: Prompt2Gaussia: Uncertain Prompt-learning for Script Event Prediction
- Title（参考訳）: Prompt2Gaussia: スクリプトイベント予測のための不確実なプロンプト学習
- Authors: Shiyao Cui, Xin Cong, Jiawei Sheng, Xuebin Wang, Tingwen Liu, Jinqiao
Shi
- Abstract要約: Script Event Prediction (SEP) は、あるイベントチェーンのその後のイベントを候補リストから予測することを目的としている。
公開事前学習型言語モデルを知識ベースとして検討し,即時学習によるスクリプト関連知識の自動マイニングを行う。
事前学習した言語モデルから得られる知識の恩恵を受ける手法は,2つのベンチマークにおいて,事前ベースラインを1.46%,1.05%向上させる。
- 参考スコア（独自算出の注目度）: 11.54608099442562
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Script Event Prediction (SEP) aims to predict the subsequent event for a
given event chain from a candidate list. Prior research has achieved great
success by integrating external knowledge to enhance the semantics, but it is
laborious to acquisite the appropriate knowledge resources and retrieve the
script-related knowledge. In this paper, we regard public pre-trained language
models as knowledge bases and automatically mine the script-related knowledge
via prompt-learning. Still, the scenario-diversity and label-ambiguity in
scripts make it uncertain to construct the most functional prompt and label
token in prompt learning, i.e., prompt-uncertainty and verbalizer-uncertainty.
Considering the innate ability of Gaussian distribution to express uncertainty,
we deploy the prompt tokens and label tokens as random variables following
Gaussian distributions, where a prompt estimator and a verbalizer estimator are
proposed to estimate their probabilistic representations instead of
deterministic representations. We take the lead to explore prompt-learning in
SEP and provide a fresh perspective to enrich the script semantics. Our method
is evaluated on the most widely used benchmark and a newly proposed large-scale
one. Experiments show that our method, which benefits from knowledge evoked
from pre-trained language models, outperforms prior baselines by 1.46\% and
1.05\% on two benchmarks, respectively.
- Abstract（参考訳）: Script Event Prediction (SEP) は、あるイベントチェーンのその後のイベントを候補リストから予測することを目的としている。
従来の研究は、セマンティクスを強化するために外部知識を統合することで大きな成功を収めてきたが、適切な知識資源を入手し、スクリプト関連の知識を取得することは精力的である。
本稿では,公開事前学習型言語モデルを知識ベースとみなし,即時学習によるスクリプト関連知識の自動マイニングを行う。
それでも、シナリオの多様性とスクリプトのラベルあいまいさによって、プロンプト学習における最も機能的なプロンプトとラベルトークン、すなわち、プロンプト・アンセプティリティと動詞化のアンセプティリティを構築することは不確かである。
ガウス分布に固有の不確実性を示す能力を考えると、ガウス分布にしたがってプロンプトトークンとラベルトークンをランダム変数として配置し、決定論的表現ではなく確率的表現を推定するために、プロンプト推定器と動詞化器推定器を提案する。
我々は、SEPにおけるプロンプトラーニングを探求し、スクリプトセマンティクスを強化するための新しい視点を提供する。
提案手法は,最も広く利用されているベンチマークと,新たに提案した大規模ベンチマークで評価される。
実験の結果,事前学習した言語モデルから得られる知識の恩恵を受ける手法は,2つのベンチマークでそれぞれ1.46\%,1.05\%の事前ベースラインを上回った。
関連論文リスト
- Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - Self-Evolution Learning for Discriminative Language Model Pretraining [103.57103957631067]
自己進化学習(Self-Evolution Learning、SE)は、単純で効果的なトークンマスキングと学習方法である。
SEは情報的だが未探索のトークンを学習することに集中し、新しいToken固有のラベル平滑化アプローチを導入してトレーニングを適応的に調整する。
論文 参考訳（メタデータ） (2023-05-24T16:00:54Z) - LaMPP: Language Models as Probabilistic Priors for Perception and Action [38.07277869107474]
非言語的知覚と制御タスクに言語モデルを活用する方法を示す。
提案手法は,確率的グラフィカルモデルにおけるラベリングと意思決定を推論として用いている。
論文 参考訳（メタデータ） (2023-02-03T15:14:04Z) - Don't Be So Sure! Boosting ASR Decoding via Confidence Relaxation [7.056222499095849]
ビームサーチは 予測分布を用いて 最大限の確率で 書き起こしを求める
最近提案された自己監督学習(SSL)ベースのASRモデルは、極めて確実な予測をもたらす傾向があることを示す。
細調整されたASRモデルの性能を向上させる復号法を提案する。
論文 参考訳（メタデータ） (2022-12-27T06:42:26Z) - Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。
提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。
ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
論文 参考訳（メタデータ） (2022-10-05T17:05:56Z) - LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of
Vision & Language Models [67.19124099815645]
ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。
LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。
LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
論文 参考訳（メタデータ） (2022-10-03T17:56:35Z) - DictBERT: Dictionary Description Knowledge Enhanced Language Model
Pre-training via Contrastive Learning [18.838291575019504]
事前訓練された言語モデル(PLM)は、知識駆動タスクを扱う際に知識が不足していることが示されている。
辞書知識で PLM を強化する新しい手法である textbfDictBERT を提案する。
我々は、NER、関係抽出、CommonsenseQA、OpenBookQA、GLUEなど、さまざまな知識駆動型および言語理解タスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2022-08-01T06:43:19Z) - Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。
事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。
しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
論文 参考訳（メタデータ） (2022-05-23T07:51:15Z) - Probing Script Knowledge from Pre-Trained Models [24.80244106746926]
我々は,包括的サブイベント選択,サブイベント選択開始,時間的順序付けという3つの探索タスクを設計する。
3つのプローブタスクは、可能なすべてのサブイベントから、メインイベントごとにスクリプトを自動的に誘導するために、さらに使用することができる。
BERTをケーススタディとして,サブイベント間のステレオタイプ的時間的知識はBERTでよく捉えられていると結論付けた。
論文 参考訳（メタデータ） (2022-04-16T05:13:39Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。
本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。
オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
論文 参考訳（メタデータ） (2020-02-10T18:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。