論文の概要: Adaptive Prompt Learning with Distilled Connective Knowledge for
Implicit Discourse Relation Recognition
- arxiv url: http://arxiv.org/abs/2309.07561v1
- Date: Thu, 14 Sep 2023 09:44:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 15:25:36.858466
- Title: Adaptive Prompt Learning with Distilled Connective Knowledge for
Implicit Discourse Relation Recognition
- Title（参考訳）: 会話関係認識のための拡張接続知識を用いた適応型プロンプト学習
- Authors: Bang Wang, Zhenglin Wang, Wei Xiang and Yijun Mo
- Abstract要約: 暗黙的談話関係認識(IDRR)は、明示的な接続性のない2つのテキストセグメント間の談話関係の認識を目的としている。
本稿では,連続的なプロンプトを通して手作業による設計作業を減らすために,アダプティブ・プロンプト(AdaptPrompt)と呼ばれる接続型知識蒸留とともに,プロンプト学習の継続的バージョンを提案する。
また、回答空間としていくつかの仮想回答を生成するために、回答関連マッピングルールを設計する。
- 参考スコア（独自算出の注目度）: 18.42715011594281
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Implicit discourse relation recognition (IDRR) aims at recognizing the
discourse relation between two text segments without an explicit connective.
Recently, the prompt learning has just been applied to the IDRR task with great
performance improvements over various neural network-based approaches. However,
the discrete nature of the state-art-of-art prompting approach requires manual
design of templates and answers, a big hurdle for its practical applications.
In this paper, we propose a continuous version of prompt learning together with
connective knowledge distillation, called AdaptPrompt, to reduce manual design
efforts via continuous prompting while further improving performance via
knowledge transfer. In particular, we design and train a few virtual tokens to
form continuous templates and automatically select the most suitable one by
gradient search in the embedding space. We also design an answer-relation
mapping rule to generate a few virtual answers as the answer space.
Furthermore, we notice the importance of annotated connectives in the training
dataset and design a teacher-student architecture for knowledge transfer.
Experiments on the up-to-date PDTB Corpus V3.0 validate our design objectives
in terms of the better relation recognition performance over the
state-of-the-art competitors.
- Abstract（参考訳）: 暗黙的談話関係認識(IDRR)は、明示的な接続性のない2つのテキストセグメント間の談話関係の認識を目的としている。
最近では、様々なニューラルネットワークベースのアプローチよりも優れたパフォーマンスでIDRRタスクに即時学習が適用されている。
しかし、最先端のプロンプトアプローチの離散的な性質は、テンプレートと回答の手動設計を必要とする。
本稿では,連続的プロンプトによる手動設計作業の削減と,知識伝達によるパフォーマンス向上を実現するために,adaptpromptと呼ばれる連結的知識蒸留とともに,プロンプト学習の連続版を提案する。
特に,いくつかの仮想トークンを設計,訓練して連続的なテンプレートを作成し,埋め込み空間における勾配探索によって最適なトークンを自動的に選択する。
また、回答空間としていくつかの仮想回答を生成するために、回答関係マッピングルールも設計する。
さらに、トレーニングデータセットにおける注釈付き接続の重要性に気付き、知識伝達のための教師学生アーキテクチャを設計する。
最新のPDTB Corpus V3.0の実験は、最先端の競合相手よりも良好な関係認識性能の観点から、我々の設計目標を検証する。
関連論文リスト
- Self-Supervised Representation Learning with Spatial-Temporal Consistency for Sign Language Recognition [96.62264528407863]
本研究では,空間的時間的整合性を通じてリッチな文脈を探索する自己教師付きコントラスト学習フレームワークを提案する。
動きと関節のモーダル性の相補性に着想を得て,手話モデルに一階動作情報を導入する。
提案手法は,4つの公開ベンチマークの広範な実験により評価され,新しい最先端性能と顕著なマージンを実現している。
論文 参考訳（メタデータ） (2024-06-15T04:50:19Z) - Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。
アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。
ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
論文 参考訳（メタデータ） (2024-04-28T08:44:28Z) - Prompt-based Logical Semantics Enhancement for Implicit Discourse
Relation Recognition [4.7938839332508945]
Inlicit Discourse Relation Recognition (IDRR) のための Prompt-based Logical Semantics Enhancement (PLSE) 法を提案する。
提案手法は,事前学習した言語モデルに対する対話関係に関する知識を,素早い接続予測によってシームレスに注入する。
PDTB 2.0 と CoNLL16 データセットによる実験結果から,本手法は現状の最先端モデルに対して優れた一貫した性能を発揮することが示された。
論文 参考訳（メタデータ） (2023-11-01T08:38:08Z) - Transferring Procedural Knowledge across Commonsense Tasks [17.929737518694616]
本稿では,AIモデルによる手続き的知識を新しい物語課題に透過的に伝達する能力について検討する。
我々は、最先端のモデリングアーキテクチャ、トレーニングレシスタンス、拡張戦略を統合する包括的なフレームワークであるLEAPを設計する。
ドメイン内および外部タスクによる我々の実験は、異なるアーキテクチャの相互作用、トレーニング体制、拡張戦略に関する洞察を明らかにします。
論文 参考訳（メタデータ） (2023-04-26T23:24:50Z) - Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。
本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
論文 参考訳（メタデータ） (2022-03-13T13:22:41Z) - KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization
for Relation Extraction [111.74812895391672]
シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。
関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
論文 参考訳（メタデータ） (2021-04-15T17:57:43Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳（メタデータ） (2020-04-29T14:22:42Z) - A Dependency Syntactic Knowledge Augmented Interactive Architecture for
End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。
このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。
3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2020-04-04T14:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。