論文の概要: CLMSM: A Multi-Task Learning Framework for Pre-training on Procedural Text

• arxiv url: http://arxiv.org/abs/2310.14326v1
• Date: Sun, 22 Oct 2023 15:20:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 00:30:37.438523
• Title: CLMSM: A Multi-Task Learning Framework for Pre-training on Procedural Text
• Title（参考訳）: CLMSM:手続きテキストによる事前学習のためのマルチタスク学習フレームワーク
• Authors: Abhilash Nandy, Manav Nitin Kapadnis, Pawan Goyal, Niloy Ganguly
• Abstract要約: CLMSMはドメイン固有の継続的事前学習フレームワークであり、手続き的なレシピの集合から学習する。 CLMSMはレシピ(ドメイン内)のベースラインを上回るだけでなく、オープンドメインの手続き的NLPタスクにも一般化可能であることを示す。
• 参考スコア（独自算出の注目度）: 26.105164334799035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose CLMSM, a domain-specific, continual pre-training framework, that learns from a large set of procedural recipes. CLMSM uses a Multi-Task Learning Framework to optimize two objectives - a) Contrastive Learning using hard triplets to learn fine-grained differences across entities in the procedures, and b) a novel Mask-Step Modelling objective to learn step-wise context of a procedure. We test the performance of CLMSM on the downstream tasks of tracking entities and aligning actions between two procedures on three datasets, one of which is an open-domain dataset not conforming with the pre-training dataset. We show that CLMSM not only outperforms baselines on recipes (in-domain) but is also able to generalize to open-domain procedural NLP tasks.
• Abstract（参考訳）: 本稿では,プロセスレシピの多種多様な集合から学習する,ドメイン固有かつ継続的な事前学習フレームワークであるclmsmを提案する。 CLMSMは2つの目的を最適化するためにマルチタスク学習フレームワークを使用する。 a) 手続きにおける実体間の細かな差異を学ぶためのハードトリプレットを用いた対比学習 b) 手続きの段階的文脈を学ぶための新しいマスクステップモデリングの目的 CLMSMは3つのデータセット上の2つのプロシージャ間で動作を調整し、その中の1つは事前学習データセットに適合しないオープンドメインデータセットである。 CLMSMはレシピ(ドメイン内)のベースラインを上回るだけでなく、オープンドメインの手続き的NLPタスクにも一般化可能であることを示す。

関連論文リスト

• Online Learning of Multiple Tasks and Their Relationships : Testing on Spam Email Data and EEG Signals Recorded in Construction Fields [6.643056547420055]
  本稿では,オンラインマルチタスク学習(OMTL)手法について検討する。 静的なタスク関連性を仮定した従来のモデルとは異なり、本手法はタスクを独立に扱い、新たに計算された重みベクトルを用いて関連性を反復的に更新する。
  論文  参考訳（メタデータ） (2024-06-26T12:50:13Z)
• A Framework to Implement 1+N Multi-task Fine-tuning Pattern in LLMs Using the CGC-LORA Algorithm [7.521690071464451]
  大規模言語モデル (LLM) において, 1 + N mutli-task の微調整パターンを実装する統一フレームワークを提案する。 我々の研究は、MPL(CGC)とPEFT(LoRA)の両方の利点を享受することを目的としている。
  論文  参考訳（メタデータ） (2024-01-22T07:58:31Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• CSL: Class-Agnostic Structure-Constrained Learning for Segmentation Including the Unseen [62.72636247006293]
  クラス非依存構造制約学習(Class-Agnostic Structure-Constrained Learning)は、既存のメソッドと統合可能なプラグインフレームワークである。 OODオブジェクトセグメンテーションを強化するソフトアサインとマスク分割手法を提案する。 実証的な評価は、OODセグメンテーション、ZS3、DAセグメンテーションにまたがる既存のアルゴリズムの性能を向上させるCSLの進歩を示している。
  論文  参考訳（メタデータ） (2023-12-09T11:06:18Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)
• On the Influence of Masking Policies in Intermediate Pre-training [46.75012465848036]
  以前の研究によると、中間の事前トレーニングフェーズを挿入することで、下流タスクに似た目的が最終的なパフォーマンスを大幅に向上させることができる。 1) 中間的事前学習がどのような場合に有用か,(2)手作りの目的が与えられたタスクに最適か,(3) あるタスクのために設計された方針がそのタスクを超えて一般化可能であるか,などについては,いまだ不明である。 下流タスクの直接監督またはメタラーニングを通じてマスキングモデルを学ぶことにより、最適なポリシーの発見を自動化する方法を紹介します。
  論文  参考訳（メタデータ） (2021-04-18T12:32:23Z)
• Latent Group Structured Multi-task Learning [2.827177139912107]
  マルチタスク学習(MTL)では,様々なタスクを共同で学習することで,鍵となる機械学習アルゴリズムの性能を向上させる。 本稿では,事前情報によって定義されたグループ構造化タスクを奨励するグループ構造化潜在空間マルチタスク学習モデルを提案する。 合成データセットと実世界のデータセットの両方で実験が行われ、シングルタスク学習よりも競争力のあるパフォーマンスを示している。
  論文  参考訳（メタデータ） (2020-11-24T05:38:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。