論文の概要: Order-Based Pre-training Strategies for Procedural Text Understanding

• arxiv url: http://arxiv.org/abs/2404.04676v1
• Date: Sat, 6 Apr 2024 16:39:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 20:00:13.177965
• Title: Order-Based Pre-training Strategies for Procedural Text Understanding
• Title（参考訳）: 手続き的テキスト理解のための順序に基づく事前学習戦略
• Authors: Abhilash Nandy, Yash Kulkarni, Pawan Goyal, Niloy Ganguly,
• Abstract要約: 本稿では,自然言語処理における手続き的理解を高めるために,シーケンスに基づく事前学習手法を提案する。 我々は、注文命令として一般的に表現されるレシピに焦点を当て、この順序を監視信号として使用する。
• 参考スコア（独自算出の注目度）: 23.69183543618085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose sequence-based pretraining methods to enhance procedural understanding in natural language processing. Procedural text, containing sequential instructions to accomplish a task, is difficult to understand due to the changing attributes of entities in the context. We focus on recipes, which are commonly represented as ordered instructions, and use this order as a supervision signal. Our work is one of the first to compare several 'order as-supervision' transformer pre-training methods, including Permutation Classification, Embedding Regression, and Skip-Clip, and shows that these methods give improved results compared to the baselines and SoTA LLMs on two downstream Entity-Tracking datasets: NPN-Cooking dataset in recipe domain and ProPara dataset in open domain. Our proposed methods address the non-trivial Entity Tracking Task that requires prediction of entity states across procedure steps, which requires understanding the order of steps. These methods show an improvement over the best baseline by 1.6% and 7-9% on NPN-Cooking and ProPara Datasets respectively across metrics.
• Abstract（参考訳）: 本稿では,自然言語処理における手続き的理解を高めるためのシーケンスベース事前学習手法を提案する。 タスクを遂行するためのシーケンシャルな命令を含む手続き的テキストは、コンテキスト内のエンティティの属性が変化するため、理解が難しい。 我々は、注文命令として一般的に表現されるレシピに焦点を当て、この順序を監視信号として使用する。 我々の研究は、置換分類(Permutation Classification)、埋め込み回帰( Embedding Regression)、スキップクリップ(Skip-Clip)など、いくつかの'オーダー・アズ・スーパービジョン(order as-supervision)'トランスフォーマーの事前トレーニング手法を比較した最初の1つであり、これらの手法は、2つの下流のEntity-Trackingデータセット(レシピドメインのNPN-CookingデータセットとオープンドメインのProParaデータセット)のベースラインとSoTA LLMと比較して改善された結果を示す。 提案手法は,手順の順序を理解する必要のある,手順ステップ全体にわたるエンティティ状態の予測を必要とする,非自明なエンティティ追跡タスクに対処する。 これらの手法は、NPN-CookingとProParaデータセットでそれぞれ1.6%改善し、7-9%改善した。

関連論文リスト

• Continual LLaVA: Continual Instruction Tuning in Large Vision-Language Models [93.5327725085853]
  連続LLaVA(Continuous LLaVA)は、LVLMにおける連続的な命令チューニングに適したリハーサルフリーな手法である。 実験により,提案した連続LLaVAは,連続的な命令チューニング過程における忘れを著しく減らし,従来の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-11-04T19:55:32Z)
• Modeling Layout Reading Order as Ordering Relations for Visually-rich Document Understanding [33.96748793247162]
  本稿では,レイアウト要素の集合上の順序関係としてレイアウト読み込み順序をモデル化する。 レイアウト読み出し順序の改善型の導入による実用的利点を強調するため, 読み出し順序対応型パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-29T12:00:57Z)
• Efficient Pre-training for Localized Instruction Generation of Videos [32.13509517228516]
  手続きビデオはステップバイステップの指示を伝えるのに役立ちます。 Process Transformer (ProcX) は、プロシージャビデオのエンドツーエンドのステップローカライズと命令生成のためのモデルである。
  論文  参考訳（メタデータ） (2023-11-27T16:07:37Z)
• CLMSM: A Multi-Task Learning Framework for Pre-training on Procedural Text [26.105164334799035]
  CLMSMはドメイン固有の継続的事前学習フレームワークであり、手続き的なレシピの集合から学習する。 CLMSMはレシピ(ドメイン内)のベースラインを上回るだけでなく、オープンドメインの手続き的NLPタスクにも一般化可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-22T15:20:11Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Learning a Better Initialization for Soft Prompts via Meta-Learning [58.53984967461313]
  本稿では,プロンプトチューニングを改善するメタPT(Meta-learned Prompt Tuning)を提案する。 まず、事前学習したデータを異なる補助タスクにクラスタリングすることで、その構造を導入する。 これらのタスクをメタ学習アルゴリズムでプロンプトの事前学習に使用する。
  論文  参考訳（メタデータ） (2022-05-25T03:50:23Z)
• SVIP: Sequence VerIfication for Procedures in Videos [68.07865790764237]
  ステップレベルの変換を伴う負のアクションシーケンスと同一のアクションシーケンスを実行するポジティブなビデオペアを区別することを目的とした,新しいシーケンス検証タスクを提案する。 このような困難なタスクは、事前のアクション検出やセグメンテーションなしで、オープンセット設定に置かれる。 我々は、化学実験において、あらゆる段階的な変換を列挙したスクリプト付きビデオデータセットを収集する。
  論文  参考訳（メタデータ） (2021-12-13T07:03:36Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)
• Hierarchical Variational Imitation Learning of Control Programs [131.7671843857375]
  パラメータ化された階層的手順(PHP)で表される制御ポリシーの模倣学習のための変分推論手法を提案する。 本手法は, 教師による実演の観察・行動トレースのデータセットにおける階層構造を, 手続き呼び出しや用語の待ち行列に近似した後続分布を学習することによって発見する。 階層的模倣学習(hierarchical mimicion learning)の文脈における変分推論の新たな利点を実証する。
  論文  参考訳（メタデータ） (2019-12-29T08:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。