論文の概要: Knowledge-Aware Procedural Text Understanding with Multi-Stage Training

• arxiv url: http://arxiv.org/abs/2009.13199v2
• Date: Sat, 13 Feb 2021 14:28:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 20:47:53.969764
• Title: Knowledge-Aware Procedural Text Understanding with Multi-Stage Training
• Title（参考訳）: 多段階学習による知識認識手続きテキスト理解
• Authors: Zhihan Zhang, Xiubo Geng, Tao Qin, Yunfang Wu, Daxin Jiang
• Abstract要約: 本稿では,このような文書の理解とプロセス中のエンティティの状態や場所の追跡を目的とした手続き的テキスト理解の課題に焦点をあてる。 常識的推論の難しさとデータ不足という2つの課題はまだ未解決のままである。 我々は、複数の外部知識を効果的に活用する、KnOwledge-Aware ProceduraL text understAnding (KOALA)モデルを提案する。
• 参考スコア（独自算出の注目度）: 110.93934567725826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Procedural text describes dynamic state changes during a step-by-step natural process (e.g., photosynthesis). In this work, we focus on the task of procedural text understanding, which aims to comprehend such documents and track entities' states and locations during a process. Although recent approaches have achieved substantial progress, their results are far behind human performance. Two challenges, the difficulty of commonsense reasoning and data insufficiency, still remain unsolved, which require the incorporation of external knowledge bases. Previous works on external knowledge injection usually rely on noisy web mining tools and heuristic rules with limited applicable scenarios. In this paper, we propose a novel KnOwledge-Aware proceduraL text understAnding (KOALA) model, which effectively leverages multiple forms of external knowledge in this task. Specifically, we retrieve informative knowledge triples from ConceptNet and perform knowledge-aware reasoning while tracking the entities. Besides, we employ a multi-stage training schema which fine-tunes the BERT model over unlabeled data collected from Wikipedia before further fine-tuning it on the final model. Experimental results on two procedural text datasets, ProPara and Recipes, verify the effectiveness of the proposed methods, in which our model achieves state-of-the-art performance in comparison to various baselines.
• Abstract（参考訳）: 手続き的テキストは、ステップバイステップの自然過程(例えば光合成)における動的状態変化を記述する。 本研究では,このような文書の理解とプロセス中のエンティティの状態や場所の追跡を目的とした手続き的テキスト理解の課題に焦点を当てる。 近年のアプローチは大きな進歩を遂げているが、その成果は人間のパフォーマンスをはるかに遅れている。 常識推論の難しさとデータ不足という2つの課題はまだ未解決のままであり、外部の知識ベースを組み込む必要がある。 外部知識注入に関するこれまでの研究は、通常、ノイズの多いWebマイニングツールや、限定可能なシナリオを持つヒューリスティックルールに依存しています。 本稿では,複数の外部知識を効果的に活用するKnOwledge-Aware ProceduraL text understAnding(KOALA)モデルを提案する。 具体的には,概念ネットから情報知識の3倍を抽出し,エンティティを追跡しながら知識認識推論を行う。 さらに、ウィキペディアから収集したラベルなしデータに対してBERTモデルを微調整し、最終モデルでさらに微調整するマルチステージトレーニングスキーマを採用している。 提案手法の有効性を検証するために,propara と recipe の2つの手続き型テキストデータセットを用いた実験を行った。

関連論文リスト

• A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models [0.8899670429041453]
  生成型大規模言語モデル(LLM)は,広範囲なデータを必要とすることなく,非常に高品質なNLPタスクを解くことができることを示す。 新たなプロンプト戦略に基づいて,LLMが最先端の機械学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-26T06:39:35Z)
• Why Not Use Your Textbook? Knowledge-Enhanced Procedure Planning of Instructional Videos [16.333295670635557]
  本稿では,エージェントが行動手順を論理的に構築し,戦略的手続き計画を構築する能力について考察する。 この計画は、実生活の指導ビデオに示されているように、初期視覚観察から対象視結果へのナビゲートに不可欠である。 我々は,学習データから抽出した確率論的手続き的知識グラフを利用する,知識向上型プロジェクションプランニングシステムKEPPを提案する。
  論文  参考訳（メタデータ） (2024-03-05T08:55:51Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Transferring Procedural Knowledge across Commonsense Tasks [17.929737518694616]
  本稿では,AIモデルによる手続き的知識を新しい物語課題に透過的に伝達する能力について検討する。 我々は、最先端のモデリングアーキテクチャ、トレーニングレシスタンス、拡張戦略を統合する包括的なフレームワークであるLEAPを設計する。 ドメイン内および外部タスクによる我々の実験は、異なるアーキテクチャの相互作用、トレーニング体制、拡張戦略に関する洞察を明らかにします。
  論文  参考訳（メタデータ） (2023-04-26T23:24:50Z)
• Exploring External Knowledge for Accurate modeling of Visual and Language Problems [2.7190267444272056]
  この論文は、多くの困難なタスクを含む視覚的および言語的理解に焦点を当てている。 これらの問題を解決する最先端の手法は通常、ソースデータとターゲットラベルの2つの部分のみを含む。 まず外部知識を抽出し,元のモデルと統合する手法を開発した。
  論文  参考訳（メタデータ） (2023-01-27T02:01:50Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)
• Ered: Enhanced Text Representations with Entities and Descriptions [5.977668609935748]
  外部知識(エンティティやエンティティ記述など)は、人間がテキストを理解するのに役立つ。 本稿では、微調整段階において、エンティティとエンティティ記述の両方を明示的に含意することを目的としている。 我々は4つの知識指向タスクと2つの共通タスクについて実験を行い、その結果、いくつかのデータセットで新たな最先端を達成できた。
  論文  参考訳（メタデータ） (2022-08-18T16:51:16Z)
• TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
  本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
  論文  参考訳（メタデータ） (2022-03-16T10:37:59Z)
• Procedural Reading Comprehension with Attribute-Aware Context Flow [85.34405161075276]
  手続き的なテキストは、しばしばエンティティの上で起こるプロセスを記述する。 本稿では,テキストを一般的な形式に翻訳することで,手続き的読解のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T00:06:29Z)
• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
  下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。 本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
  論文  参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。