論文の概要: DP-KB: Data Programming with Knowledge Bases Improves Transformer Fine Tuning for Answer Sentence Selection

• arxiv url: http://arxiv.org/abs/2203.09598v1
• Date: Thu, 17 Mar 2022 20:23:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-21 13:32:20.362230
• Title: DP-KB: Data Programming with Knowledge Bases Improves Transformer Fine Tuning for Answer Sentence Selection
• Title（参考訳）: DP-KB: 質問文選択のための変換器ファインチューニングを改善する知識ベースデータプログラミング
• Authors: Nic Jedema, Thuy Vu, Manish Gupta, and Alessandro Moschitti
• Abstract要約: トランスフォーマーは多くの知識集約(KI)タスクで素晴らしいパフォーマンスを示します。 しかし、暗黙の知識基盤(KB)として機能する能力は依然として限られている。 我々は、KB由来の文脈でトレーニングデータを豊かにする効率的なデータプログラミング手法を実装した。
• 参考スコア（独自算出の注目度）: 96.84143731242119
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While transformers demonstrate impressive performance on many knowledge intensive (KI) tasks, their ability to serve as implicit knowledge bases (KBs) remains limited, as shown on several slot-filling, question-answering (QA), fact verification, and entity-linking tasks. In this paper, we implement an efficient, data-programming technique that enriches training data with KB-derived context and improves transformer utilization of encoded knowledge when fine-tuning for a particular QA task, namely answer sentence selection (AS2). Our method outperforms state of the art transformer approach on WikiQA and TrecQA, two widely studied AS2 benchmarks, increasing by 2.0% p@1, 1.3% MAP, 1.1% MRR, and 4.4% p@1, 0.9% MAP, 2.4% MRR, respectively. To demonstrate our improvements in an industry setting, we additionally evaluate our approach on a proprietary dataset of Alexa QA pairs, and show increase of 2.3% F1 and 2.0% MAP. We additionally find that these improvements remain even when KB context is omitted at inference time, allowing for the use of our models within existing transformer workflows without additional latency or deployment costs.
• Abstract（参考訳）: トランスフォーマーは多くの知識集中型タスク(KI)で顕著なパフォーマンスを示すが、いくつかのスロット充足、質問応答(QA)、事実検証、エンティティリンクタスクで示されるように、暗黙の知識ベース(KB)として機能する能力は制限されている。 本稿では,KB由来の文脈で学習データを強化し,特定のQAタスク,すなわち回答文選択(AS2)を微調整する際の符号化知識のトランスフォーマー利用を改善する,効率的なデータプログラミング手法を提案する。 WikiQA と TrecQA のアートトランスフォーマーアプローチでは,2つのAS2 ベンチマークでそれぞれ2.0% p@1, 1.3% MAP, 1.1% MRR, 4.4% p@1, 0.9% MAP, 2.4% MRR の増加が見られた。 業界環境での改善を実証するため、Alexa QAペアのプロプライエタリなデータセットに対するアプローチをさらに評価し、2.3% F1と2.0% MAPの増加を示す。 さらに、これらの改善は、推論時にkbコンテキストが省略された場合でも継続され、既存のトランスフォーマーワークフロー内で、さらなるレイテンシやデプロイメントコストなしで、モデルの使用が可能になります。

関連論文リスト

• RA-DIT: Retrieval-Augmented Dual Instruction Tuning [90.98423540361946]
  Retrieval-augmented Language Model (RALMs) は、外部データストアからロングテールおよび最新の知識にアクセスすることで、パフォーマンスを向上させる。 既存のアプローチでは、LM事前トレーニングに高価な検索固有の修正が必要になるか、あるいは、最適以下のパフォーマンスをもたらすデータストアのポストホック統合を使用する必要がある。 本稿では,第3の選択肢を提供する軽量な微調整手法であるRetrieval-Augmented Dual Instruction Tuning (RA-DIT)を紹介する。
  論文  参考訳（メタデータ） (2023-10-02T17:16:26Z)
• PAT: Position-Aware Transformer for Dense Multi-Label Action Detection [36.39340228621982]
  ビデオ中の複雑な時間的共起動作依存を学習するトランスフォーマーベースのネットワークであるPATを提案する。 自己認識機構に相対的な位置エンコーディングを組み込み、マルチスケールの時間的関係を利用する。 提案手法の有効性を2つの厳密なマルチラベルベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2023-08-09T16:29:31Z)
• Information Association for Language Model Updating by Mitigating LM-Logical Discrepancy [68.31760483418901]
  大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。 知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。 これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
  論文  参考訳（メタデータ） (2023-05-29T19:48:37Z)
• PANDA: Prompt Transfer Meets Knowledge Distillation for Efficient Model Adaptation [89.0074567748505]
  即時転送可能性(i)を正確に予測する新しい指標と,新しいPoTアプローチ(PANDA)を提案する。 提案手法は,各タスクおよびモデルサイズの平均スコアの2.3%(最大24.1%)でバニラPoTアプローチを一貫して上回り,その3。
  論文  参考訳（メタデータ） (2022-08-22T09:14:14Z)
• Improved and Efficient Conversational Slot Labeling through Question Answering [48.670822631047635]
  Transformer-based Pretrained Language Model (PLM) は、自然言語理解(NLU)タスクの大部分に適合しないパフォーマンスを提供する。 本稿では,対話のためのNLUの重要なコンポーネントであるテキストスロットラベリング(SL)のモデリングと研究に焦点をあてる。 本稿では,QA調整型PLMをSLタスクに適用し,新しい最先端性能を実現する方法を示す。
  論文  参考訳（メタデータ） (2022-04-05T11:34:35Z)
• ERNIE-SPARSE: Learning Hierarchical Efficient Transformer Through Regularized Self-Attention [48.697458429460184]
  情報ボトルネック感度と異なる注目トポロジ間の不整合の2つの要因がスパース変換器の性能に影響を及ぼす可能性がある。 本稿では,ERNIE-Sparseというモデルを提案する。 i) 局所情報とグローバル情報を逐次統一する階層スパース変換器(HST) と、(ii) 注意トポロジの異なる変換器の距離を最小化する自己注意正規化(SAR) の2つの特徴がある。
  論文  参考訳（メタデータ） (2022-03-23T08:47:01Z)
• Improving and Diagnosing Knowledge-Based Visual Question Answering via Entity Enhanced Knowledge Injection [14.678153928301493]
  KBVQA (Knowledge-Based Visual Question Answering) は、テキスト質問と関連する画像に正しく答えるために、外部世界の知識を必要とするバイモーダルタスクである。 最近のシングルテキストワークでは、事前訓練された言語モデル、特にエンティティ強化知識グラフの埋め込みへの知識注入が、下流のエンティティ中心のタスクのパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2021-12-13T18:45:42Z)
• DoT: An efficient Double Transformer for NLP tasks with tables [3.0079490585515343]
  DoTは、問題を2つのサブタスクに分解するダブルトランスフォーマーモデルである。 少ない精度でDoTはトレーニング時間と推論時間を少なくとも50%改善することを示した。
  論文  参考訳（メタデータ） (2021-06-01T13:33:53Z)
• On the Generalization Effects of Linear Transformations in Data Augmentation [32.01435459892255]
  データ拡張は、画像やテキストの分類タスクのようなアプリケーションのパフォーマンスを改善するための強力な技術である。 我々は線形変換の族を研究し、過度にパラメータ化された線形回帰設定におけるリッジ推定器への影響について研究する。 本稿では,モデルが変換データに対してどの程度不確実であるかによって,変換空間を探索する拡張手法を提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。