論文の概要: ActKnow: Active External Knowledge Infusion Learning for Question
Answering in Low Data Regime
- arxiv url: http://arxiv.org/abs/2112.09423v1
- Date: Fri, 17 Dec 2021 10:39:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-20 15:55:52.815577
- Title: ActKnow: Active External Knowledge Infusion Learning for Question
Answering in Low Data Regime
- Title(参考訳): ActKnow:低データレジームにおける質問応答のための能動的外部知識注入学習
- Authors: K. M. Annervaz, Pritam Kumar Nath, Ambedkar Dukkipati
- Abstract要約: 知識グラフ(KG)をベースとした「オンデマンド」から質問回答(QA)の学習に積極的に知識を注入する手法を提案する。
我々は、低データ構造におけるRoBERTaのような純粋テキストベースのトランスフォーマーモデルに対して、ARC Challenge-setベンチマークを著しく改善したことを示す。
- 参考スコア(独自算出の注目度): 7.562843347215286
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep learning models have set benchmark results in various Natural Language
Processing tasks. However, these models require an enormous amount of training
data, which is infeasible in many practical problems. While various techniques
like domain adaptation, fewshot learning techniques address this problem, we
introduce a new technique of actively infusing external knowledge into learning
to solve low data regime problems. We propose a technique called ActKnow that
actively infuses knowledge from Knowledge Graphs (KG) based "on-demand" into
learning for Question Answering (QA). By infusing world knowledge from
Concept-Net, we show significant improvements on the ARC Challenge-set
benchmark over purely text-based transformer models like RoBERTa in the low
data regime. For example, by using only 20% training examples, we demonstrate a
4% improvement in the accuracy for both ARC-challenge and OpenBookQA,
respectively.
- Abstract(参考訳): ディープラーニングモデルでは、さまざまな自然言語処理タスクでベンチマーク結果が設定されている。
しかし、これらのモデルには膨大なトレーニングデータが必要であり、多くの実用的な問題では実現不可能である。
ドメイン適応やスナップショット学習といった様々な手法がこの問題に対処する一方で,低データ体制の問題を解決するための学習に外部知識を積極的に注入する新たな手法を導入する。
本稿では,知識グラフ(KG)に基づく「オンデマンド」から質問応答学習に積極的に知識を注入するActKnowという手法を提案する。
概念ネットから世界知識を注入することにより、低データ構造におけるRoBERTaのような純粋テキストベースのトランスフォーマーモデルよりもARC Challenge-setベンチマークが大幅に改善されたことを示す。
例えば、たった20%のトレーニング例を使用して、ARC-challengeとOpenBookQAの精度をそれぞれ4%改善したことを示す。
関連論文リスト
- A Closer Look at the Limitations of Instruction Tuning [54.565210478164104]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)における知識やスキルの向上に失敗することを示す。
また、一般的なIT改善手法は、シンプルなLoRA微調整モデルよりも性能改善につながるものではないことも示している。
この結果から,事前学習した知識のみから生成した応答は,オープンソースデータセット上でITから新たな知識を学習するモデルによって,一貫した応答性能が向上することが判明した。
論文 参考訳(メタデータ) (2024-02-03T04:45:25Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳(メタデータ) (2023-09-11T14:16:37Z) - RPLKG: Robust Prompt Learning with Knowledge Graph [11.893917358053004]
知識グラフ(RPLKG)を用いた頑健な学習手法を提案する。
知識グラフに基づいて,多種多様な解釈可能かつ有意義なプロンプトセットを自動設計する。
RPLKGはゼロショット学習に比べてパフォーマンスが大幅に向上した。
論文 参考訳(メタデータ) (2023-04-21T08:22:58Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳(メタデータ) (2022-12-09T13:22:27Z) - A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。
我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。
提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
論文 参考訳(メタデータ) (2022-06-30T02:35:04Z) - Improving Question Answering Performance Using Knowledge Distillation
and Active Learning [6.380750645368325]
本稿では,事前学習したBERTシステムのパラメータとモデル複雑性を低減するために,新しい知識蒸留(KD)手法を提案する。
本モデルでは,TinyBERTとDistilBERTの合計パラメータの2%しか使用せず,6層TinyBERTとDistilBERTの性能を実証する。
論文 参考訳(メタデータ) (2021-09-26T17:49:54Z) - Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。
タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。
私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
論文 参考訳(メタデータ) (2021-03-30T18:11:30Z) - Bayesian active learning for production, a systematic study and a
reusable library [85.32971950095742]
本稿では,現在のアクティブラーニング技術の主な欠点について分析する。
実世界のデータセットの最も一般的な課題が深層能動学習プロセスに与える影響について,系統的研究を行った。
部分的不確実性サンプリングやより大きいクエリサイズといった,アクティブな学習ループを高速化する2つの手法を導出する。
論文 参考訳(メタデータ) (2020-06-17T14:51:11Z) - Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。
クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。
本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
論文 参考訳(メタデータ) (2020-06-10T15:15:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。