論文の概要: There is No Big Brother or Small Brother: Knowledge Infusion in Language Models for Link Prediction and Question Answering

• arxiv url: http://arxiv.org/abs/2301.04013v1
• Date: Tue, 10 Jan 2023 14:59:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 16:20:06.341358
• Title: There is No Big Brother or Small Brother: Knowledge Infusion in Language Models for Link Prediction and Question Answering
• Title（参考訳）: ビッグブラザーや弟はいない - リンク予測と質問応答のための言語モデルへの知識の注入
• Authors: Ankush Agarwal, Sakharam Gawade, Sachin Channabasavarajendra, Pushpak Bhattacharyya
• Abstract要約: 本稿では,3分野にわたる言語モデル,T5,BLOOMを用いた知識注入型リンク予測と質問応答に着目した。 Aviation Knowledge Graphのリンク予測タスクでは,T5-small,T5-base,T5-large,BLOOMを用いて0.2 hit@1スコアを得る。 T5-smallおよびT5-largeを用いた航空知識グラフのリンク予測では,コーエンのカッパスコアが0.76であり,モデル間ではかなりの一致を示した。
• 参考スコア（独自算出の注目度）: 27.85834441076481
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The integration of knowledge graphs with deep learning is thriving in improving the performance of various natural language processing (NLP) tasks. In this paper, we focus on knowledge-infused link prediction and question answering using language models, T5, and BLOOM across three domains: Aviation, Movie, and Web. In this context, we infuse knowledge in large and small language models and study their performance, and find the performance to be similar. For the link prediction task on the Aviation Knowledge Graph, we obtain a 0.2 hits@1 score using T5-small, T5-base, T5-large, and BLOOM. Using template-based scripts, we create a set of 1 million synthetic factoid QA pairs in the aviation domain from National Transportation Safety Board (NTSB) reports. On our curated QA pairs, the three models of T5 achieve a 0.7 hits@1 score. We validate out findings with the paired student t-test and Cohen's kappa scores. For link prediction on Aviation Knowledge Graph using T5-small and T5-large, we obtain a Cohen's kappa score of 0.76, showing substantial agreement between the models. Thus, we infer that small language models perform similar to large language models with the infusion of knowledge.
• Abstract（参考訳）: 知識グラフとディープラーニングの統合は、様々な自然言語処理(NLP)タスクの性能向上に成功している。 本稿では,航空,映画,webの3領域にまたがる言語モデル,t5,bloomを用いて,知識を注入したリンク予測と質問応答に着目する。 この文脈では、大小の言語モデルで知識を注入し、その性能を研究し、類似した性能を見出す。 Aviation Knowledge Graphのリンク予測タスクでは,T5-small,T5-base,T5-large,BLOOMを用いて0.2 hit@1スコアを得る。 テンプレートベースのスクリプトを使用して、NTSB(National Transportation Safety Board)レポートから100万組の合成ファクトイドQAペアを航空領域に作成する。 キュレートされたQAペアでは、T5の3つのモデルが0.7 Hit@1スコアを獲得しました。 学生のt-test と cohen の kappa スコアで結果を確認した。 T5-smallおよびT5-largeを用いた航空知識グラフのリンク予測では,コーエンのカッパスコアが0.76であり,モデル間ではかなりの一致を示した。 そこで我々は,小言語モデルが知識の流入とともに大規模言語モデルと類似していることを推察する。

関連論文リスト

• Multilingual E5 Text Embeddings: A Technical Report [63.503320030117145]
  異なるサイズの3つの埋め込みモデルを提供し、推論効率と埋め込み品質のバランスを提供する。 そこで我々は,新しい命令調整型埋め込みモデルを導入し,その性能は類似サイズの最先端の英語のみのモデルと同等である。
  論文  参考訳（メタデータ） (2024-02-08T13:47:50Z)
• A Text-to-Text Model for Multilingual Offensive Language Identification [19.23565690468299]
  本研究では,テキスト・トゥ・テキスト・トランスフォーマを用いた攻撃的言語識別のためのエンコーダ・デコーダアーキテクチャを用いた最初の事前学習モデルを提案する(T5)。 我々の事前学習されたT5モデルは、複数の英語ベンチマークにおいて、fBERTやHateBERTのような攻撃的言語検出のために微調整された他のトランスフォーマーベースモデルよりも優れている。 同様のアプローチで、mT5を用いて攻撃的言語識別のための最初の多言語事前訓練モデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-06T09:37:27Z)
• Textbooks Are All You Need II: phi-1.5 technical report [55.6940110946465]
  我々は、新しい13億のパラメータモデル textbfphi-1.5を作成し、5倍のモデルに匹敵する自然言語タスクのパフォーマンスを実現した。 textbfphi-1.5はより大きな言語モデルの特徴の多くを示している。 我々はこれらの緊急トピックに関するさらなる研究を促進するために textbfphi-1.5 をオープンソース化した。
  論文  参考訳（メタデータ） (2023-09-11T14:01:45Z)
• idT5: Indonesian Version of Multilingual T5 Transformer [0.0]
  インドネシア語は2億人近い人々によって話されており、世界で10番目に話されている言語である。 本研究では,mT5モデルがインドネシア語にのみ適用され,インドネシア語のみに限定した訓練済みのT5モデルが得られた。 本モデルに基づく微調整モデルでは,SAでは77.18%,mT5モデルより8%高い精度を示し,QGおよびQAではmT5モデルとほぼ同じスコアを得た。
  論文  参考訳（メタデータ） (2023-02-02T03:56:16Z)
• T5lephone: Bridging Speech and Text Self-supervised Models for Spoken Language Understanding via Phoneme level T5 [65.32642587901903]
  我々は、異なるトークン化戦略を持つPLMが音声言語理解タスクにどのように影響するかを広範囲に研究する。 我々は、音素化されたテキストを使って事前訓練されたT5の変種であるT5lephoneを作成するためのアイデアを拡張した。
  論文  参考訳（メタデータ） (2022-11-01T17:00:23Z)
• Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
  我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。 Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。 最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
  論文  参考訳（メタデータ） (2022-07-15T11:39:37Z)
• SKILL: Structured Knowledge Infusion for Large Language Models [46.34209061364282]
  構造化知識を大規模言語モデル(LLM)に注入する手法を提案する。 Wikidata KGで事前学習したモデルは,FreebaseQAとWikiHopのT5ベースラインよりも優れていることを示す。 また,T5ベースラインと比較して,MetaQAタスクの正確なマッチスコアが3倍向上した。
  論文  参考訳（メタデータ） (2022-05-17T09:12:22Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation [25.430130072811075]
  大規模知識強化モデルの事前学習のための統合フレームワーク ERNIE 3.0 を提案する。 自動回帰ネットワークと自動エンコードネットワークを融合することで、トレーニングされたモデルを自然言語理解と生成タスクの両方に容易に適合させることができる。 我々は,テキストと大規模知識グラフからなる4TBコーパス上で,100億のパラメータでモデルを訓練した。
  論文  参考訳（メタデータ） (2021-07-05T16:54:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。