論文の概要: Combining pre-trained language models and structured knowledge

• arxiv url: http://arxiv.org/abs/2101.12294v1
• Date: Thu, 28 Jan 2021 21:54:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 04:27:25.106014
• Title: Combining pre-trained language models and structured knowledge
• Title（参考訳）: 事前学習言語モデルと構造化知識の組み合わせ
• Authors: Pedro Colon-Hernandez, Catherine Havasi, Jason Alonso, Matthew Huggins, Cynthia Breazeal
• Abstract要約: トランスフォーマーベースの言語モデルは、様々なNLPベンチマークにおいて、最先端の性能を実現している。 これらのモデルに知識グラフのような構造化情報を統合することは困難であることが証明されている。 構造化された知識を現在の言語モデルに統合し、課題を決定するための様々なアプローチについて検討し、構造化された情報ソースと非構造化された情報ソースの両方を活用する機会について検討する。
• 参考スコア（独自算出の注目度）: 9.521634184008574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, transformer-based language models have achieved state of the art performance in various NLP benchmarks. These models are able to extract mostly distributional information with some semantics from unstructured text, however it has proven challenging to integrate structured information, such as knowledge graphs into these models. We examine a variety of approaches to integrate structured knowledge into current language models and determine challenges, and possible opportunities to leverage both structured and unstructured information sources. From our survey, we find that there are still opportunities at exploiting adapter-based injections and that it may be possible to further combine various of the explored approaches into one system.
• Abstract（参考訳）: 近年、トランスフォーマーベースの言語モデルが様々なnlpベンチマークで最先端の技術性能を達成している。 これらのモデルは、非構造化テキストから、ほとんど分布的情報といくつかの意味論を抽出できるが、知識グラフなどの構造化情報をこれらのモデルに統合することは困難であることが証明されている。 我々は、構造化知識を現在の言語モデルに統合し、課題を特定し、構造化情報と非構造化情報の両方を活用するための様々なアプローチを検討する。 私たちの調査から、アダプターベースのインジェクションを活用する機会がまだあり、探索されたさまざまなアプローチを1つのシステムにさらに組み合わせることが可能であることが分かりました。

関連論文リスト

• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 タスク固有のトレーニングでは、モデルのサブセットが複数のソースから特定の知識タイプを統合する能力を示している。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Language Model Cascades [72.18809575261498]
  テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。 制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。 この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
  論文  参考訳（メタデータ） (2022-07-21T07:35:18Z)
• A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
  我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。 主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。 コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
  論文  参考訳（メタデータ） (2022-06-19T08:55:07Z)
• Artefact Retrieval: Overview of NLP Models with Knowledge Base Access [18.098224374478598]
  本稿では,人工物の種類(知識ベースから抽出した項目),検索機構,およびこれらの人工物がモデルに融合する方法を体系的に記述する。 言語モデルに焦点が当てられているが、質問応答、事実チェック、対話モデルもこのシステムにどのように適合するかを示す。
  論文  参考訳（メタデータ） (2022-01-24T13:15:33Z)
• Interpreting Language Models Through Knowledge Graph Extraction [42.97929497661778]
  BERTに基づく言語モデルを,学習過程の逐次的な段階において取得した知識のスナップショットを通じて比較する。 本稿では, クローズイン・ザ・ブランク文から知識グラフを抽出し, 知識獲得のタイムラインを提示する手法を提案する。 この分析を, BERTモデル(DistilBERT, BERT-base, RoBERTa)の事前学習変化の比較に拡張する。
  論文  参考訳（メタデータ） (2021-11-16T15:18:01Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• Interactively Generating Explanations for Transformer Language Models [14.306470205426526]
  トランスフォーマー言語モデルは、多くのNLPタスクにおいて最先端である。 最近の手法はブラックボックスモデルに対する解釈可能性と説明可能性を提供することを目的としている。 モデルアーキテクチャに直接組み込まれたプロトタイプネットワークを使うことを強調した。
  論文  参考訳（メタデータ） (2021-09-02T11:34:29Z)
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.8500633981247]
  本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-28T18:09:46Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。