論文の概要: Combining pre-trained language models and structured knowledge

• arxiv url: http://arxiv.org/abs/2101.12294v1
• Date: Thu, 28 Jan 2021 21:54:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-02-02 04:27:25.106014
• Title: Combining pre-trained language models and structured knowledge
• Title（参考訳）: 事前学習言語モデルと構造化知識の組み合わせ
• Authors: Pedro Colon-Hernandez, Catherine Havasi, Jason Alonso, Matthew Huggins, Cynthia Breazeal
• Abstract要約: トランスフォーマーベースの言語モデルは、様々なNLPベンチマークにおいて、最先端の性能を実現している。 これらのモデルに知識グラフのような構造化情報を統合することは困難であることが証明されている。 構造化された知識を現在の言語モデルに統合し、課題を決定するための様々なアプローチについて検討し、構造化された情報ソースと非構造化された情報ソースの両方を活用する機会について検討する。
• 参考スコア（独自算出の注目度）: 9.521634184008574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, transformer-based language models have achieved state of the art performance in various NLP benchmarks. These models are able to extract mostly distributional information with some semantics from unstructured text, however it has proven challenging to integrate structured information, such as knowledge graphs into these models. We examine a variety of approaches to integrate structured knowledge into current language models and determine challenges, and possible opportunities to leverage both structured and unstructured information sources. From our survey, we find that there are still opportunities at exploiting adapter-based injections and that it may be possible to further combine various of the explored approaches into one system.
• Abstract（参考訳）: 近年、トランスフォーマーベースの言語モデルが様々なnlpベンチマークで最先端の技術性能を達成している。 これらのモデルは、非構造化テキストから、ほとんど分布的情報といくつかの意味論を抽出できるが、知識グラフなどの構造化情報をこれらのモデルに統合することは困難であることが証明されている。 我々は、構造化知識を現在の言語モデルに統合し、課題を特定し、構造化情報と非構造化情報の両方を活用するための様々なアプローチを検討する。 私たちの調査から、アダプターベースのインジェクションを活用する機会がまだあり、探索されたさまざまなアプローチを1つのシステムにさらに組み合わせることが可能であることが分かりました。

関連論文リスト

• Chunk-Distilled Language Modeling [25.238256586953487]
  Chunk-Distilled Language Modeling (CD-LM)は、現在の大規模言語モデル(LLM)における2つの課題に対処するテキスト生成のアプローチである。 提案手法は,ディープネットワークベースのLCMと簡単な検索モジュールを組み合わせることで,単一のデコードステップでマルチトークンテキストチャンクを生成する。
  論文  参考訳（メタデータ） (2024-12-31T08:32:15Z)
• Compositional Generalization with Grounded Language Models [9.96679221246835]
  基底言語モデルは、知識グラフのような外部情報ソースを使用して、事前学習に関連する一般的な課題を満たす。 本研究では,構成性の異なる側面を対象とする知識グラフと組み合わせた自然言語質問を生成する手法を開発した。
  論文  参考訳（メタデータ） (2024-06-07T14:56:51Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• GPT Struct Me: Probing GPT Models on Narrative Entity Extraction [2.049592435988883]
  我々は,2つの最先端言語モデル(GPT-3とGPT-3.5)の物語の抽出能力を評価する。 本研究はポルトガルの119のニュース記事を集めたText2Story Lusaデータセットを用いて行った。
  論文  参考訳（メタデータ） (2023-11-24T16:19:04Z)
• Construction Grammar and Language Models [4.171555557592296]
  近年のディープラーニングの進歩は、主にクローゼのようなタスクで訓練された強力なモデルを生み出している。 この章は、自然言語処理と構築文法の分野における研究者間のコラボレーションを促進することを目的としている。
  論文  参考訳（メタデータ） (2023-08-25T11:37:56Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Language Model Cascades [72.18809575261498]
  テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。 制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。 この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
  論文  参考訳（メタデータ） (2022-07-21T07:35:18Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。