論文の概要: Compositional Generalization with Grounded Language Models

• arxiv url: http://arxiv.org/abs/2406.04989v1
• Date: Fri, 7 Jun 2024 14:56:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:32:11.999362
• Title: Compositional Generalization with Grounded Language Models
• Title（参考訳）: 接地言語モデルを用いた合成一般化
• Authors: Sondre Wold, Étienne Simon, Lucas Georges Gabriel Charpentier, Egor V. Kostylev, Erik Velldal, Lilja Øvrelid,
• Abstract要約: 基底言語モデルは、知識グラフのような外部情報ソースを使用して、事前学習に関連する一般的な課題を満たす。 本研究では,構成性の異なる側面を対象とする知識グラフと組み合わせた自然言語質問を生成する手法を開発した。
• 参考スコア（独自算出の注目度）: 9.96679221246835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grounded language models use external sources of information, such as knowledge graphs, to meet some of the general challenges associated with pre-training. By extending previous work on compositional generalization in semantic parsing, we allow for a controlled evaluation of the degree to which these models learn and generalize from patterns in knowledge graphs. We develop a procedure for generating natural language questions paired with knowledge graphs that targets different aspects of compositionality and further avoids grounding the language models in information already encoded implicitly in their weights. We evaluate existing methods for combining language models with knowledge graphs and find them to struggle with generalization to sequences of unseen lengths and to novel combinations of seen base components. While our experimental results provide some insight into the expressive power of these models, we hope our work and released datasets motivate future research on how to better combine language models with structured knowledge representations.
• Abstract（参考訳）: 基底言語モデルは、知識グラフのような外部情報ソースを使用して、事前学習に関連する一般的な課題を満たす。 意味解析における構成一般化に関するこれまでの研究を延長することにより、これらのモデルが知識グラフのパターンから学習し一般化する程度を制御された評価が可能となる。 我々は,構成性の異なる側面を目標とした知識グラフと組み合わせた自然言語質問を生成する手法を開発し,すでに暗黙的に符号化されている情報に言語モデルを基礎付けることを回避した。 我々は,言語モデルと知識グラフを組み合わせる既存の手法を評価し,未知の長さの列への一般化に苦慮し,新しい基本成分の組み合わせを見いだす。 実験の結果、これらのモデルの表現力についていくつかの知見が得られていますが、我々の研究とデータセットのリリースは、言語モデルと構造化知識表現をよりうまく組み合わせる方法について、将来の研究を動機づけることを願っています。

関連論文リスト

• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Topics as Entity Clusters: Entity-based Topics from Language Models and Graph Neural Networks [0.7734726150561089]
  本稿では,概念的エンティティを用いたクラスタベースのトピックモデリング手法を提案する。 エンティティは、リレーショナル情報に富んだ実世界の概念の言語に依存しない表現である。 当社のアプローチは、コヒーレンシメトリクス全体で、他の最先端トピックモデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-01-06T10:54:54Z)
• KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction [0.0]
  我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。 知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
  論文  参考訳（メタデータ） (2022-11-04T20:38:12Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Combining pre-trained language models and structured knowledge [9.521634184008574]
  トランスフォーマーベースの言語モデルは、様々なNLPベンチマークにおいて、最先端の性能を実現している。 これらのモデルに知識グラフのような構造化情報を統合することは困難であることが証明されている。 構造化された知識を現在の言語モデルに統合し、課題を決定するための様々なアプローチについて検討し、構造化された情報ソースと非構造化された情報ソースの両方を活用する機会について検討する。
  論文  参考訳（メタデータ） (2021-01-28T21:54:03Z)
• JAKET: Joint Pre-training of Knowledge Graph and Language Understanding [73.43768772121985]
  本稿では,知識グラフと言語の両方をモデル化する新しい事前学習フレームワークであるJAKETを提案する。 知識モジュールと言語モジュールは相互に支援するための重要な情報を提供する。 我々の設計により、事前学習されたモデルは、新しいドメインの見知らぬ知識グラフに容易に適応できる。
  論文  参考訳（メタデータ） (2020-10-02T05:53:36Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。