論文の概要: Knowledge Graph Fusion for Language Model Fine-tuning

• arxiv url: http://arxiv.org/abs/2206.14574v1
• Date: Tue, 21 Jun 2022 08:06:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 00:51:10.924542
• Title: Knowledge Graph Fusion for Language Model Fine-tuning
• Title（参考訳）: 言語モデルファインチューニングのための知識グラフ融合
• Authors: Nimesh Bhana and Terence L. van Zyl
• Abstract要約: BERTの微調整段階における知識導入のメリットについて検討する。 既存のK-BERTモデルは、知識グラフから三つ子で文を豊かにするものであり、英語に適応している。 K-BERTに変更された英語は、他の単語ベースの言語にも拡張されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language Models such as BERT have grown in popularity due to their ability to be pre-trained and perform robustly on a wide range of Natural Language Processing tasks. Often seen as an evolution over traditional word embedding techniques, they can produce semantic representations of text, useful for tasks such as semantic similarity. However, state-of-the-art models often have high computational requirements and lack global context or domain knowledge which is required for complete language understanding. To address these limitations, we investigate the benefits of knowledge incorporation into the fine-tuning stages of BERT. An existing K-BERT model, which enriches sentences with triplets from a Knowledge Graph, is adapted for the English language and extended to inject contextually relevant information into sentences. As a side-effect, changes made to K-BERT for accommodating the English language also extend to other word-based languages. Experiments conducted indicate that injected knowledge introduces noise. We see statistically significant improvements for knowledge-driven tasks when this noise is minimised. We show evidence that, given the appropriate task, modest injection with relevant, high-quality knowledge is most performant.
• Abstract（参考訳）: BERTのような言語モデルは、様々な自然言語処理タスクで事前訓練され、堅牢に機能する能力によって人気が高まっている。 しばしば伝統的な単語埋め込み技術に対する進化と見なされ、意味的類似性のようなタスクに有用なテキストの意味表現を生成することができる。 しかし、最先端モデルは、しばしば高い計算要求を持ち、完全な言語理解に必要なグローバルコンテキストやドメイン知識が欠如している。 これらの制約に対処するため,BERTの微調整段階における知識導入のメリットについて検討する。 既存のK-BERTモデルは、知識グラフから三つ子で文章を豊かにするものであり、英語に適応し、文脈に関連のある情報を文に注入するように拡張されている。 副次的な効果として、K-BERTに変更された英語は、他の単語ベースの言語にも拡張されている。 実験は、知識の注入がノイズをもたらすことを示している。 このノイズを最小限に抑えると、知識駆動タスクの統計的に有意な改善が見られます。 適切なタスクを考えると、関連する高品質の知識による控えめなインジェクションが最もパフォーマンスが高いという証拠を示します。

関連論文リスト

• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• An Empirical Revisiting of Linguistic Knowledge Fusion in Language Understanding Tasks [33.765874588342285]
  構文的・意味的知識を持つ言語モデルの構築は,多くの言語理解タスクにおいて改善されている。 GLUEベンチマークにおいて,解析されたグラフや木を簡単なタスクに置き換える実験的検討を行った。 このことは、利得は明示的な言語的先行によるものではなく、融合層によってもたらされるより機能的な相互作用によるものであることを明らかにしている。
  論文  参考訳（メタデータ） (2022-10-24T07:47:32Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning [18.838291575019504]
  事前訓練された言語モデル(PLM)は、知識駆動タスクを扱う際に知識が不足していることが示されている。 辞書知識で PLM を強化する新しい手法である textbfDictBERT を提案する。 我々は、NER、関係抽出、CommonsenseQA、OpenBookQA、GLUEなど、さまざまな知識駆動型および言語理解タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-01T06:43:19Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)
• Distilling Linguistic Context for Language Model Compression [27.538080564616703]
  計算コストが高く、メモリ集約型ニューラルネットワークは、最近の言語表現学習の成功の背後にある。 本稿では,2種類の関係を通して文脈知識を伝達する言語表現学習のための新しい知識蒸留目標を提案する。 言語理解タスクの挑戦的ベンチマークにおいて,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2021-09-17T05:51:45Z)
• A Closer Look at Linguistic Knowledge in Masked Language Models: The Case of Relative Clauses in American English [17.993417004424078]
  トランスフォーマーに基づく言語モデルは、様々なタスクにおいて高いパフォーマンスを達成するが、それらが学習し、依存する言語知識の理解はいまだに不足している。 文レベルの探索, 診断事例, マスク付き予測タスクにより, 文法的および意味的知識をテストする3つのモデル(BERT, RoBERTa, ALBERT)を評価した。
  論文  参考訳（メタデータ） (2020-11-02T13:25:39Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• E-BERT: A Phrase and Product Knowledge Enhanced Language Model for E-commerce [63.333860695727424]
  電子商取引タスクは、ドメインフレーズの正確な理解を必要とするが、そのようなきめ細かいフレーズレベルの知識は、BERTの訓練目的によって明示的にモデル化されていない。 この問題に対処するため、我々はE-BERTという統合事前学習フレームワークを提案する。 具体的には、フレーズレベルの知識を保存するために、適応的ハイブリッドマスキングを導入し、モデルが予備単語の知識から複雑なフレーズの学習に適応的に切り替えることを可能にする。 製品レベルの知識を活用するために,E-BERT を訓練し,製品に付随する隣人を認知的なクロスアテンション層で予測するNighbor Product Restruction を導入する。
  論文  参考訳（メタデータ） (2020-09-07T00:15:36Z)
• Data Annealing for Informal Language Understanding Tasks [66.2988222278475]
  本稿では,非公式な言語タスクのパフォーマンスギャップを埋めるために,データアニーリング変換学習手法を提案する。 これは、非公式言語でBERTのような事前訓練されたモデルを利用することに成功した。
  論文  参考訳（メタデータ） (2020-04-24T09:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。