Fugu-MT 論文翻訳(概要): On the Effects of Knowledge-Augmented Data in Word Embeddings

論文の概要: On the Effects of Knowledge-Augmented Data in Word Embeddings

arxiv url: http://arxiv.org/abs/2010.01745v1
Date: Mon, 5 Oct 2020 02:14:13 GMT
ステータス: 処理完了
システム内更新日: 2022-10-10 20:10:17.697069
Title: On the Effects of Knowledge-Augmented Data in Word Embeddings
Title（参考訳）: 単語埋め込みにおける知識提供データの影響について
Authors: Diego Ramirez-Echavarria, Antonis Bikakis, Luke Dickens, Rob Miller, Andreas Vlachidis
Abstract要約: 単語埋め込み学習のためのデータ拡張による言語知識注入のための新しい手法を提案する。提案手法は,学習した埋め込みの本質的な特性を向上すると同時に,下流テキスト分類タスクにおける結果の大幅な変更は行わない。
参考スコア（独自算出の注目度）: 0.6749750044497732
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper investigates techniques for knowledge injection into word embeddings learned from large corpora of unannotated data. These representations are trained with word cooccurrence statistics and do not commonly exploit syntactic and semantic information from linguistic knowledge bases, which potentially limits their transferability to domains with differing language distributions or usages. We propose a novel approach for linguistic knowledge injection through data augmentation to learn word embeddings that enforce semantic relationships from the data, and systematically evaluate the impact it has on the resulting representations. We show our knowledge augmentation approach improves the intrinsic characteristics of the learned embeddings while not significantly altering their results on a downstream text classification task.
Abstract（参考訳）: 本稿では,大量の無注データから学習した単語埋め込みへの知識注入手法について検討する。これらの表現は単語共起統計学で訓練されており、言語知識ベースからの構文情報や意味情報を一般的に利用していない。本稿では,データ拡張による言語知識注入のための新しいアプローチを提案し,データから意味的関係を強制する単語埋め込みを学習し,結果の表現に与える影響を体系的に評価する。知識拡張アプローチは,下流テキスト分類タスクにおける結果を大きく変更することなく,学習埋め込みの本質的特性を改善している。

関連論文リスト

Capturing Pertinent Symbolic Features for Enhanced Content-Based Misinformation Detection [0.0]
誤解を招く内容の検出は、言語的・ドメイン的多様性の極端さから、大きなハードルとなる。本稿では,この現象を特徴付ける言語特性と,最も一般的な誤情報データセットの表現方法について分析する。ニューラルネットワークモデルと組み合わせた関連する記号的知識の適切な利用は、誤解を招くコンテンツを検出するのに有効であることを示す。
論文参考訳（メタデータ） (2024-01-29T16:42:34Z)
Enhancing Context Through Contrast [0.4068270792140993]
本稿では,ニューラルマシン翻訳の性能向上のための新しいコンテキスト拡張ステップを提案する。他のアプローチとは異なり、明示的にデータを拡張するのではなく、言語を暗黙的な拡張と見なす。本手法は, 組込みをゼロから学習せず, 事前学習した組込みに一般化することができる。
論文参考訳（メタデータ） (2024-01-06T22:13:51Z)
SememeASR: Boosting Performance of End-to-End Speech Recognition against Domain and Long-Tailed Data Shift with Sememe Semantic Knowledge [58.979490858061745]
セメムに基づくセマンティック知識情報を音声認識に導入する。実験の結果,セム情報により音声認識の有効性が向上することが示された。さらに,本実験により,セメム知識が長期データ認識を改善することが確認された。
論文参考訳（メタデータ） (2023-09-04T08:35:05Z)
Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
論文参考訳（メタデータ） (2022-09-19T02:41:02Z)
An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文参考訳（メタデータ） (2022-05-21T19:49:04Z)
Semantic TrueLearn: Using Semantic Knowledge Graphs in Recommendation Systems [22.387120578306277]
本研究は,意味的関連性を取り入れた国家認識型教育レコメンデーションシステムの構築を目指している。本稿では,ウィキペディアリンクグラフを用いた学習リソースにおける知識コンポーネント間の意味的関連性を利用した,新しい学習モデルを提案する。大規模データセットを用いた実験により,TrueLearnアルゴリズムの新たなセマンティックバージョンが,予測性能の面で統計的に有意な改善を実現していることが示された。
論文参考訳（メタデータ） (2021-12-08T16:23:27Z)
On the Impact of Knowledge-based Linguistic Annotations in the Quality of Scientific Embeddings [0.0]
我々は, 科学的コーパスから埋め込みを生成するために, 明示的な言語アノテーションを用いた研究を行う。以上の結果から,組込みにおけるアノテーションの効果は評価作業によってどのように変化するかを示す。一般に,言語アノテーションを用いた埋め込み学習が,より良い評価結果の獲得に寄与すると考えられる。
論文参考訳（メタデータ） (2021-04-13T13:51:22Z)
Knowledge-Base Enriched Word Embeddings for Biomedical Domain [5.086571902225929]
利用可能なコーポラとドメイン知識の情報を共同利用したバイオメディカルドメインのための新しい単語埋め込みモデルを提案する。既存のアプローチとは異なり、提案手法は単純だが、ドメインリソースで利用可能な正確な知識を正しく捉えることに長けている。
論文参考訳（メタデータ） (2021-02-20T18:18:51Z)
CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
論文参考訳（メタデータ） (2020-10-01T11:39:32Z)
Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge [62.46091695615262]
我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
論文参考訳（メタデータ） (2020-09-12T17:20:01Z)
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。