論文の概要: Distributional semantic modeling: a revised technique to train term/word
vector space models applying the ontology-related approach
- arxiv url: http://arxiv.org/abs/2003.03350v1
- Date: Fri, 6 Mar 2020 18:27:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 00:36:11.657584
- Title: Distributional semantic modeling: a revised technique to train term/word
vector space models applying the ontology-related approach
- Title（参考訳）: 分布意味モデリング:オントロジー関連アプローチを適用した項/単語ベクトル空間モデルを訓練するための改訂手法
- Authors: Oleksandr Palagin, Vitalii Velychko, Kyrylo Malakhov and Oleksandr
Shchurov
- Abstract要約: ニューラルネットワークを用いた分散項表現(あるいは項埋め込み)学習による分布意味モデリングのための新しい手法を設計する。
Vec2graphは、動的かつインタラクティブなグラフとして単語埋め込み(私たちの場合の長期埋め込み)を視覚化するためのPythonライブラリである。
- 参考スコア（独自算出の注目度）: 36.248702416150124
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We design a new technique for the distributional semantic modeling with a
neural network-based approach to learn distributed term representations (or
term embeddings) - term vector space models as a result, inspired by the recent
ontology-related approach (using different types of contextual knowledge such
as syntactic knowledge, terminological knowledge, semantic knowledge, etc.) to
the identification of terms (term extraction) and relations between them
(relation extraction) called semantic pre-processing technology - SPT. Our
method relies on automatic term extraction from the natural language texts and
subsequent formation of the problem-oriented or application-oriented (also
deeply annotated) text corpora where the fundamental entity is the term
(includes non-compositional and compositional terms). This gives us an
opportunity to changeover from distributed word representations (or word
embeddings) to distributed term representations (or term embeddings). This
transition will allow to generate more accurate semantic maps of different
subject domains (also, of relations between input terms - it is useful to
explore clusters and oppositions, or to test your hypotheses about them). The
semantic map can be represented as a graph using Vec2graph - a Python library
for visualizing word embeddings (term embeddings in our case) as dynamic and
interactive graphs. The Vec2graph library coupled with term embeddings will not
only improve accuracy in solving standard NLP tasks, but also update the
conventional concept of automated ontology development. The main practical
result of our work is the development kit (set of toolkits represented as web
service APIs and web application), which provides all necessary routines for
the basic linguistic pre-processing and the semantic pre-processing of the
natural language texts in Ukrainian for future training of term vector space
models.
- Abstract（参考訳）: We design a new technique for the distributional semantic modeling with a neural network-based approach to learn distributed term representations (or term embeddings) - term vector space models as a result, inspired by the recent ontology-related approach (using different types of contextual knowledge such as syntactic knowledge, terminological knowledge, semantic knowledge, etc.) to the identification of terms (term extraction) and relations between them (relation extraction) called semantic pre-processing technology - SPT.
本手法は,自然言語テキストからの自動用語抽出と,基本的実体が用語である問題指向あるいはアプリケーション指向(あるいは深い注釈付き)テキストコーパスの形成に依存している(非構成的・構成的用語を含む)。
これにより、分散語表現(または単語埋め込み)から分散語表現(または用語埋め込み)に切り換える機会が得られます。
この移行によって、異なる主題ドメインのより正確なセマンティックマップ(入力用語間の関係も)を生成することができる。
セマンティックマップは,動的かつインタラクティブなグラフとして,単語の埋め込み(この場合の用語の埋め込み)を視覚化するPythonライブラリであるVec2graphを使ってグラフとして表現することができる。
Vec2graphライブラリと項埋め込みを組み合わせることで、標準NLPタスクの精度が向上するだけでなく、従来の自動オントロジー開発の概念も更新される。
私たちの研究の主な実践的な成果は、開発キット(webサービスapiとwebアプリケーションとして表現されるツールキットの集合)で、ウクライナの自然言語テキストの基本的な言語前処理と意味的前処理に必要な全てのルーチンを、項ベクトル空間モデルのトレーニングのために提供します。
関連論文リスト
- From Word Vectors to Multimodal Embeddings: Techniques, Applications, and Future Directions For Large Language Models [17.04716417556556]
本稿では,分布仮説や文脈的類似性といった基礎概念を概観する。
本稿では, ELMo, BERT, GPTなどのモデルにおいて, 静的な埋め込みと文脈的埋め込みの両方について検討する。
議論は文章や文書の埋め込みにまで拡張され、集約メソッドや生成トピックモデルをカバーする。
モデル圧縮、解釈可能性、数値エンコーディング、バイアス緩和といった高度なトピックを分析し、技術的な課題と倫理的意味の両方に対処する。
論文 参考訳（メタデータ） (2024-11-06T15:40:02Z) - Constructing Word-Context-Coupled Space Aligned with Associative
Knowledge Relations for Interpretable Language Modeling [0.0]
事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。
解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。
我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
論文 参考訳（メタデータ） (2023-05-19T09:26:02Z) - Variational Cross-Graph Reasoning and Adaptive Structured Semantics
Learning for Compositional Temporal Grounding [143.5927158318524]
テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。
新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。
ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
論文 参考訳（メタデータ） (2023-01-22T08:02:23Z) - Imitation Learning-based Implicit Semantic-aware Communication Networks:
Multi-layer Representation and Collaborative Reasoning [68.63380306259742]
有望な可能性にもかかわらず、セマンティック通信とセマンティック・アウェア・ネットワーキングはまだ初期段階にある。
本稿では,CDCとエッジサーバの複数層を連携させる,推論に基づく暗黙的セマンティック・アウェア通信ネットワークアーキテクチャを提案する。
暗黙的セマンティクスの階層構造と個人ユーザのパーソナライズされた推論嗜好を考慮に入れたセマンティクス情報の多層表現を提案する。
論文 参考訳（メタデータ） (2022-10-28T13:26:08Z) - Pretraining on Interactions for Learning Grounded Affordance
Representations [22.290431852705662]
我々はニューラルネットワークを訓練し、シミュレーションされた相互作用において物体の軌道を予測する。
我々のネットワークの潜在表現は、観測された価格と観測されていない価格の両方を区別していることが示される。
提案する手法は,従来の語彙表現の形式的意味概念と統合可能な言語学習の手法である。
論文 参考訳（メタデータ） (2022-07-05T19:19:53Z) - Graph Adaptive Semantic Transfer for Cross-domain Sentiment
Classification [68.06496970320595]
クロスドメイン感情分類(CDSC)は、ソースドメインから学んだ伝達可能なセマンティクスを使用して、ラベルなしのターゲットドメインにおけるレビューの感情を予測することを目的としている。
本稿では、単語列と構文グラフの両方からドメイン不変セマンティクスを学習できる適応型構文グラフ埋め込み法であるグラフ適応意味伝達(GAST)モデルを提案する。
論文 参考訳（メタデータ） (2022-05-18T07:47:01Z) - Text analysis and deep learning: A network approach [0.0]
本稿では,変圧器モデルとネットワーク解析を併用して,言語使用の自己参照表現を生成する手法を提案する。
我々のアプローチは、基礎となるモデルと強く整合した言語関係と、それらに関する数学的に明確に定義された操作を生成する。
我々の知る限りでは、深層言語モデルから直接意味ネットワークを抽出する最初の教師なし手法である。
論文 参考訳（メタデータ） (2021-10-08T14:18:36Z) - Semantic Representation and Inference for NLP [2.969705152497174]
この論文は、新しい意味表現と推論のための深層学習の利用について考察する。
我々は,自動クレーム検証を目的とした,現実の事実クレームの公開データセットとして最大である。
語句表現を外部単語埋め込みと知識グラフで豊かにすることにより,句の構成性を文脈的に操作する。
論文 参考訳（メタデータ） (2021-06-15T13:22:48Z) - Prototypical Representation Learning for Relation Extraction [56.501332067073065]
本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。
文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。
いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-03-22T08:11:43Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳（メタデータ） (2020-12-10T01:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。