論文の概要: Exploiting Network Structures to Improve Semantic Representation for the
Financial Domain
- arxiv url: http://arxiv.org/abs/2107.05885v1
- Date: Tue, 13 Jul 2021 07:32:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-14 14:55:58.124755
- Title: Exploiting Network Structures to Improve Semantic Representation for the
Financial Domain
- Title（参考訳）: 金融ドメインのセマンティック表現を改善するためのネットワーク構造の構築
- Authors: Chao Feng, Shi-jie We
- Abstract要約: 本稿では、FinSim-3におけるMiniTrueチームが、英語の金融分野におけるセマンティックな類似性を学習するタスクについて述べる。
提案手法では,変換言語モデルから学習した文脈埋め込みと,外部知識ソースから抽出したネットワーク構造埋め込みを組み合わせる。
実験結果から,知識グラフ埋め込みモデルの方が文脈埋め込みのみのモデルよりも優れた結果が得られることがわかった。
- 参考スコア（独自算出の注目度）: 9.13755431537592
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper presents the participation of the MiniTrue team in the FinSim-3
shared task on learning semantic similarities for the financial domain in
English language. Our approach combines contextual embeddings learned by
transformer-based language models with network structures embeddings extracted
on external knowledge sources, to create more meaningful representations of
financial domain entities and terms. For this, two BERT based language models
and a knowledge graph embedding model are used. Besides, we propose a voting
function to joint three basic models for the final inference. Experimental
results show that the model with the knowledge graph embeddings has achieved a
superior result than these models with only contextual embeddings.
Nevertheless, we also observe that our voting function brings an extra benefit
to the final system.
- Abstract（参考訳）: 本稿では,finsim-3の共通課題である英語の金融分野における意味的類似性学習におけるminitrueチームへの参加について述べる。
提案手法は,変換言語モデルから学習した文脈埋め込みと外部知識ソースから抽出したネットワーク構造埋め込みを組み合わせることで,金融ドメインエンティティや用語のより意味のある表現を生成する。
このため、BERTベースの2つの言語モデルと知識グラフ埋め込みモデルを使用する。
さらに,最終推論のための3つの基本モデルを結合する投票関数を提案する。
実験の結果,知識グラフ埋め込みモデルが,文脈埋め込みのみを用いたモデルよりも優れた結果を得たことがわかった。
それでも、我々の投票機能が最終システムにさらなる利益をもたらすことも観察する。
関連論文リスト
- Enhancing Language Models for Financial Relation Extraction with Named Entities and Part-of-Speech [5.104305392215512]
FinREタスクは、ファイナンシャルステートメント/テキストの一部が与えられたエンティティとそれらの関係を識別する。
名前付きエンティティ認識 (NER) とPart-Of-Speech (POS) を併用することで、事前学習言語モデルの性能を向上させる戦略を提案する。
金融関係データセットの実験は有望な結果を示し、既存のモデルにNERとPOSを組み込むことの利点を強調している。
論文 参考訳（メタデータ） (2024-05-02T14:33:05Z) - Towards Graph Foundation Models: A Survey and Beyond [66.37994863159861]
ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。
基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。
本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
論文 参考訳（メタデータ） (2023-10-18T09:31:21Z) - Modeling Multi-Granularity Hierarchical Features for Relation Extraction [26.852869800344813]
本稿では,原文のみに基づく多粒度特徴抽出手法を提案する。
外部知識を必要とせずに,効果的な構造的特徴が達成可能であることを示す。
論文 参考訳（メタデータ） (2022-04-09T09:44:05Z) - Knowledge Graph Augmented Network Towards Multiview Representation
Learning for Aspect-based Sentiment Analysis [96.53859361560505]
本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。
KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。
3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
論文 参考訳（メタデータ） (2022-01-13T08:25:53Z) - Incorporating Linguistic Knowledge for Abstractive Multi-document
Summarization [20.572283625521784]
ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。
依存関係情報を言語誘導型注意機構に処理する。
言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
論文 参考訳（メタデータ） (2021-09-23T08:13:35Z) - Semantic Representation and Inference for NLP [2.969705152497174]
この論文は、新しい意味表現と推論のための深層学習の利用について考察する。
我々は,自動クレーム検証を目的とした,現実の事実クレームの公開データセットとして最大である。
語句表現を外部単語埋め込みと知識グラフで豊かにすることにより,句の構成性を文脈的に操作する。
論文 参考訳（メタデータ） (2021-06-15T13:22:48Z) - Fusing Context Into Knowledge Graph for Commonsense Reasoning [21.33294077354958]
外部エンティティ記述を利用して,グラフエンティティのコンテキスト情報を提供する。
CommonsenseQAタスクでは、まず質問と選択から概念を抽出し、これらの概念の間に関連するトリプルを見つけます。
CommonsenseQAデータセットでは、80.7%(シングルモデル)と83.3%(アンサンブルモデル)の精度で最新の結果を達成しています。
論文 参考訳（メタデータ） (2020-12-09T00:57:49Z) - Neuro-Symbolic Representations for Video Captioning: A Case for
Leveraging Inductive Biases for Vision and Language [148.0843278195794]
ビデオキャプションのためのマルチモーダルなニューラルシンボリック表現を学習するための新しいモデルアーキテクチャを提案する。
本手法では,ビデオ間の関係を学習する辞書学習手法と,そのペアによるテキスト記述を用いる。
論文 参考訳（メタデータ） (2020-11-18T20:21:19Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳（メタデータ） (2020-04-29T14:22:42Z) - DomBERT: Domain-oriented Language Model for Aspect-based Sentiment
Analysis [71.40586258509394]
本研究では、ドメイン内コーパスと関連するドメインコーパスの両方から学習するためのBERTの拡張であるDomBERTを提案する。
アスペクトベース感情分析における課題の整理実験を行い、有望な結果を示す。
論文 参考訳（メタデータ） (2020-04-28T21:07:32Z) - Object Relational Graph with Teacher-Recommended Learning for Video
Captioning [92.48299156867664]
本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。
具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。
一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
論文 参考訳（メタデータ） (2020-02-26T15:34:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。