Fugu-MT 論文翻訳(概要): ALBERT with Knowledge Graph Encoder Utilizing Semantic Similarity for Commonsense Question Answering

論文の概要: ALBERT with Knowledge Graph Encoder Utilizing Semantic Similarity for Commonsense Question Answering

arxiv url: http://arxiv.org/abs/2211.07065v1
Date: Mon, 14 Nov 2022 01:39:26 GMT
ステータス: 処理完了
システム内更新日: 2022-11-15 16:02:08.430945
Title: ALBERT with Knowledge Graph Encoder Utilizing Semantic Similarity for Commonsense Question Answering
Title（参考訳）: 意味的類似性を利用した知識グラフエンコーダを用いた質問応答用ALBERT
Authors: Byeongmin Choi, YongHyun Lee, Yeunwoong Kyung and Eunchan Kim
Abstract要約: 本稿では,知識グラフ情報抽出技術を用いたトランスフォーマー(ALBERT)の双方向エンコーダ表現として,最新の事前学習言語モデルを提案する。提案モデルでは,CommonsenseQAデータセットの既存のKagNetおよびMHGRNモデルよりも優れた性能が得られることを示す。
参考スコア（独自算出の注目度）: 1.7205106391379026
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Recently, pre-trained language representation models such as bidirectional encoder representations from transformers (BERT) have been performing well in commonsense question answering (CSQA). However, there is a problem that the models do not directly use explicit information of knowledge sources existing outside. To augment this, additional methods such as knowledge-aware graph network (KagNet) and multi-hop graph relation network (MHGRN) have been proposed. In this study, we propose to use the latest pre-trained language model a lite bidirectional encoder representations from transformers (ALBERT) with knowledge graph information extraction technique. We also propose to applying the novel method, schema graph expansion to recent language models. Then, we analyze the effect of applying knowledge graph-based knowledge extraction techniques to recent pre-trained language models and confirm that schema graph expansion is effective in some extent. Furthermore, we show that our proposed model can achieve better performance than existing KagNet and MHGRN models in CommonsenseQA dataset.
Abstract（参考訳）: 近年,変換器(BERT)からの双方向エンコーダ表現などの事前学習された言語表現モデルは,CSQA(Commonsense Question answering)においてよく機能している。しかし、モデルが外部に存在する知識ソースの明示的な情報を直接使用しないという問題がある。これを強化するために、知識対応グラフネットワーク(KagNet)やマルチホップグラフ関係ネットワーク(MHGRN)などの追加手法が提案されている。本研究では,知識グラフ情報抽出技術を用いたトランスフォーマー(ALBERT)の双方向エンコーダ表現として,最新の事前学習言語モデルを提案する。また,新しい手法であるスキーマグラフ拡張を最近の言語モデルに適用することを提案する。そして,知識グラフに基づく知識抽出手法を最近の事前学習言語モデルに適用し,スキーマグラフの拡張がある程度有効であることを確認する。さらに,提案モデルにより,CommonsenseQAデータセットにおける既存のKagNetおよびMHGRNモデルよりも優れた性能が得られることを示す。

関連論文リスト

ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文参考訳（メタデータ） (2023-12-30T07:18:54Z)
Hi-ArG: Exploring the Integration of Hierarchical Argumentation Graphs in Language Pretraining [62.069374456021016]
議論を整理する新しい構造である階層的議論グラフ(Hi-ArG)を提案する。また,テキストグラフマルチモーダルモデルであるGreaseArGや,グラフ情報を付加した新たな事前学習フレームワークなど,Hi-ArGを活用するための2つのアプローチを導入する。
論文参考訳（メタデータ） (2023-12-01T19:03:38Z)
LUKE-Graph: A Transformer-based Approach with Gated Relational Graph Attention for Cloze-style Reading Comprehension [13.173307471333619]
本稿では,文書内のエンティティ間の直感的な関係に基づく異種グラフ構築モデルLUKE-Graphを提案する。次に、アテンション読み込み(RGAT)を用いて、事前学習したLUKEモデルによって符号化されたグラフの推論情報と文脈表現を融合する。実験結果から,LUKE-Graphはコモンセンス推論による最先端性能を実現することが示された。
論文参考訳（メタデータ） (2023-03-12T14:31:44Z)
Text Representation Enrichment Utilizing Graph based Approaches: Stock Market Technical Analysis Case Study [0.0]
本稿では,教師なしノード表現学習モデルとノード分類/エッジ予測モデルを組み合わせたトランスダクティブハイブリッド手法を提案する。提案手法は,この分野における最初の研究である株式市場の技術分析報告を分類するために開発された。
論文参考訳（メタデータ） (2022-11-29T11:26:08Z)
KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction [0.0]
我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
論文参考訳（メタデータ） (2022-11-04T20:38:12Z)
An Empirical Study of Retrieval-enhanced Graph Neural Networks [48.99347386689936]
グラフニューラルネットワーク(GNN)は、グラフ表現学習に有効なツールである。本稿では,グラフニューラルネットワークモデルの選択に非依存な GraphRETRIEVAL という検索強化方式を提案する。我々は13のデータセットに対して包括的な実験を行い、GRAPHRETRIEVALが既存のGNNよりも大幅に改善されていることを観察した。
論文参考訳（メタデータ） (2022-06-01T09:59:09Z)
GAP: A Graph-aware Language Model Framework for Knowledge Graph-to-Text Generation [3.593955557310285]
KG-to-text生成の最近の改善は、微調整タスクの性能を高めるために設計された補助的な事前訓練タスクによるものである。ここでは、既存の事前学習言語モデルにグラフ認識要素を融合させることで、最先端のモデルより優れ、追加の事前学習タスクによって課されるギャップを埋めることができることを示す。
論文参考訳（メタデータ） (2022-04-13T23:53:37Z)
KGRefiner: Knowledge Graph Refinement for Improving Accuracy of Translational Link Prediction Methods [4.726777092009553]
本稿では,知識グラフの精細化手法を提案する。これにより知識グラフがより情報的になり、リンク予測操作をより正確に行うことができる。提案手法は,翻訳リンク予測手法の性能を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2021-06-27T13:32:39Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)
Learning Intents behind Interactions with Knowledge Graph for Recommendation [93.08709357435991]
知識グラフ(KG)は、推薦システムにおいてますます重要な役割を果たす。既存のGNNベースのモデルは、きめ細かいインテントレベルでのユーザ項目関係の特定に失敗します。本稿では,新しいモデルである知識グラフベースインテントネットワーク(kgin)を提案する。
論文参考訳（メタデータ） (2021-02-14T03:21:36Z)
Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
論文参考訳（メタデータ） (2020-03-23T18:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。