論文の概要: Parameter-Efficient Neural Question Answering Models via Graph-Enriched
Document Representations
- arxiv url: http://arxiv.org/abs/2106.00851v1
- Date: Tue, 1 Jun 2021 23:24:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-04 09:18:43.443379
- Title: Parameter-Efficient Neural Question Answering Models via Graph-Enriched
Document Representations
- Title(参考訳): グラフリッチドキュメンテーション表現を用いたパラメータ効率の良いニューラル質問応答モデル
- Authors: Louis Castricato, Stephen Fitz, Won Young Shin
- Abstract要約: グラフ畳み込み文書表現を用いることで,相互に対応可能な質問応答システムにたどり着くことができ,場合によってはSOTAソリューションを超えていることを示す。
GCNをNLPに適用する際の大きな問題は文書表現である。
- 参考スコア(独自算出の注目度): 0.7734726150561088
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the computational footprint of modern NLP systems grows, it becomes
increasingly important to arrive at more efficient models. We show that by
employing graph convolutional document representation, we can arrive at a
question answering system that performs comparably to, and in some cases
exceeds the SOTA solutions, while using less than 5\% of their resources in
terms of trainable parameters. As it currently stands, a major issue in
applying GCNs to NLP is document representation. In this paper, we show that a
GCN enriched document representation greatly improves the results seen in
HotPotQA, even when using a trivial topology. Our model (gQA), performs
admirably when compared to the current SOTA, and requires little to no
preprocessing. In Shao et al. 2020, the authors suggest that graph networks are
not necessary for good performance in multi-hop QA. In this paper, we suggest
that large language models are not necessary for good performance by showing a
na\"{i}ve implementation of a GCN performs comparably to SoTA models based on
pretrained language models.
- Abstract(参考訳): 現代のNLPシステムの計算フットプリントが増加するにつれて、より効率的なモデルに到達することがますます重要になる。
グラフ畳み込み文書表現を用いることで、学習可能なパラメータの観点でリソースの5\%未満を消費しながら、somaソリューションを両立し、場合によっては超越する質問応答システムが得られることを示す。
現在、GCNをNLPに適用する際の大きな問題は文書表現である。
本稿では,GCNに富んだ文書表現が,自明なトポロジを用いてもHotPotQAで見られる結果を大幅に改善することを示す。
我々のモデル(gQA)は、現在のSOTAと比較するとすばらしい性能を示し、前処理はほとんど必要としない。
シャオとアルで
2020年、著者らはマルチホップQAの性能向上のためにグラフネットワークは必要ないことを示唆した。
本稿では,GCNのna\{i}ve実装が事前訓練された言語モデルに基づくSoTAモデルと相容れない性能を示すことによって,大規模言語モデルは性能向上に必要ではないことを示唆する。
関連論文リスト
- Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained
Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。
また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。
実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文 参考訳(メタデータ) (2023-12-30T07:18:54Z) - SLCNN: Sentence-Level Convolutional Neural Network for Text
Classification [0.0]
畳み込みニューラルネットワーク(CNN)は,テキスト分類のタスクにおいて顕著な成功を収めている。
CNNを用いたテキスト分類のための新しいベースラインモデルが研究されている。
結果から,提案したモデルの性能は,特に長いドキュメントにおいて向上していることがわかった。
論文 参考訳(メタデータ) (2023-01-27T13:16:02Z) - Text Representation Enrichment Utilizing Graph based Approaches: Stock
Market Technical Analysis Case Study [0.0]
本稿では,教師なしノード表現学習モデルとノード分類/エッジ予測モデルを組み合わせたトランスダクティブハイブリッド手法を提案する。
提案手法は,この分野における最初の研究である株式市場の技術分析報告を分類するために開発された。
論文 参考訳(メタデータ) (2022-11-29T11:26:08Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳(メタデータ) (2022-10-14T03:43:05Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - Neural Language Modeling for Contextualized Temporal Graph Generation [49.21890450444187]
本稿では,大規模事前学習言語モデルを用いた文書のイベントレベル時間グラフの自動生成に関する最初の研究について述べる。
論文 参考訳(メタデータ) (2020-10-20T07:08:00Z) - Graph Convolutional Networks for Graphs Containing Missing Features [5.426650977249329]
グラフ畳み込みネットワーク(GCN)を欠落した特徴を含むグラフに適応させる手法を提案する。
従来の戦略とは対照的に、我々のアプローチは、欠落した特徴の処理とグラフ学習を、同じニューラルネットワークアーキテクチャ内で統合する。
本研究では,提案手法がノード分類やリンク予測タスクにおいて,命令に基づく手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-07-09T06:47:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。