論文の概要: Parameter-Efficient Neural Question Answering Models via Graph-Enriched Document Representations

• arxiv url: http://arxiv.org/abs/2106.00851v1
• Date: Tue, 1 Jun 2021 23:24:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 09:18:43.443379
• Title: Parameter-Efficient Neural Question Answering Models via Graph-Enriched Document Representations
• Title（参考訳）: グラフリッチドキュメンテーション表現を用いたパラメータ効率の良いニューラル質問応答モデル
• Authors: Louis Castricato, Stephen Fitz, Won Young Shin
• Abstract要約: グラフ畳み込み文書表現を用いることで,相互に対応可能な質問応答システムにたどり着くことができ,場合によってはSOTAソリューションを超えていることを示す。 GCNをNLPに適用する際の大きな問題は文書表現である。
• 参考スコア（独自算出の注目度）: 0.7734726150561088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the computational footprint of modern NLP systems grows, it becomes increasingly important to arrive at more efficient models. We show that by employing graph convolutional document representation, we can arrive at a question answering system that performs comparably to, and in some cases exceeds the SOTA solutions, while using less than 5\% of their resources in terms of trainable parameters. As it currently stands, a major issue in applying GCNs to NLP is document representation. In this paper, we show that a GCN enriched document representation greatly improves the results seen in HotPotQA, even when using a trivial topology. Our model (gQA), performs admirably when compared to the current SOTA, and requires little to no preprocessing. In Shao et al. 2020, the authors suggest that graph networks are not necessary for good performance in multi-hop QA. In this paper, we suggest that large language models are not necessary for good performance by showing a na\"{i}ve implementation of a GCN performs comparably to SoTA models based on pretrained language models.
• Abstract（参考訳）: 現代のNLPシステムの計算フットプリントが増加するにつれて、より効率的なモデルに到達することがますます重要になる。 グラフ畳み込み文書表現を用いることで、学習可能なパラメータの観点でリソースの5\%未満を消費しながら、somaソリューションを両立し、場合によっては超越する質問応答システムが得られることを示す。 現在、GCNをNLPに適用する際の大きな問題は文書表現である。 本稿では,GCNに富んだ文書表現が,自明なトポロジを用いてもHotPotQAで見られる結果を大幅に改善することを示す。 我々のモデル(gQA)は、現在のSOTAと比較するとすばらしい性能を示し、前処理はほとんど必要としない。 シャオとアルで 2020年、著者らはマルチホップQAの性能向上のためにグラフネットワークは必要ないことを示唆した。 本稿では,GCNのna\{i}ve実装が事前訓練された言語モデルに基づくSoTAモデルと相容れない性能を示すことによって,大規模言語モデルは性能向上に必要ではないことを示唆する。

関連論文リスト

• Scalable Weibull Graph Attention Autoencoder for Modeling Document Networks [50.42343781348247]
  解析条件後部を解析し,推論精度を向上させるグラフポアソン因子分析法(GPFA)を開発した。 また,GPFAを多層構造に拡張したグラフPoisson gamma belief Network (GPGBN) を用いて,階層的な文書関係を複数の意味レベルで捉える。 本モデルでは,高品質な階層型文書表現を抽出し,様々なグラフ解析タスクにおいて有望な性能を実現する。
  論文  参考訳（メタデータ） (2024-10-13T02:22:14Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• GOFA: A Generative One-For-All Model for Joint Graph Language Modeling [38.267339613261996]
  この問題を解決するために,新たに生成グラフ言語モデルGOFAを提案する。 GOFAは、新たに提案されたグラフレベルの次単語予測、質問応答、構造的タスクに基づいて事前訓練されている。 モデルは様々な下流タスクに基づいて評価され、ゼロショットシナリオにおける構造的および文脈的問題を解く強力な能力を示す。
  論文  参考訳（メタデータ） (2024-07-12T22:23:51Z)
• Revisiting N-Gram Models: Their Impact in Modern Neural Networks for Handwritten Text Recognition [4.059708117119894]
  本研究は,言語モデル,特にn-gramモデルが,手書き認識の分野における最先端のディープラーニングアーキテクチャの性能に引き続き寄与するかどうかを論じる。 我々は、明示的なn-gram言語モデルを統合することなく、2つの著名なニューラルネットワークアーキテクチャ、PyLaiaとDANを評価した。 その結果,文字やサブワードの n-gram モデルの導入は,すべてのデータセット上での ATR モデルの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-04-30T07:37:48Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• SLCNN: Sentence-Level Convolutional Neural Network for Text Classification [0.0]
  畳み込みニューラルネットワーク(CNN)は,テキスト分類のタスクにおいて顕著な成功を収めている。 CNNを用いたテキスト分類のための新しいベースラインモデルが研究されている。 結果から,提案したモデルの性能は,特に長いドキュメントにおいて向上していることがわかった。
  論文  参考訳（メタデータ） (2023-01-27T13:16:02Z)
• Text Representation Enrichment Utilizing Graph based Approaches: Stock Market Technical Analysis Case Study [0.0]
  本稿では,教師なしノード表現学習モデルとノード分類/エッジ予測モデルを組み合わせたトランスダクティブハイブリッド手法を提案する。 提案手法は,この分野における最初の研究である株式市場の技術分析報告を分類するために開発された。
  論文  参考訳（メタデータ） (2022-11-29T11:26:08Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Neural Language Modeling for Contextualized Temporal Graph Generation [49.21890450444187]
  本稿では,大規模事前学習言語モデルを用いた文書のイベントレベル時間グラフの自動生成に関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2020-10-20T07:08:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。