論文の概要: Integrating Multi-Head Convolutional Encoders with Cross-Attention for Improved SPARQL Query Translation

• arxiv url: http://arxiv.org/abs/2408.13432v1
• Date: Sat, 24 Aug 2024 01:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 19:39:20.355340
• Title: Integrating Multi-Head Convolutional Encoders with Cross-Attention for Improved SPARQL Query Translation
• Title（参考訳）: マルチヘッド畳み込みエンコーダとクロスアテンションの統合によるSPARQLクエリ変換の改善
• Authors: Yi-Hui Chen, Eric Jui-Lin Lu, Kwan-Ho Cheng,
• Abstract要約: 本稿では,ConvS2Sエンコーダを改良し,n-gram言語モデルに基づくマルチヘッド・コンバータ(MHCエンコーダ)を提案する。 最終的に、マルチヘッドConvエンコーダに基づく翻訳モデルは、他のエンコーダよりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 0.3413711585591077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The main task of the KGQA system (Knowledge Graph Question Answering) is to convert user input questions into query syntax (such as SPARQL). With the rise of modern popular encoders and decoders like Transformer and ConvS2S, many scholars have shifted the research direction of SPARQL generation to the Neural Machine Translation (NMT) architecture or the generative AI field of Text-to-SPARQL. In NMT-based QA systems, the system treats knowledge base query syntax as a language. It uses NMT-based translation models to translate natural language questions into query syntax. Scholars use popular architectures equipped with cross-attention, such as Transformer, ConvS2S, and BiLSTM, to train translation models for query syntax. To achieve better query results, this paper improved the ConvS2S encoder and added multi-head attention from the Transformer, proposing a Multi-Head Conv encoder (MHC encoder) based on the n-gram language model. The principle is to use convolutional layers to capture local hidden features in the input sequence with different receptive fields, using multi-head attention to calculate dependencies between them. Ultimately, we found that the translation model based on the Multi-Head Conv encoder achieved better performance than other encoders, obtaining 76.52\% and 83.37\% BLEU-1 (BiLingual Evaluation Understudy) on the QALD-9 and LC-QuAD-1.0 datasets, respectively. Additionally, in the end-to-end system experiments on the QALD-9 and LC-QuAD-1.0 datasets, we achieved leading results over other KGQA systems, with Macro F1-measures reaching 52\% and 66\%, respectively. Moreover, the experimental results show that with limited computational resources, if one possesses an excellent encoder-decoder architecture and cross-attention, experts and scholars can achieve outstanding performance equivalent to large pre-trained models using only general embeddings.
• Abstract（参考訳）: KGQAシステム(Knowledge Graph Question Answering)の主なタスクは、ユーザ入力の質問をクエリ構文(SPARQLなど)に変換することである。 TransformerやConvS2Sのようなモダンなエンコーダやデコーダの台頭により、多くの学者がSPARQL世代の研究方向を、ニューラルネットワーク変換(NMT)アーキテクチャやText-to-SPARQLの生成AIフィールドに移行した。 NMTベースのQAシステムでは、知識ベースクエリ構文を言語として扱う。 NMTベースの翻訳モデルを使用して、自然言語の質問をクエリ構文に変換する。 学者は、Transformer、ConvS2S、BiLSTMといったクロスアテンションを備えた一般的なアーキテクチャを使用して、クエリ構文の翻訳モデルをトレーニングする。 そこで本研究では,n-gram 言語モデルに基づくマルチヘッド Conv エンコーダ (MHC エンコーダ) の提案により, ConvS2S エンコーダの改良とトランスフォーマからのマルチヘッドアテンションの追加を行った。 原則は、畳み込みレイヤを使用して、異なる受容フィールドを持つ入力シーケンス内のローカルな隠れた特徴をキャプチャし、複数のヘッドアテンションを使用してそれらの間の依存関係を計算することである。 その結果,QALD-9データセットとLC-QuAD-1.0データセットでそれぞれ76.52\%,83.37\%のBLEU-1(BiLingual Evaluation Understudy)を得た。 さらに,QALD-9データセットとLC-QuAD-1.0データセットのエンドツーエンドシステム実験では,他のKGQAシステムに対して,マクロF1測定値はそれぞれ52\%,66\%に達した。 さらに,実験結果から,優れたエンコーダ・デコーダアーキテクチャとクロスアテンションを持つ計算資源が限られた場合,一般埋め込みのみを用いた大規模事前学習モデルに匹敵する優れた性能を達成できることが示唆された。

関連論文リスト

• Effective Instruction Parsing Plugin for Complex Logical Query Answering on Knowledge Graphs [51.33342412699939]
  知識グラフクエリ埋め込み(KGQE)は、不完全なKGに対する複雑な推論のために、低次元KG空間に一階論理(FOL)クエリを埋め込むことを目的としている。 近年の研究では、FOLクエリの論理的セマンティクスをよりよく捉えるために、さまざまな外部情報(エンティティタイプや関係コンテキストなど)を統合している。 コードのようなクエリ命令から遅延クエリパターンをキャプチャする効果的なクエリ命令解析(QIPP)を提案する。
  論文  参考訳（メタデータ） (2024-10-27T03:18:52Z)
• MST5 -- Multilingual Question Answering over Knowledge Graphs [1.6470999044938401]
  知識グラフ質問回答(KGQA)は、自然言語を用いたグラフベースモデルに格納された膨大な知識のクエリを単純化する。 既存の多言語KGQAシステムは、英語システムに匹敵する性能を達成するための課題に直面している。 本稿では,言語コンテキストとエンティティ情報を言語モデルの処理パイプラインに直接組み込むことで,多言語KGQAシステムを強化するための簡易なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-07-08T15:37:51Z)
• Sequential Query Encoding For Complex Query Answering on Knowledge Graphs [31.40820604209387]
  本稿では,知識グラフ(KG)推論のためのクエリを符号化する代替手段として,シーケンシャルクエリ符号化(SQE)を提案する。 SQEはまず、探索ベースのアルゴリズムを使用して、計算グラフを一連のトークンに線形化し、次にシーケンスエンコーダを使用してベクトル表現を計算する。 その単純さにもかかわらず、SQEはFB15k、FB15k-237、NELLで最先端のニューラルネットワーク符号化性能を示す。
  論文  参考訳（メタデータ） (2023-02-25T16:33:53Z)
• GTrans: Grouping and Fusing Transformer Layers for Neural Machine Translation [107.2752114891855]
  トランスフォーマー構造は、エンコーダとデコーダのネットワーク層によって積み重ねられ、ニューラルマシン翻訳において大きな発展を遂げる。 本稿では,エンコーダとデコーダの多層表現を異なるグループに柔軟に分割し,これらの特徴を融合して目的語を生成するグループトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:36Z)
• Parameter-Efficient Abstractive Question Answering over Tables or Text [60.86457030988444]
  QAシステムを求める情報の長期的な野望は、マルチモーダルなコンテキストを推論し、ユーザクエリに対する自然な回答を生成することである。 メモリ集約型事前学習言語モデルは、構造化されていないテキストや構造化テーブルのような特定のモードでQAデータ上のモデルを微調整することで、QAのような下流タスクに適応する。 パラメータ効率の良いアダプタは、トランス層間の小さなタスク固有のボトルネック層を加算し、訓練する。
  論文  参考訳（メタデータ） (2022-04-07T10:56:29Z)
• Hierarchical Neural Network Approaches for Long Document Classification [3.6700088931938835]
  我々は、より効率的な表現を効率よく捉えるために、事前訓練された普遍文(USE)と変換器からの双方向表現(BERT)を階層的に採用する。 提案するモデルは概念的に単純であり,入力データをチャンクに分割し,BERTとUSEのベースモデルに渡す。 USE + CNN/LSTM はスタンドアローンのベースラインよりも優れており、BERT + CNN/LSTM はスタンドアローンのベースラインと同等である。
  論文  参考訳（メタデータ） (2022-01-18T07:17:40Z)
• Question Answering Infused Pre-training of General-Purpose Contextualized Representations [70.62967781515127]
  汎用的文脈表現学習のための質問応答(QA)に基づく事前学習目的を提案する。 我々は、より正確なクロスエンコーダモデルの予測と一致するように、個別にパスと質問をエンコードするバイエンコーダQAモデルをトレーニングすることで、この目標を達成する。 ゼロショット, 少数ショットのパラフレーズ検出において, RoBERTa-large と過去の最先端のどちらよりも大幅に改善した。
  論文  参考訳（メタデータ） (2021-06-15T14:45:15Z)
• Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation [71.54816893482457]
  自動音声認識(ASR)と多言語音声翻訳(ST)を共同で行う新しいモデルアーキテクチャであるデュアルデコーダトランスフォーマを導入する。 我々のモデルはオリジナルのTransformerアーキテクチャに基づいているが、2つのデコーダで構成されており、それぞれが1つのタスク(ASRまたはST)を担っている。
  論文  参考訳（メタデータ） (2020-11-02T04:59:50Z)
• Efficient Wait-k Models for Simultaneous Machine Translation [46.01342928010307]
  同時機械翻訳は、入力シーケンス全体が利用可能になる前に出力生成を開始することで構成される。 Wait-kデコーダは、この問題に対してシンプルだが効率的なアプローチを提供する。 IWSLTデータセットを用いた音声コーパスの低リソース設定におけるwait-k復号の動作について検討する。
  論文  参考訳（メタデータ） (2020-05-18T11:14:23Z)
• Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models [56.268862325167575]
  本稿では、列列列構造と事前学習言語モデル(PLM)を用いた会話型質問修正(CQR)の実証的研究について述べる。 我々はPLMを利用して、CQRタスクの目的である最大推定におけるトークン・トークン・トークン・トークンの独立性の強い仮定に対処する。 我々は、最近導入されたCANARDデータセットの微調整PLMをドメイン内タスクとして評価し、TREC 2019 CAsT Trackのデータからドメイン外タスクとしてモデルを検証する。
  論文  参考訳（メタデータ） (2020-04-04T11:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。