論文の概要: Lexicalization Is All You Need: Examining the Impact of Lexical Knowledge in a Compositional QALD System

• arxiv url: http://arxiv.org/abs/2411.03906v1
• Date: Wed, 06 Nov 2024 13:37:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:21.536653
• Title: Lexicalization Is All You Need: Examining the Impact of Lexical Knowledge in a Compositional QALD System
• Title（参考訳）: 語彙化は必要なもの - 合成QALDシステムにおける語彙的知識の影響の検討-
• Authors: David Maria Schmidt, Mohammad Fazleh Elahi, Philipp Cimiano,
• Abstract要約: 単語の潜在的な解釈に関する明示的な知識である語彙化は、タスクを著しく緩和し、QAシステムの性能を高めます。 このようなシステムは、語彙的知識を前提として、現在のQAシステムよりはるかにパフォーマンスが高いことを示す。 対照的に、LLMは語彙知識を活用できる能力が限られており、語彙知識のないバージョンに比べて限界的な改善しかできないことを示す。
• 参考スコア（独自算出の注目度）: 2.635385344076311
• License:
• Abstract: In this paper, we examine the impact of lexicalization on Question Answering over Linked Data (QALD). It is well known that one of the key challenges in interpreting natural language questions with respect to SPARQL lies in bridging the lexical gap, that is mapping the words in the query to the correct vocabulary elements. We argue in this paper that lexicalization, that is explicit knowledge about the potential interpretations of a word with respect to the given vocabulary, significantly eases the task and increases the performance of QA systems. Towards this goal, we present a compositional QA system that can leverage explicit lexical knowledge in a compositional manner to infer the meaning of a question in terms of a SPARQL query. We show that such a system, given lexical knowledge, has a performance well beyond current QA systems, achieving up to a $35.8\%$ increase in the micro $F_1$ score compared to the best QA system on QALD-9. This shows the importance and potential of including explicit lexical knowledge. In contrast, we show that LLMs have limited abilities to exploit lexical knowledge, with only marginal improvements compared to a version without lexical knowledge. This shows that LLMs have no ability to compositionally interpret a question on the basis of the meaning of its parts, a key feature of compositional approaches. Taken together, our work shows new avenues for QALD research, emphasizing the importance of lexicalization and compositionality.
• Abstract（参考訳）: 本稿では,リンクデータ(QALD)に対する語彙化が質問応答に与える影響について検討する。 SPARQLに関して自然言語の問題を解釈する上で重要な課題の1つは、クエリ内の単語を正しい語彙要素にマッピングする語彙的ギャップを埋めることである。 本稿では,与えられた語彙に対する単語の潜在的な解釈に関する明示的な知識である語彙化が,タスクを著しく緩和し,QAシステムの性能を向上させることを論じる。 この目的に向けて,SPARQLクエリの観点から質問の意味を推測するために,明示的な語彙知識を構成的に活用できる構成的QAシステムを提案する。 このようなシステムは、語彙的知識が与えられた場合、現在のQAシステムよりも優れた性能を示し、QALD-9の最高のQAシステムと比較して、micro $F_1$スコアが最大35.8\%上昇することを示す。 これは、明示的な語彙知識を含めることの重要性と可能性を示している。 対照的に、LLMは語彙知識を活用できる能力が限られており、語彙知識のないバージョンに比べて限界的な改善しかできないことを示す。 このことは、LLMには、構成的アプローチの重要な特徴である部分の意味に基づいて、質問を合成的に解釈する能力がないことを示している。 本研究は, 語彙化と構成性の重要性を強調し, 新たなQALD研究の道筋を示すものである。

関連論文リスト

• QirK: Question Answering via Intermediate Representation on Knowledge Graphs [6.527176546718545]
  我々は、知識グラフ(KG)上の自然言語質問に答えるシステムQirKを実演する。 QirKは、新興のLarge Language Models(LLMs)の範囲を超えて、構造的に複雑な質問に答えることができます。 QirKのデモビデオはhttps://youtu.be/6c81BLmOZ0Uで公開されている。
  論文  参考訳（メタデータ） (2024-08-14T12:19:25Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
  大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。 質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。 我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
  論文  参考訳（メタデータ） (2024-05-26T22:30:29Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• BIDER: Bridging Knowledge Inconsistency for Efficient Retrieval-Augmented LLMs via Key Supporting Evidence [23.55601157586831]
  本稿では,検索文書をキー・サポート・エビデンス(Key Supporting Evidence)に洗練する手法であるBIDERを紹介する。 我々は,KSEの製作から学習してBIDERを訓練し,その出力をLLMの情報取得の好みに合わせて最大化する。 BIDER は LLM の回答品質を7% 向上させ,検索文書の入力内容長を80% 削減し,既存手法より優れていた。
  論文  参考訳（メタデータ） (2024-02-19T14:28:31Z)
• Towards ASR Robust Spoken Language Understanding Through In-Context Learning With Word Confusion Networks [68.79880423713597]
  本稿では,トップ仮説のみに頼るのではなく,ASRシステムの格子出力を利用する手法を提案する。 音声質問応答と意図分類を網羅した文脈内学習実験により,LLMの音声書き起こしに対する弾力性について明らかにした。
  論文  参考訳（メタデータ） (2024-01-05T17:58:10Z)
• How Well Do Large Language Models Understand Syntax? An Evaluation by Asking Natural Language Questions [25.39259677000101]
  本研究は,構文のレンズを通して問題を探究する。 文理解に最も近い9つの構文的知識ポイントを対象とする質問を作成する。 24大言語モデル(LLM)で実施された実験は、ほとんどの場合、構文的知識が限られていることを示唆している。
  論文  参考訳（メタデータ） (2023-11-14T16:30:36Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Shifting Attention to Relevance: Towards the Predictive Uncertainty Quantification of Free-Form Large Language Models [27.491408293411734]
  大規模言語モデル(LLM)は、言語生成と命令の後に有望な結果を示すが、しばしば「ハロシン化」を示す。 我々の研究は単純な冗長性を導入している: 自動回帰テキストのすべてのトークンが、基礎となる意味を等しく表しているわけではない。
  論文  参考訳（メタデータ） (2023-07-03T22:17:16Z)
• Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensive Tasks [121.74957524305283]
  本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。 実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-28T10:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。