論文の概要: Is Complex Query Answering Really Complex?

• arxiv url: http://arxiv.org/abs/2410.12537v1
• Date: Wed, 16 Oct 2024 13:19:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:43:41.226664
• Title: Is Complex Query Answering Really Complex?
• Title（参考訳）: Complex Query Answeringは本当に複雑か?
• Authors: Cosimo Gregucci, Bo Xiong, Daniel Hernandez, Lorenzo Loconte, Pasquale Minervini, Steffen Staab, Antonio Vergari,
• Abstract要約: CQAの現在のベンチマークはそれほど複雑ではなく、それらの構築方法がこの分野の進歩に対する認識を歪めていることを示している。 我々は、複数のホップを推論し、現実世界のKGの構築をより良く反映するモデルを必要とするクエリで構成された、より困難なベンチマークセットを提案する。
• 参考スコア（独自算出の注目度）: 28.8459899849641
• License:
• Abstract: Complex query answering (CQA) on knowledge graphs (KGs) is gaining momentum as a challenging reasoning task. In this paper, we show that the current benchmarks for CQA are not really complex, and the way they are built distorts our perception of progress in this field. For example, we find that in these benchmarks, most queries (up to 98% for some query types) can be reduced to simpler problems, e.g., link prediction, where only one link needs to be predicted. The performance of state-of-the-art CQA models drops significantly when such models are evaluated on queries that cannot be reduced to easier types. Thus, we propose a set of more challenging benchmarks, composed of queries that require models to reason over multiple hops and better reflect the construction of real-world KGs. In a systematic empirical investigation, the new benchmarks show that current methods leave much to be desired from current CQA methods.
• Abstract（参考訳）: 知識グラフ(KG)上の複雑なクエリ応答(CQA)は、困難な推論タスクとして勢いを増している。 本稿では,現在のCQAのベンチマークはそれほど複雑ではなく,その構築方法がこの分野の進歩に対する認識を歪めていることを示す。 例えば、これらのベンチマークでは、ほとんどのクエリ(クエリタイプによっては最大98%)は、単純な問題(リンク予測など)に還元できる。 最新のCQAモデルの性能は、そのようなモデルがより簡単な型に還元できないクエリで評価されると大幅に低下する。 そこで本研究では,複数のホップを推論し,実世界のKGの構築をより良く反映するモデルを必要とするクエリからなる,より困難なベンチマークのセットを提案する。 体系的な実証調査において、新しいベンチマークでは、現在のメソッドが現在のCQAメソッドから多くを望んでいないことが示されている。

関連論文リスト

• Measuring short-form factuality in large language models [50.15055025275888]
  本稿では,言語モデルが短い事実探索質問に答える能力を評価するベンチマークであるSimpleQAを提案する。 SimpleQAはGPT-4応答に対して逆向きに収集される。 SimpleQAの各回答は、正しいか、間違っているか、試みられていないかのどちらかとしてランク付けされる。
  論文  参考訳（メタデータ） (2024-11-07T01:58:42Z)
• Effective Instruction Parsing Plugin for Complex Logical Query Answering on Knowledge Graphs [51.33342412699939]
  知識グラフクエリ埋め込み(KGQE)は、不完全なKGに対する複雑な推論のために、低次元KG空間に一階論理(FOL)クエリを埋め込むことを目的としている。 近年の研究では、FOLクエリの論理的セマンティクスをよりよく捉えるために、さまざまな外部情報(エンティティタイプや関係コンテキストなど)を統合している。 コードのようなクエリ命令から遅延クエリパターンをキャプチャする効果的なクエリ命令解析(QIPP)を提案する。
  論文  参考訳（メタデータ） (2024-10-27T03:18:52Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• Meta Operator for Complex Query Answering on Knowledge Graphs [58.340159346749964]
  我々は、異なる複雑なクエリタイプではなく、異なる論理演算子型が一般化性を向上させる鍵であると主張する。 本稿では,メタ演算子を限られたデータで学習し,様々な複雑なクエリの演算子のインスタンスに適応するメタ学習アルゴリズムを提案する。 実験結果から,メタオペレータの学習は,従来のCQAモデルやメタCQAモデルよりも効果的であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T08:54:25Z)
• It's All Relative! -- A Synthetic Query Generation Approach for Improving Zero-Shot Relevance Prediction [19.881193965130173]
  大規模言語モデル(LLM)は、最大8つのデモをプロンプトすることで、合成クエリ-ドキュメントペアを生成する能力を示す。 異なるラベルに対するクエリを同時に生成することで,この負担を軽減することを提案する。
  論文  参考訳（メタデータ） (2023-11-14T06:16:49Z)
• Adapting Neural Link Predictors for Data-Efficient Complex Query Answering [45.961111441411084]
  本稿では,複雑な問合せタスクに対して,ニューラルネットワーク予測スコアを再校正するために最適化されたパラメータ効率のスコア強調モデルを提案する。 CQD$mathcalA$は現在の最先端手法よりもはるかに正確な結果が得られる。
  論文  参考訳（メタデータ） (2023-01-29T00:17:16Z)
• NQE: N-ary Query Embedding for Complex Query Answering over Hyper-Relational Knowledge Graphs [1.415350927301928]
  複雑なクエリ応答は知識グラフの論理的推論に不可欠なタスクである。 ハイパーリレーショナル知識グラフ(HKG)上のCQAのための新しいN-ary Query Embedding (NQE)モデルを提案する。 NQEは二元変換器エンコーダとファジィ論理理論を用いて全てのn-ary FOLクエリを満たす。 我々は、WD50K上の多様なn-ary FOLクエリを含む、新しいCQAデータセットWD50K-NFOLを生成する。
  論文  参考訳（メタデータ） (2022-11-24T08:26:18Z)
• RoMQA: A Benchmark for Robust, Multi-evidence, Multi-answer Question Answering [87.18962441714976]
  堅牢でマルチエビデンスな質問応答(QA)のための最初のベンチマークであるRoMQAを紹介します。 我々は、最先端の大規模言語モデルをゼロショット、少数ショット、微調整設定で評価し、RoMQAが難しいことを発見した。 以上の結果から,RoMQAは大規模言語モデルにとって難しいベンチマークであり,より堅牢なQA手法を構築するための定量的なテストを提供する。
  論文  参考訳（メタデータ） (2022-10-25T21:39:36Z)
• Knowledge Base Question Answering by Case-based Reasoning over Subgraphs [81.22050011503933]
  本モデルでは,既存のKG補完アルゴリズムよりも複雑な推論パターンを必要とする問合せに対して,より効果的に答えることを示す。 提案モデルは、KBQAベンチマークの最先端モデルよりも優れているか、競合的に動作する。
  論文  参考訳（メタデータ） (2022-02-22T01:34:35Z)
• Query Embedding on Hyper-relational Knowledge Graphs [0.4779196219827507]
  マルチホップ論理推論は知識グラフ上の表現学習の分野で確立された問題である。 我々はマルチホップ推論問題をハイパーリレーショナルなKGに拡張し、この新しいタイプの複雑なクエリに対処する。
  論文  参考訳（メタデータ） (2021-06-15T14:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。