論文の概要: AtomR: Atomic Operator-Empowered Large Language Models for Heterogeneous Knowledge Reasoning

• arxiv url: http://arxiv.org/abs/2411.16495v3
• Date: Thu, 13 Feb 2025 11:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:45:49.213265
• Title: AtomR: Atomic Operator-Empowered Large Language Models for Heterogeneous Knowledge Reasoning
• Title（参考訳）: AtomR: 異種知識推論のためのアトミック演算子を利用した大規模言語モデル
• Authors: Amy Xin, Jinxin Liu, Zijun Yao, Zhicheng Lee, Shulin Cao, Lei Hou, Juanzi Li,
• Abstract要約: 我々は、原子レベルで正確な異種知識推論を行うための大規模な言語モデルのためのフレームワークAtomRを紹介する。 AtomRは複雑な質問を、各葉ノードが原子知識演算子に対応する推論木に分解する。 推論実行段階では、AtomRは各原子知識演算子を実行し、弾力的に異種源から原子レベルの知識を選択し、取得し、操作する。
• 参考スコア（独自算出の注目度）: 38.736190591684
• License:
• Abstract: Despite the outstanding capabilities of large language models (LLMs), knowledge-intensive reasoning still remains a challenging task due to LLMs' limitations in compositional reasoning and the hallucination problem. A prevalent solution is to employ chain-of-thought (CoT) with retrieval-augmented generation (RAG), which first formulates a reasoning plan by decomposing complex questions into simpler sub-questions, and then applies iterative RAG at each sub-question. However, prior works exhibit two crucial problems: inadequate reasoning planning and poor incorporation of heterogeneous knowledge. In this paper, we introduce AtomR, a framework for LLMs to conduct accurate heterogeneous knowledge reasoning at the atomic level. Inspired by how knowledge graph query languages model compositional reasoning through combining predefined operations, we propose three atomic knowledge operators, a unified set of operators for LLMs to retrieve and manipulate knowledge from heterogeneous sources. First, in the reasoning planning stage, AtomR decomposes a complex question into a reasoning tree where each leaf node corresponds to an atomic knowledge operator, achieving question decomposition that is highly fine-grained and orthogonal. Subsequently, in the reasoning execution stage, AtomR executes each atomic knowledge operator, which flexibly selects, retrieves, and operates atomic level knowledge from heterogeneous sources. We also introduce BlendQA, a challenging benchmark specially tailored for heterogeneous knowledge reasoning. Experiments on three single-source and two multi-source datasets show that AtomR outperforms state-of-the-art baselines by a large margin, with F1 score improvements of 9.4% on 2WikiMultihop and 9.5% on BlendQA. We release our code and datasets.
• Abstract（参考訳）: 大規模言語モデル(LLM)の卓越した能力にもかかわらず、LLMが構成的推論と幻覚の問題に制限されているため、知識集約推論は依然として難しい課題である。 一般的な解決策は、検索拡張生成(RAG)を備えたチェーン・オブ・思想(CoT)を採用し、まず複雑な質問を単純なサブクエストに分解して推論計画を定式化し、各サブクエストに反復RAGを適用することである。 しかし、先行研究は、不適切な推論計画と不均一な知識の組み入れの2つの重大な問題を示す。 本稿では,LLMが原子レベルで正確なヘテロジニアス知識推論を行うためのフレームワークであるAtomRを紹介する。 知識グラフクエリ言語は、あらかじめ定義された操作を組み合わせて構成推論をモデル化する方法に着想を得て、3つの原子知識演算子、LLMのための統一演算子セットを提案し、異種情報源からの知識の検索と操作を行う。 第一に、推論計画段階では、AtomRは複雑な質問を、各葉ノードが原子知識演算子に対応する推論木に分解し、非常に微細で直交的な質問分解を達成する。 その後、推論実行段階では、AtomRは各原子知識演算子を実行し、異種源からの原子レベルの知識を柔軟に選択し、取得し、操作する。 また、異種知識推論用に特別に調整された、挑戦的なベンチマークであるBlendQAを紹介する。 3つの単一ソースと2つのマルチソースデータセットの実験によると、AtomRは最先端のベースラインを大きなマージンで上回り、F1は2WikiMultihopで9.4%、BlendQAで9.5%向上している。 コードとデータセットをリリースします。

関連論文リスト

• Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [102.31558123570437]
  マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。 マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
  論文  参考訳（メタデータ） (2024-11-05T09:27:21Z)
• Atomic Fact Decomposition Helps Attributed Question Answering [30.75332718824254]
  Attributed Question Answering (AQA)は、質問に対する信頼できる回答と信頼できる属性レポートを提供することを目的としている。 本稿では,アトミックな事実分解に基づくRetrieval and Editingフレームワークを提案する。 生成した長文の回答を、命令調整されたLSMによって分子節と原子事実に分解する。
  論文  参考訳（メタデータ） (2024-10-22T05:25:54Z)
• BeamAggR: Beam Aggregation Reasoning over Multi-source Knowledge for Multi-hop Question Answering [29.442468366125986]
  本研究では,知識集約型マルチホップQAの推論フレームワークであるBeamAggRを提案する。 複雑な質問を木に解析し、これには原子や複合的な質問が含まれる。 原子的問題に対して、LLMは答え候補を得るためにマルチソースの知識を推論する。 複合的な問題に対して、LLMはビーム候補を結合し、確率的集約を通じて複数の推論経路を探索し、最も有望な軌道を優先する。
  論文  参考訳（メタデータ） (2024-06-28T10:53:48Z)
• Hierarchical Deconstruction of LLM Reasoning: A Graph-Based Framework for Analyzing Knowledge Utilization [30.349165483935682]
  大規模言語モデル(LLM)が推論の知識をどのように利用するのかは、まだよく分かっていない。 我々は,DepthQAデータセットを開発し,質問を3つの深さに分解する: (i)概念的知識の想起, (ii)手続き的知識の適用, (iii)戦略的知識の分析。 差分パターンは、モデルのキャパシティとトレーニングデータ記憶の可能性にまたがって観察される。
  論文  参考訳（メタデータ） (2024-06-27T19:29:36Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。 任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。 広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• Enhancing Textbook Question Answering Task with Large Language Models and Retrieval Augmented Generation [3.948068081583197]
  本稿では,テキスト質問応答(TQA)における領域外シナリオを扱う手法を提案する。 LLMモデルLlama-2の微調整とRAGの導入により、我々のアーキテクチャはベースラインよりも優れ、検証セットでは4.12%、非ダイアグラム多重選択質問では9.84%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-02-05T11:58:56Z)
• T-SciQ: Teaching Multimodal Chain-of-Thought Reasoning via Mixed Large Language Model Signals for Science Question Answering [59.63860993280275]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 LLM信号を用いた科学質問応答の指導を目的とした,T-SciQと呼ばれる新しい手法を提案する。 提案手法は,ScienceQAベンチマークで96.18%の精度で,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-05T11:56:30Z)
• ArT: All-round Thinker for Unsupervised Commonsense Question-Answering [54.068032948300655]
  本稿では,知識生成における関連性を完全に取り除き,オールラウンド思考者(ArT)のアプローチを提案する。 我々は、COPA、SocialIQA、SCTの3つの共通センスQAベンチマークで評価した。
  論文  参考訳（メタデータ） (2021-12-26T18:06:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。