論文の概要: Temporal Knowledge Question Answering via Abstract Reasoning Induction
- arxiv url: http://arxiv.org/abs/2311.09149v1
- Date: Wed, 15 Nov 2023 17:46:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 14:53:22.707042
- Title: Temporal Knowledge Question Answering via Abstract Reasoning Induction
- Title（参考訳）: 抽象推論による時間的知識質問応答
- Authors: Ziyang Chen, Dongfang Li, Xiang Zhao, Baotian Hu, Min Zhang
- Abstract要約: 大規模言語モデル(LLM)における時間的知識推論の重要な課題に取り組む。
我々の提案の中心は抽象推論誘導ARIフレームワークであり、時間的推論を知識に依存しないものと知識に基づく2つの異なるフェーズに分割する。
提案手法は,2つの時間的QAデータセットに対して29.7%と9.27%の相対的な向上を達成している。
- 参考スコア（独自算出の注目度）: 34.42547947458204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we tackle the significant challenge of temporal knowledge
reasoning in Large Language Models (LLMs), an area where such models frequently
encounter difficulties. These difficulties often result in the generation of
misleading or incorrect information, primarily due to their limited capacity to
process evolving factual knowledge and complex temporal logic. In response, we
propose a novel, constructivism-based approach that advocates for a paradigm
shift in LLM learning towards an active, ongoing process of knowledge synthesis
and customization. At the heart of our proposal is the Abstract Reasoning
Induction ARI framework, which divides temporal reasoning into two distinct
phases: Knowledge-agnostic and Knowledge-based. This division aims to reduce
instances of hallucinations and improve LLMs' capacity for integrating abstract
methodologies derived from historical data. Our approach achieves remarkable
improvements, with relative gains of 29.7\% and 9.27\% on two temporal QA
datasets, underscoring its efficacy in advancing temporal reasoning in LLMs.
The code will be released at https://github.com/czy1999/ARI.
- Abstract（参考訳）: 本稿では,このようなモデルがしばしば困難に直面する分野である大規模言語モデル(llms)において,時間的知識推論の重大な課題に取り組む。
これらの困難は、主に進化する事実知識と複雑な時間論理を処理する能力に制限があるため、しばしば誤った情報や誤った情報を生み出す。
そこで本研究では,LLM学習におけるパラダイムシフトを,知識合成とカスタマイズの活発なプロセスへと導く,新しい構成主義に基づくアプローチを提案する。
我々の提案の中心は抽象推論誘導ARIフレームワークであり、時間的推論は知識に依存しないものと知識に基づく2つの段階に分けられる。
本研究は, 幻覚の事例を減らし, 歴史資料から抽出した抽象的方法論を統合するLLMの能力を向上させることを目的とする。
提案手法は,2つの時間的QAデータセットに対して29.7\%と9.27\%の相対的な向上を達成し,LLMにおける時間的推論の促進効果を裏付けるものである。
コードはhttps://github.com/czy1999/ariでリリースされる。
関連論文リスト
- Unveiling Factual Recall Behaviors of Large Language Models through Knowledge Neurons [13.266817091775042]
本研究では,Large Language Models (LLMs) が推論タスクに直面すると,その内部知識のリポジトリを積極的にリコールするか,回収するかを検討する。
我々は,LLMが特定の状況下での批判的事実関連を活用できないことを明らかにした。
複雑な推論タスクに対処する強力な手法であるChain-of-Thought(CoT)プロンプトの効果を評価する。
論文 参考訳（メタデータ） (2024-08-06T15:07:08Z) - Reasoning with Large Language Models, a Survey [2.831296564800826]
本稿では,LSMによるプロンプトベース推論の急速に進展する分野について概説する。
我々の分類学は、多段階推論の生成、評価、制御の異なる方法を特定します。
我々は, 自己改善, 自己回帰, 推論過程のいくつかのメタ能力が, プロンプトの司法的利用によって可能であることを発見した。
論文 参考訳（メタデータ） (2024-07-16T08:49:35Z) - Living in the Moment: Can Large Language Models Grasp Co-Temporal Reasoning? [70.19200858203388]
時間的推論は、世界を理解するための大きな言語モデルの基本である。
CoTempQAは4つの時間的シナリオを含むベンチマークである。
実験の結果,LLMの性能と人間レベルの推論との間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-06-13T12:56:21Z) - CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs [27.362012903540492]
因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
論文 参考訳（メタデータ） (2024-04-09T14:40:08Z) - Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。
我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
論文 参考訳（メタデータ） (2024-04-04T16:40:11Z) - When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation [66.01754585188739]
大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。
Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。
本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
論文 参考訳（メタデータ） (2024-02-18T04:57:19Z) - KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。
KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
論文 参考訳（メタデータ） (2024-02-17T02:54:32Z) - Is Knowledge All Large Language Models Needed for Causal Reasoning? [11.476877330365664]
本稿では,大規模言語モデル(LLM)の因果推論について,人工知能の進化における解釈可能性と信頼性を高めるために検討する。
本稿では,do-operativesを利用した新たな因果帰属モデルを提案する。
論文 参考訳（メタデータ） (2023-12-30T04:51:46Z) - Knowledge Unlearning for LLMs: Tasks, Methods, and Challenges [11.228131492745842]
大規模言語モデル(LLM)は、自然言語処理における新しい研究パラダイムを刺激している。
知識に基づく質問応答と推論の優れた能力にもかかわらず、欠陥や有害な知識を保持する可能性は、悪意のあるアプリケーションにリスクをもたらす。
機械学習の類似研究から派生した知識アンラーニングは、この問題に対処するための有望な道を示す。
論文 参考訳（メタデータ） (2023-11-27T12:37:51Z) - Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
本稿では,文書を動的に活用するための簡易な手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T16:46:10Z) - Rethinking with Retrieval: Faithful Large Language Model Inference [91.66406351103484]
我々は検索(RR)で再考する新しいポストプロセッシング手法を提案する。
RRは、チェーン・オブ・シークレット・プロンプトから得られた推論ステップに基づいて、関連する外部知識を検索する。
複雑な3つの推論課題に対する GPT-3 を用いた広範囲な実験により RR の有効性を評価する。
論文 参考訳（メタデータ） (2022-12-31T22:35:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。