論文の概要: ZEBRA: Zero-Shot Example-Based Retrieval Augmentation for Commonsense Question Answering

• arxiv url: http://arxiv.org/abs/2410.05077v1
• Date: Mon, 7 Oct 2024 14:31:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 00:28:18.665693
• Title: ZEBRA: Zero-Shot Example-Based Retrieval Augmentation for Commonsense Question Answering
• Title（参考訳）: ZEBRA: ゼロショット事例に基づくコモンセンス質問回答のための検索強化
• Authors: Francesco Maria Molfese, Simone Conia, Riccardo Orlando, Roberto Navigli,
• Abstract要約: ZEBRAは、検索、ケースベースの推論、イントロスペクションを組み合わせたゼロショット質問応答フレームワークである。 入力質問が与えられた場合、ZEBRAは関連する質問知識ペアを知識ベースから検索し、これらのペアの関係性について推論することで新しい知識を生成する。 この生成された知識は入力された質問に答え、モデルの性能と解釈可能性を改善するために使用される。
• 参考スコア（独自算出の注目度）: 46.04261413492061
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Current Large Language Models (LLMs) have shown strong reasoning capabilities in commonsense question answering benchmarks, but the process underlying their success remains largely opaque. As a consequence, recent approaches have equipped LLMs with mechanisms for knowledge retrieval, reasoning and introspection, not only to improve their capabilities but also to enhance the interpretability of their outputs. However, these methods require additional training, hand-crafted templates or human-written explanations. To address these issues, we introduce ZEBRA, a zero-shot question answering framework that combines retrieval, case-based reasoning and introspection and dispenses with the need for additional training of the LLM. Given an input question, ZEBRA retrieves relevant question-knowledge pairs from a knowledge base and generates new knowledge by reasoning over the relationships in these pairs. This generated knowledge is then used to answer the input question, improving the model's performance and interpretability. We evaluate our approach across 8 well-established commonsense reasoning benchmarks, demonstrating that ZEBRA consistently outperforms strong LLMs and previous knowledge integration approaches, achieving an average accuracy improvement of up to 4.5 points.
• Abstract（参考訳）: 現在のLarge Language Models (LLMs) は、コモンセンスな質問応答ベンチマークにおいて強力な推論能力を示しているが、その成功の根底にあるプロセスはほとんど不透明である。 その結果、近年のLLMには知識検索、推論、イントロスペクションのメカニズムが組み込まれており、その能力の向上だけでなく、出力の解釈可能性の向上にも寄与している。 しかし、これらの手法には追加の訓練、手作りのテンプレート、人間による説明が必要である。 これらの問題に対処するために,検索,ケースベース推論,イントロスペクションを組み合わせたゼロショット質問応答フレームワークであるZEBRAを導入する。 入力質問が与えられた場合、ZEBRAは関連する質問知識ペアを知識ベースから検索し、これらのペアの関係性について推論することで新しい知識を生成する。 この生成された知識は入力された質問に答え、モデルの性能と解釈可能性を改善するために使用される。 提案手法は,8つのよく確立されたコモンセンス推論ベンチマークを用いて評価し,ZEBRAが強いLLMと従来の知識統合アプローチを一貫して上回り,最大4.5ポイントの精度向上を実現していることを示す。

関連論文リスト

• LINKED: Eliciting, Filtering and Integrating Knowledge in Large Language Model for Commonsense Reasoning [21.12539851761666]
  大規模言語モデル(LLM)は、知識集約的なタスクにおけるパフォーマンスの低下を示すことがある。 大規模言語モデル(LINKED)における知識の抽出,フィルタリング,統合という新しい手法を提案する。 2つの複雑なコモンセンス推論ベンチマークに関する総合的な実験により、我々の手法はSOTAベースライン(最大9.0%の精度向上)を上回った。
  論文  参考訳（メタデータ） (2024-10-12T14:12:22Z)
• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• CoTKR: Chain-of-Thought Enhanced Knowledge Rewriting for Complex Knowledge Graph Question Answering [33.89497991289916]
  そこで本研究では,新たな書込み手法であるCoTKRを提案し,推論トレースとそれに対応する知識をインターリーブ方式で生成する。 我々は,様々な知識グラフ質問回答 (KGQA) ベンチマークを用いて,様々な言語モデル (LLM) を用いて実験を行う。
  論文  参考訳（メタデータ） (2024-09-29T16:08:45Z)
• On the Role of Long-tail Knowledge in Retrieval Augmented Large Language Models [33.08049246893537]
  検索拡張現実(RAG)は,大規模言語モデル(LLM)の知識能力向上に際し,優れた性能を示す 本稿では,LLMの簡易かつ効果的なロングテール知識検出手法を提案する。 提案手法は,平均推定時間で4倍以上の高速化を実現し,下流タスクにおける一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2024-06-24T07:17:59Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
  COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。 COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2023-10-22T19:37:06Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。