論文の概要: ZEBRA: Zero-Shot Example-Based Retrieval Augmentation for Commonsense Question Answering
- arxiv url: http://arxiv.org/abs/2410.05077v1
- Date: Mon, 07 Oct 2024 14:31:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 13:38:42.735706
- Title: ZEBRA: Zero-Shot Example-Based Retrieval Augmentation for Commonsense Question Answering
- Title(参考訳): ZEBRA: ゼロショット事例に基づくコモンセンス質問回答のための検索強化
- Authors: Francesco Maria Molfese, Simone Conia, Riccardo Orlando, Roberto Navigli,
- Abstract要約: ZEBRAは、検索、ケースベースの推論、イントロスペクションを組み合わせたゼロショット質問応答フレームワークである。
入力質問が与えられた場合、ZEBRAは関連する質問知識ペアを知識ベースから検索し、これらのペアの関係性について推論することで新しい知識を生成する。
この生成された知識は入力された質問に答え、モデルの性能と解釈可能性を改善するために使用される。
- 参考スコア(独自算出の注目度): 46.04261413492061
- License:
- Abstract: Current Large Language Models (LLMs) have shown strong reasoning capabilities in commonsense question answering benchmarks, but the process underlying their success remains largely opaque. As a consequence, recent approaches have equipped LLMs with mechanisms for knowledge retrieval, reasoning and introspection, not only to improve their capabilities but also to enhance the interpretability of their outputs. However, these methods require additional training, hand-crafted templates or human-written explanations. To address these issues, we introduce ZEBRA, a zero-shot question answering framework that combines retrieval, case-based reasoning and introspection and dispenses with the need for additional training of the LLM. Given an input question, ZEBRA retrieves relevant question-knowledge pairs from a knowledge base and generates new knowledge by reasoning over the relationships in these pairs. This generated knowledge is then used to answer the input question, improving the model's performance and interpretability. We evaluate our approach across 8 well-established commonsense reasoning benchmarks, demonstrating that ZEBRA consistently outperforms strong LLMs and previous knowledge integration approaches, achieving an average accuracy improvement of up to 4.5 points.
- Abstract(参考訳): 現在のLarge Language Models (LLMs) は、コモンセンスな質問応答ベンチマークにおいて強力な推論能力を示しているが、その成功の根底にあるプロセスはほとんど不透明である。
その結果、近年のLLMには知識検索、推論、イントロスペクションのメカニズムが組み込まれており、その能力の向上だけでなく、出力の解釈可能性の向上にも寄与している。
しかし、これらの手法には追加の訓練、手作りのテンプレート、人間による説明が必要である。
これらの問題に対処するために,検索,ケースベース推論,イントロスペクションを組み合わせたゼロショット質問応答フレームワークであるZEBRAを導入する。
入力質問が与えられた場合、ZEBRAは関連する質問知識ペアを知識ベースから検索し、これらのペアの関係性について推論することで新しい知識を生成する。
この生成された知識は入力された質問に答え、モデルの性能と解釈可能性を改善するために使用される。
提案手法は,8つのよく確立されたコモンセンス推論ベンチマークを用いて評価し,ZEBRAが強いLLMと従来の知識統合アプローチを一貫して上回り,最大4.5ポイントの精度向上を実現していることを示す。
関連論文リスト
- Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。
算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。
強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
論文 参考訳(メタデータ) (2024-06-19T23:30:01Z) - SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。
SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。
様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
論文 参考訳(メタデータ) (2024-04-17T01:15:54Z) - BIDER: Bridging Knowledge Inconsistency for Efficient Retrieval-Augmented LLMs via Key Supporting Evidence [23.55601157586831]
本稿では,検索文書をキー・サポート・エビデンス(Key Supporting Evidence)に洗練する手法であるBIDERを紹介する。
我々は,KSEの製作から学習してBIDERを訓練し,その出力をLLMの情報取得の好みに合わせて最大化する。
BIDER は LLM の回答品質を7% 向上させ,検索文書の入力内容長を80% 削減し,既存手法より優れていた。
論文 参考訳(メタデータ) (2024-02-19T14:28:31Z) - Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。
COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2023-10-22T19:37:06Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳(メタデータ) (2023-10-08T04:22:33Z) - Investigating the Factual Knowledge Boundary of Large Language Models
with Retrieval Augmentation [91.30946119104111]
大規模言語モデル(LLM)は,質問に応答する能力に対して,波及しない自信を持っていることを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
また, LLM は, 回答の定式化に際し, 提案した検索結果に依存する傾向が認められた。
論文 参考訳(メタデータ) (2023-07-20T16:46:10Z) - elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。
このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。
elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
論文 参考訳(メタデータ) (2022-03-17T16:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。