論文の概要: IAG: Induction-Augmented Generation Framework for Answering Reasoning
Questions
- arxiv url: http://arxiv.org/abs/2311.18397v1
- Date: Thu, 30 Nov 2023 09:48:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 17:20:07.437108
- Title: IAG: Induction-Augmented Generation Framework for Answering Reasoning
Questions
- Title(参考訳): IAG: 推論質問に答える誘導型生成フレームワーク
- Authors: Zhebin Zhang, Xinyu Zhang, Yuanhang Ren, Saijiang Shi, Meng Han,
Yongkang Wu, Ruofei Lai, Zhao Cao
- Abstract要約: 本稿では,帰納的知識と検索した文書の暗黙的推論を併用した誘導拡張生成(IAG)フレームワークを提案する。
IAG-GPT は GPT-3 が生成した知識を直接利用し、IAG-Student は GPT サービスへの依存を推測時に排除する。
実験の結果, IAGはRAGベースラインとChatGPTを2つのオープンドメインQAタスクで上回ることがわかった。
- 参考スコア(独自算出の注目度): 22.311234565170796
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Retrieval-Augmented Generation (RAG), by incorporating external knowledge
with parametric memory of language models, has become the state-of-the-art
architecture for open-domain QA tasks. However, common knowledge bases are
inherently constrained by limited coverage and noisy information, making
retrieval-based approaches inadequate to answer implicit reasoning questions.
In this paper, we propose an Induction-Augmented Generation (IAG) framework
that utilizes inductive knowledge along with the retrieved documents for
implicit reasoning. We leverage large language models (LLMs) for deriving such
knowledge via a novel prompting method based on inductive reasoning patterns.
On top of this, we implement two versions of IAG named IAG-GPT and IAG-Student,
respectively. IAG-GPT directly utilizes the knowledge generated by GPT-3 for
answer prediction, while IAG-Student gets rid of dependencies on GPT service at
inference time by incorporating a student inductor model. The inductor is
firstly trained via knowledge distillation and further optimized by
back-propagating the generator feedback via differentiable beam scores.
Experimental results show that IAG outperforms RAG baselines as well as ChatGPT
on two Open-Domain QA tasks. Notably, our best models have won the first place
in the official leaderboards of CSQA2.0 (since Nov 1, 2022) and StrategyQA
(since Jan 8, 2023).
- Abstract(参考訳): Retrieval-Augmented Generation (RAG)は、言語モデルのパラメトリックメモリに外部知識を組み込むことで、オープンドメインQAタスクの最先端アーキテクチャとなった。
しかし、共通知識ベースは、限られたカバレッジとノイズ情報によって本質的に制約されており、検索に基づくアプローチは暗黙の推論問題に答えるには不十分である。
本稿では,暗黙的推論のための帰納的知識と文書を併用した誘導型生成(IAG)フレームワークを提案する。
我々は,帰納的推論パターンに基づく新しいプロンプト手法によって知識を導出するために,大規模言語モデル(llm)を活用する。
さらに, IAG-GPT と IAG-Student の2つのバージョンを実装した。
IAG-GPT は GPT-3 が生成した知識を直接活用し,IAG-Student は学生インダクタモデルを組み込んだ推論時に GPT サービスへの依存を除去する。
インダクタは、まず知識蒸留により訓練され、さらに異なるビームスコアによる発電機フィードバックのバックプロパゲーションによって最適化される。
実験の結果, IAGはRAGベースラインとChatGPTを2つのオープンドメインQAタスクで上回ることがわかった。
特に、私たちの最高のモデルはCSQA2.0(2022年11月1日以降)とStrategyQA(2023年1月8日以降)の公式リーダーボードで優勝しました。
関連論文リスト
- Towards Better Generalization in Open-Domain Question Answering by Mitigating Context Memorization [67.92796510359595]
Open-Domain Question Answering (OpenQA)は、外部の大規模知識コーパスで事実質問に答えることを目的としている。
OpenQAモデルが完全に新しい知識ドメインにどの程度うまく移行できるかは、まだ不明である。
コーパス不変チューニング(CIT: Corpus-Invariant Tuning)は,記憶過剰な知識の軽減を目的とした,シンプルで効果的なトレーニング戦略である。
論文 参考訳(メタデータ) (2024-04-02T05:44:50Z) - Enhancing Multi-Domain Automatic Short Answer Grading through an Explainable Neuro-Symbolic Pipeline [3.740310362300391]
本稿では,正当性に基づく説明可能なASAGのためのニューロシンボリックモデルを提案する。
我々のアプローチは、ショートアンサーフィードバックデータセットの最先端技術と比較してRMSEを0.24から0.3改善する。
論文 参考訳(メタデータ) (2024-03-04T07:58:26Z) - Retrieval-Augmented Generation for AI-Generated Content: A Survey [38.50754568320154]
このような課題に対処するためのパラダイムとして,レトリーバル拡張生成(RAG)が登場している。
RAGは情報検索プロセスを導入し、利用可能なデータストアから関連オブジェクトを検索することで生成プロセスを強化する。
本稿では,RAG手法をAIGCシナリオに統合する既存の取り組みを概観的にレビューする。
論文 参考訳(メタデータ) (2024-02-29T18:59:01Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - ActiveRAG: Revealing the Treasures of Knowledge via Active Learning [48.27288876691973]
Retrieval Augmented Generation (RAG) は、Large Language Models (LLM) の新しいパラダイムを導入した。
我々は、受動的知識獲得から能動的学習機構に移行する革新的なRAGフレームワークであるActiveRAGを提案する。
実験の結果,ActiveRAGは従来のRAGモデルを超え,質問応答データセットの5%の改善を実現していることがわかった。
論文 参考訳(メタデータ) (2024-02-21T06:04:53Z) - Seven Failure Points When Engineering a Retrieval Augmented Generation
System [1.8776685617612472]
RAGシステムは,大規模言語モデルからの幻覚応答の問題を解決することを目的としている。
RAGシステムは情報検索システム固有の制限に悩まされている。
本稿では3つのケーススタディからRAGシステムの故障点について報告する。
論文 参考訳(メタデータ) (2024-01-11T12:04:11Z) - ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained
Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。
また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。
実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文 参考訳(メタデータ) (2023-12-30T07:18:54Z) - Learning Answer Generation using Supervision from Automatic Question
Answering Evaluators [98.9267570170737]
我々は、自動QA評価モデル(GAVA)の監督を用いたGenQAのための新しいトレーニングパラダイムを提案する。
提案手法を2つの学術的, 1つの産業的データセット上で評価し, 過去の技術状況に対して, 回答精度を大幅に向上させた。
論文 参考訳(メタデータ) (2023-05-24T16:57:04Z) - KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。
提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。
我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
論文 参考訳(メタデータ) (2021-12-16T04:37:10Z) - EQG-RACE: Examination-Type Question Generation [21.17100754955864]
本論文では, RACEから抽出したデータセットをもとに, 試験型質問生成手法 (EQG-RACE) を提案する。
EQG-RACEでは、離散的な回答情報を扱うための2つの主要な戦略と、長い文脈における推論が採用されています。
実験結果は、ベースラインよりも優れたEQG-RACEの最先端の性能を示しています。
論文 参考訳(メタデータ) (2020-12-11T03:52:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。