論文の概要: Retrieval Augmentation for Commonsense Reasoning: A Unified Approach
- arxiv url: http://arxiv.org/abs/2210.12887v1
- Date: Sun, 23 Oct 2022 23:49:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 13:36:00.446768
- Title: Retrieval Augmentation for Commonsense Reasoning: A Unified Approach
- Title(参考訳): Commonsense Reasoningのための検索機能強化:統一的アプローチ
- Authors: Wenhao Yu, Chenguang Zhu, Zhihan Zhang, Shuohang Wang, Zhuosheng
Zhang, Yuwei Fang, Meng Jiang
- Abstract要約: 検索強化コモンセンス推論(RACo)の統一的枠組みを提案する。
提案するRACoは,他の知識強化手法よりも優れる。
- 参考スコア(独自算出の注目度): 64.63071051375289
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A common thread of retrieval-augmented methods in the existing literature
focuses on retrieving encyclopedic knowledge, such as Wikipedia, which
facilitates well-defined entity and relation spaces that can be modeled.
However, applying such methods to commonsense reasoning tasks faces two unique
challenges, i.e., the lack of a general large-scale corpus for retrieval and a
corresponding effective commonsense retriever. In this paper, we systematically
investigate how to leverage commonsense knowledge retrieval to improve
commonsense reasoning tasks. We proposed a unified framework of
retrieval-augmented commonsense reasoning (called RACo), including a newly
constructed commonsense corpus with over 20 million documents and novel
strategies for training a commonsense retriever. We conducted experiments on
four different commonsense reasoning tasks. Extensive evaluation results showed
that our proposed RACo can significantly outperform other knowledge-enhanced
method counterparts, achieving new SoTA performance on the CommonGen and CREAK
leaderboards.
- Abstract(参考訳): 既存の文献における検索強化手法の一般的なスレッドはウィキペディアのような百科事典的知識の検索に焦点を合わせており、モデル化可能な明確に定義された実体と関係空間を容易にしている。
しかし、コモンセンス推論タスクにそのような手法を適用すると、検索のための一般的な大規模コーパスの欠如と、対応する効果的なコモンセンス検索という2つのユニークな課題に直面する。
本稿では,コモンセンス知識検索の手法を体系的に検討し,コモンセンス推論タスクを改善する。
そこで我々は,2000万以上の文書と新たなコモンセンス検索手法を新たに構築したコモンセンスコーパスを含む,検索強化コモンセンス推論(RACo)の統一的枠組みを提案した。
4種類のコモンセンス推論タスクについて実験を行った。
大規模評価の結果,提案したRACoは他の知識向上手法よりも優れており,CommonGenとCREAKのリーダーボード上で新たなSoTA性能を実現することができた。
関連論文リスト
- REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval [26.527911244587134]
本稿では,テキストの集合体への埋め込み,クラスタリング,要約という新たなアプローチを導入し,下から異なるレベルの要約レベルを持つ木を構築する。
我々のRAPTORモデルは、推測時にこの木から取得し、異なるレベルの抽象化で長いドキュメントにまたがる情報を統合します。
論文 参考訳(メタデータ) (2024-01-31T18:30:21Z) - Exploring the Integration Strategies of Retriever and Large Language
Models [84.79153029646541]
検索されたパスと大きな言語モデル(LLM)の統合は、オープンドメインの質問応答の改善に大きく貢献している。
本稿では,検索したパスをLLMと組み合わせて回答生成を向上させる方法について検討する。
論文 参考訳(メタデータ) (2023-08-24T05:26:54Z) - On the Importance of Exploration for Generalization in Reinforcement
Learning [89.63074327328765]
本研究では,不確実性の高い状態の探索を支援する方法であるEDE: Exploration via Distributional Ensembleを提案する。
当社のアルゴリズムは,ProcgenとCrafterの両面で最先端を実現するための,最初のバリューベースアプローチである。
論文 参考訳(メタデータ) (2023-06-08T18:07:02Z) - Coarse-to-Fine Knowledge Selection for Document Grounded Dialogs [11.63334863772068]
マルチドキュメント基盤対話システム(DGDS)は,文書の集合から支援された知識を見出すことで,ユーザの要求に答える。
本稿では,粒度の粗い知識検索と粒度の細かい知識抽出の両方を統一されたフレームワークで最適化することを目的としたRe3Gを提案する。
論文 参考訳(メタデータ) (2023-02-23T08:28:29Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z) - Building an Efficient and Effective Retrieval-based Dialogue System via
Mutual Learning [27.04857039060308]
検索システムを構築するために,両世界の長所を組み合わせることを提案する。
従来の機能ベースの事前検索モデルを置き換えるために、高速なバイエンコーダを使用します。
我々は、相互学習を通じて、事前検索モデルと再評価モデルとを同時に訓練する。
論文 参考訳(メタデータ) (2021-10-01T01:32:33Z) - Retrieval-Free Knowledge-Grounded Dialogue Response Generation with
Adapters [52.725200145600624]
軽量アダプタで事前学習した言語モデルに事前知識を注入し、検索プロセスをバイパスする KnowExpert を提案する。
実験結果から,KnowExpertは検索ベースラインと相容れない性能を示した。
論文 参考訳(メタデータ) (2021-05-13T12:33:23Z) - A Replication Study of Dense Passage Retriever [32.192420072129636]
Karpukhinらによって提案された高密度通過レトリバー(DPR)技術について研究する。
(2020) エンドツーエンドのオープンドメイン質問応答。
本稿では,著者らによるモデルチェックポイントから本研究の再現性について検討する。
私たちは、オリジナルの作業とまったく同じモデルを使って、エンドツーエンドの質問応答の有効性を改善することができます。
論文 参考訳(メタデータ) (2021-04-12T18:10:39Z) - Balancing Reinforcement Learning Training Experiences in Interactive
Information Retrieval [19.723551683930776]
対話型情報検索(IIR)と強化学習(RL)は、対話中に学習するエージェントなど、多くの共通点を共有している。
IIRにRLメソッドをうまく適用するには、RLエージェントを訓練するための十分な関連ラベルを得ることが課題である。
本論文は、ドメインランダム化を用いて、より関連性の高い文書を合成することにより、この問題に対処する。
論文 参考訳(メタデータ) (2020-06-05T00:38:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。