論文の概要: Retrieval Augmentation for Commonsense Reasoning: A Unified Approach

• arxiv url: http://arxiv.org/abs/2210.12887v1
• Date: Sun, 23 Oct 2022 23:49:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 13:36:00.446768
• Title: Retrieval Augmentation for Commonsense Reasoning: A Unified Approach
• Title（参考訳）: Commonsense Reasoningのための検索機能強化:統一的アプローチ
• Authors: Wenhao Yu, Chenguang Zhu, Zhihan Zhang, Shuohang Wang, Zhuosheng Zhang, Yuwei Fang, Meng Jiang
• Abstract要約: 検索強化コモンセンス推論(RACo)の統一的枠組みを提案する。 提案するRACoは,他の知識強化手法よりも優れる。
• 参考スコア（独自算出の注目度）: 64.63071051375289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A common thread of retrieval-augmented methods in the existing literature focuses on retrieving encyclopedic knowledge, such as Wikipedia, which facilitates well-defined entity and relation spaces that can be modeled. However, applying such methods to commonsense reasoning tasks faces two unique challenges, i.e., the lack of a general large-scale corpus for retrieval and a corresponding effective commonsense retriever. In this paper, we systematically investigate how to leverage commonsense knowledge retrieval to improve commonsense reasoning tasks. We proposed a unified framework of retrieval-augmented commonsense reasoning (called RACo), including a newly constructed commonsense corpus with over 20 million documents and novel strategies for training a commonsense retriever. We conducted experiments on four different commonsense reasoning tasks. Extensive evaluation results showed that our proposed RACo can significantly outperform other knowledge-enhanced method counterparts, achieving new SoTA performance on the CommonGen and CREAK leaderboards.
• Abstract（参考訳）: 既存の文献における検索強化手法の一般的なスレッドはウィキペディアのような百科事典的知識の検索に焦点を合わせており、モデル化可能な明確に定義された実体と関係空間を容易にしている。 しかし、コモンセンス推論タスクにそのような手法を適用すると、検索のための一般的な大規模コーパスの欠如と、対応する効果的なコモンセンス検索という2つのユニークな課題に直面する。 本稿では,コモンセンス知識検索の手法を体系的に検討し,コモンセンス推論タスクを改善する。 そこで我々は,2000万以上の文書と新たなコモンセンス検索手法を新たに構築したコモンセンスコーパスを含む,検索強化コモンセンス推論(RACo)の統一的枠組みを提案した。 4種類のコモンセンス推論タスクについて実験を行った。 大規模評価の結果,提案したRACoは他の知識向上手法よりも優れており,CommonGenとCREAKのリーダーボード上で新たなSoTA性能を実現することができた。

関連論文リスト

• Learning More Effective Representations for Dense Retrieval through Deliberate Thinking Before Search [65.53881294642451]
  ディリベレート思考に基づくDense Retriever (DEBATER) DEBATERは、ステップバイステップの思考プロセスを通じて、より効果的な文書表現を学習できるようにすることにより、最近の密集型検索機能を強化している。 実験の結果,DEBATERはいくつかのベンチマークで既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• DOGR: Leveraging Document-Oriented Contrastive Learning in Generative Retrieval [10.770281363775148]
  生成検索における文書指向コントラスト学習(DOGR)の活用という,新規で汎用的な生成検索フレームワークを提案する。 クエリとドキュメントの関係を,直接的なインタラクションを通じて包括的にキャプチャする,2段階の学習戦略を採用している。 意味表現の学習を促進するために、否定的サンプリング手法とそれに対応するコントラスト学習目的を実装した。
  論文  参考訳（メタデータ） (2025-02-11T03:25:42Z)
• Bridging Search and Recommendation in Generative Retrieval: Does One Task Help the Other? [9.215695600542249]
  検索とレコメンデーションのための生成的検索は、アイテムを検索する上で有望なパラダイムである。 これらの生成システムは、様々な情報検索タスクを単一のモデルにまとめる上で重要な役割を果たす。 本稿では,このような統合されたアプローチが,IRタスクの検索・推薦においてタスク固有モデルより優れているかどうかを考察する。
  論文  参考訳（メタデータ） (2024-10-22T08:49:43Z)
• RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval [26.527911244587134]
  本稿では,テキストの集合体への埋め込み,クラスタリング,要約という新たなアプローチを導入し,下から異なるレベルの要約レベルを持つ木を構築する。 我々のRAPTORモデルは、推測時にこの木から取得し、異なるレベルの抽象化で長いドキュメントにまたがる情報を統合します。
  論文  参考訳（メタデータ） (2024-01-31T18:30:21Z)
• Modeling Uncertainty and Using Post-fusion as Fallback Improves Retrieval Augmented Generation with LLMs [80.74263278847063]
  検索されたパスと大きな言語モデル(LLM)の統合は、オープンドメインの質問応答の改善に大きく貢献している。 本稿では,検索したパスをLLMと組み合わせて回答生成を向上させる方法について検討する。
  論文  参考訳（メタデータ） (2023-08-24T05:26:54Z)
• On the Importance of Exploration for Generalization in Reinforcement Learning [89.63074327328765]
  本研究では,不確実性の高い状態の探索を支援する方法であるEDE: Exploration via Distributional Ensembleを提案する。 当社のアルゴリズムは,ProcgenとCrafterの両面で最先端を実現するための,最初のバリューベースアプローチである。
  論文  参考訳（メタデータ） (2023-06-08T18:07:02Z)
• Coarse-to-Fine Knowledge Selection for Document Grounded Dialogs [11.63334863772068]
  マルチドキュメント基盤対話システム(DGDS)は,文書の集合から支援された知識を見出すことで,ユーザの要求に答える。 本稿では,粒度の粗い知識検索と粒度の細かい知識抽出の両方を統一されたフレームワークで最適化することを目的としたRe3Gを提案する。
  論文  参考訳（メタデータ） (2023-02-23T08:28:29Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Building an Efficient and Effective Retrieval-based Dialogue System via Mutual Learning [27.04857039060308]
  検索システムを構築するために,両世界の長所を組み合わせることを提案する。 従来の機能ベースの事前検索モデルを置き換えるために、高速なバイエンコーダを使用します。 我々は、相互学習を通じて、事前検索モデルと再評価モデルとを同時に訓練する。
  論文  参考訳（メタデータ） (2021-10-01T01:32:33Z)
• Retrieval-Free Knowledge-Grounded Dialogue Response Generation with Adapters [52.725200145600624]
  軽量アダプタで事前学習した言語モデルに事前知識を注入し、検索プロセスをバイパスする KnowExpert を提案する。 実験結果から,KnowExpertは検索ベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2021-05-13T12:33:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。