論文の概要: Improving Natural Language Understanding with Computation-Efficient
Retrieval Representation Fusion
- arxiv url: http://arxiv.org/abs/2401.02993v1
- Date: Thu, 4 Jan 2024 07:39:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 20:57:02.251503
- Title: Improving Natural Language Understanding with Computation-Efficient
Retrieval Representation Fusion
- Title(参考訳): 計算効率の高い検索表現融合による自然言語理解の改善
- Authors: Shangyu Wu, Ying Xiong, Yufei Cui, Xue Liu, Buzhou Tang, Tei-Wei Kuo,
Chun Jason Xue
- Abstract要約: 検索に基づく拡張は、質問応答やテキスト生成など、様々な知識集約(KI)タスクにおいて大きな成功を収めている。
しかし,テキスト分類などの非知識集約型タスクにおける検索の統合は依然として困難である。
本稿では,ニューラルネットワークを用いた計算効率の高いtextbfRetrieval 表現 textbfFusion を提案する。
- 参考スコア(独自算出の注目度): 23.276081846972236
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Retrieval-based augmentations that aim to incorporate knowledge from an
external database into language models have achieved great success in various
knowledge-intensive (KI) tasks, such as question-answering and text generation.
However, integrating retrievals in non-knowledge-intensive (NKI) tasks, such as
text classification, is still challenging. Existing works focus on
concatenating retrievals to inputs as context to form the prompt-based inputs.
Unfortunately, such methods require language models to have the capability to
handle long texts. Besides, inferring such concatenated data would also consume
a significant amount of computational resources.
To solve these challenges, we propose \textbf{ReFusion} in this paper, a
computation-efficient \textbf{Re}trieval representation \textbf{Fusion} with
neural architecture search. The main idea is to directly fuse the retrieval
representations into the language models. Specifically, we first propose an
online retrieval module that retrieves representations of similar sentences.
Then, we present a retrieval fusion module including two effective ranking
schemes, i.e., reranker-based scheme and ordered-mask-based scheme, to fuse the
retrieval representations with hidden states. Furthermore, we use Neural
Architecture Search (NAS) to seek the optimal fusion structure across different
layers. Finally, we conduct comprehensive experiments, and the results
demonstrate our ReFusion can achieve superior and robust performance on various
NKI tasks.
- Abstract(参考訳): 外部データベースからの知識を言語モデルに組み込むことを目的とした検索ベースの拡張は,質問応答やテキスト生成など,さまざまな知識集約型(ki)タスクで大きな成功を収めている。
しかし,テキスト分類などの非知識集約タスクにおける検索の統合は依然として困難である。
既存の作品は、プロンプトベースの入力を形成するためのコンテキストとして、検索を入力に結合することに焦点を当てている。
残念ながら、このような方法では言語モデルに長いテキストを扱う能力が必要です。
さらに、そのような連結データを推測すると、かなりの量の計算資源が消費される。
これらの課題を解決するために,ニューラルアーキテクチャ探索を用いた計算効率の高い \textbf{Re}trieval representation \textbf{Fusion} を提案する。
主なアイデアは、検索表現を言語モデルに直接融合させることである。
具体的には,まず類似文の表現を検索するオンライン検索モジュールを提案する。
そこで我々は,検索表現を隠蔽状態に融合させるために,リランカベーススキームと順序マスクベーススキームの2つの効果的なランキングスキームを含む検索融合モジュールを提案する。
さらに,様々な層にわたる最適な融合構造を求めるために,ニューラルネットワーク探索(nas)を用いる。
最後に, 包括的実験を行い, 様々なnkiタスクにおいて, 優れたロバストな性能が得られることを実証した。
関連論文リスト
- UniGen: A Unified Generative Framework for Retrieval and Question
Answering with Large Language Models [22.457013726785295]
textbfUnified textbfGenerative framework for search and question answering。
UniGenは両方のタスクを単一の生成モデルに統合し、大きな言語モデルの能力を活用する。
論文 参考訳(メタデータ) (2023-12-18T09:13:41Z) - Contrastive Transformer Learning with Proximity Data Generation for
Text-Based Person Search [60.626459715780605]
記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。
このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。
本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
論文 参考訳(メタデータ) (2023-11-15T16:26:49Z) - End-to-End Open Vocabulary Keyword Search With Multilingual Neural
Representations [7.780766187171571]
競合性能を実現するニューラルネットワークによるASRフリーキーワード検索モデルを提案する。
本研究は,多言語事前学習と詳細なモデル解析により拡張する。
実験の結果,提案した多言語学習はモデルの性能を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2023-08-15T20:33:25Z) - End-to-end Knowledge Retrieval with Multi-modal Queries [50.01264794081951]
ReMuQは、テキストと画像のクエリからコンテンツを統合することで、大規模なコーパスから知識を取得するシステムを必要とする。
本稿では,入力テキストや画像を直接処理し,関連する知識をエンドツーエンドで検索する検索モデルReViz'を提案する。
ゼロショット設定下での2つのデータセットの検索において,優れた性能を示す。
論文 参考訳(メタデータ) (2023-06-01T08:04:12Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳(メタデータ) (2023-05-24T16:17:36Z) - BRENT: Bidirectional Retrieval Enhanced Norwegian Transformer [1.911678487931003]
検索ベースの言語モデルは、質問応答タスクにますます採用されている。
我々はREALMフレームワークを適用し,ノルウェー初の検索モデルを開発した。
本研究では,このような学習により,抽出質問応答における読み手のパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2023-04-19T13:40:47Z) - ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational
Finance Question Answering [70.6359636116848]
本稿では,対話型質問応答における数値推論の連鎖を研究するために,新しい大規模データセットConvFinQAを提案する。
我々のデータセットは、現実世界の会話において、長距離で複雑な数値推論パスをモデル化する上で大きな課題となる。
論文 参考訳(メタデータ) (2022-10-07T23:48:50Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z) - GQE-PRF: Generative Query Expansion with Pseudo-Relevance Feedback [8.142861977776256]
PRFに基づくクエリ拡張にテキスト生成モデルを効果的に統合する新しい手法を提案する。
提案手法では,初期クエリと擬似関連フィードバックの両方を条件としたニューラルテキスト生成モデルを用いて,拡張クエリ項を生成する。
2つのベンチマークデータセットを用いて,情報検索タスクに対するアプローチの有効性を評価する。
論文 参考訳(メタデータ) (2021-08-13T01:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。