論文の概要: Improving Natural Language Understanding with Computation-Efficient
Retrieval Representation Fusion
- arxiv url: http://arxiv.org/abs/2401.02993v1
- Date: Thu, 4 Jan 2024 07:39:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 20:57:02.251503
- Title: Improving Natural Language Understanding with Computation-Efficient
Retrieval Representation Fusion
- Title（参考訳）: 計算効率の高い検索表現融合による自然言語理解の改善
- Authors: Shangyu Wu, Ying Xiong, Yufei Cui, Xue Liu, Buzhou Tang, Tei-Wei Kuo,
Chun Jason Xue
- Abstract要約: 検索に基づく拡張は、質問応答やテキスト生成など、様々な知識集約(KI)タスクにおいて大きな成功を収めている。
しかし,テキスト分類などの非知識集約型タスクにおける検索の統合は依然として困難である。
本稿では,ニューラルネットワークを用いた計算効率の高いtextbfRetrieval 表現 textbfFusion を提案する。
- 参考スコア（独自算出の注目度）: 23.276081846972236
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Retrieval-based augmentations that aim to incorporate knowledge from an
external database into language models have achieved great success in various
knowledge-intensive (KI) tasks, such as question-answering and text generation.
However, integrating retrievals in non-knowledge-intensive (NKI) tasks, such as
text classification, is still challenging. Existing works focus on
concatenating retrievals to inputs as context to form the prompt-based inputs.
Unfortunately, such methods require language models to have the capability to
handle long texts. Besides, inferring such concatenated data would also consume
a significant amount of computational resources.
To solve these challenges, we propose \textbf{ReFusion} in this paper, a
computation-efficient \textbf{Re}trieval representation \textbf{Fusion} with
neural architecture search. The main idea is to directly fuse the retrieval
representations into the language models. Specifically, we first propose an
online retrieval module that retrieves representations of similar sentences.
Then, we present a retrieval fusion module including two effective ranking
schemes, i.e., reranker-based scheme and ordered-mask-based scheme, to fuse the
retrieval representations with hidden states. Furthermore, we use Neural
Architecture Search (NAS) to seek the optimal fusion structure across different
layers. Finally, we conduct comprehensive experiments, and the results
demonstrate our ReFusion can achieve superior and robust performance on various
NKI tasks.
- Abstract（参考訳）: 外部データベースからの知識を言語モデルに組み込むことを目的とした検索ベースの拡張は,質問応答やテキスト生成など,さまざまな知識集約型(ki)タスクで大きな成功を収めている。
しかし,テキスト分類などの非知識集約タスクにおける検索の統合は依然として困難である。
既存の作品は、プロンプトベースの入力を形成するためのコンテキストとして、検索を入力に結合することに焦点を当てている。
残念ながら、このような方法では言語モデルに長いテキストを扱う能力が必要です。
さらに、そのような連結データを推測すると、かなりの量の計算資源が消費される。
これらの課題を解決するために,ニューラルアーキテクチャ探索を用いた計算効率の高い \textbf{Re}trieval representation \textbf{Fusion} を提案する。
主なアイデアは、検索表現を言語モデルに直接融合させることである。
具体的には,まず類似文の表現を検索するオンライン検索モジュールを提案する。
そこで我々は,検索表現を隠蔽状態に融合させるために,リランカベーススキームと順序マスクベーススキームの2つの効果的なランキングスキームを含む検索融合モジュールを提案する。
さらに,様々な層にわたる最適な融合構造を求めるために,ニューラルネットワーク探索(nas)を用いる。
最後に, 包括的実験を行い, 様々なnkiタスクにおいて, 優れたロバストな性能が得られることを実証した。
関連論文リスト
- GenCRF: Generative Clustering and Reformulation Framework for Enhanced Intent-Driven Information Retrieval [20.807374287510623]
我々は,多種多様な意図を適応的に捉えるための生成クラスタリング・改革フレームワークGenCRFを提案する。
我々はGenCRFが,nDCG@10で従来のクエリ修正SOTAを最大12%上回り,最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2024-09-17T05:59:32Z) - FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-08-15T16:45:16Z) - Retrieval with Learned Similarities [2.729516456192901]
最先端の検索アルゴリズムは、学習された類似点に移行した。
そこで本研究では,Mixture-of-Logits (MoL) を実証的に実現し,多様な検索シナリオにおいて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2024-07-22T08:19:34Z) - Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。
提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
論文 参考訳（メタデータ） (2024-06-04T12:43:23Z) - RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder
for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。
テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。
各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文 参考訳（メタデータ） (2023-10-16T16:42:01Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳（メタデータ） (2023-05-24T16:17:36Z) - On-the-fly Text Retrieval for End-to-End ASR Adaptation [9.304386210911822]
本稿では,部分的ASR仮説に対して,外部テキストコーパスから可算完了を抽出する検索言語モデルを用いてトランスデューサベースのASRモデルを強化することを提案する。
実験の結果,提案モデルにより,一対の質問応答データセット上でのトランスデューサベースラインの性能が大幅に向上することがわかった。
論文 参考訳（メタデータ） (2023-03-20T08:54:40Z) - ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。
これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。
種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
論文 参考訳（メタデータ） (2022-09-25T13:05:33Z) - Transformer-based Context Condensation for Boosting Feature Pyramids in
Object Detection [77.50110439560152]
現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。
我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。
特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
論文 参考訳（メタデータ） (2022-07-14T01:45:03Z) - Probing Linguistic Features of Sentence-Level Representations in Neural
Relation Extraction [80.38130122127882]
ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。
私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。
アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
論文 参考訳（メタデータ） (2020-04-17T09:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。