論文の概要: ReFusion: Improving Natural Language Understanding with Computation-Efficient Retrieval Representation Fusion

• arxiv url: http://arxiv.org/abs/2401.02993v2
• Date: Mon, 27 May 2024 07:04:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 08:04:22.417409
• Title: ReFusion: Improving Natural Language Understanding with Computation-Efficient Retrieval Representation Fusion
• Title（参考訳）: Refusion: 計算効率の良い検索表現融合による自然言語理解の改善
• Authors: Shangyu Wu, Ying Xiong, Yufei Cui, Xue Liu, Buzhou Tang, Tei-Wei Kuo, Chun Jason Xue,
• Abstract要約: 言語モデルに外部データベースからの知識を取り入れた検索ベース拡張(RA)は,様々な知識集約(KI)タスクに大きく成功している。 既存の作業は、モデル性能を改善するために、検索と入力を結合することに焦点を当てている。 本稿では,二段階最適化を用いた計算効率の高い検索表現Fusionである textbfReFusion の新たなパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 22.164620956284466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-based augmentations (RA) incorporating knowledge from an external database into language models have greatly succeeded in various knowledge-intensive (KI) tasks. However, integrating retrievals in non-knowledge-intensive (NKI) tasks is still challenging. Existing works focus on concatenating retrievals with inputs to improve model performance. Unfortunately, the use of retrieval concatenation-based augmentations causes an increase in the input length, substantially raising the computational demands of attention mechanisms. This paper proposes a new paradigm of RA named \textbf{ReFusion}, a computation-efficient Retrieval representation Fusion with bi-level optimization. Unlike previous works, ReFusion directly fuses the retrieval representations into the hidden states of models. Specifically, ReFusion leverages an adaptive retrieval integrator to seek the optimal combination of the proposed ranking schemes across different model layers. Experimental results demonstrate that the proposed ReFusion can achieve superior and robust performance in various NKI tasks.
• Abstract（参考訳）: 言語モデルに外部データベースからの知識を取り入れた検索ベース拡張(RA)は,様々な知識集約(KI)タスクに大きく成功している。 しかし,非知識集約型タスク(NKI)における検索の統合は依然として困難である。 既存の作業は、モデル性能を改善するために、検索と入力を結合することに焦点を当てている。 残念ながら、検索結合に基づく拡張の使用は、入力長を増大させ、注意機構の計算要求を大幅に高める。 本稿では,二段階最適化を用いた計算効率の高い検索表現Fusion である textbf{ReFusion} という新しいパラダイムを提案する。 以前の作品とは異なり、ReFusionは検索表現を直接モデルの隠れた状態に融合する。 具体的には、ReFusionは適応型検索積分器を利用して、異なるモデル層にまたがって提案されたランキングスキームの最適組み合わせを求める。 実験により,提案したReFusionは様々なNKIタスクにおいて,優れた,ロバストな性能が得られることが示された。

関連論文リスト

• Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
  本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。 提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-04T12:43:23Z)
• RAG-Fusion: a New Take on Retrieval-Augmented Generation [0.0]
  Infineonは、エンジニア、アカウントマネージャ、顧客が迅速に製品情報を取得する必要性を特定している。 この研究は人工知能(AI)と自然言語処理(NLP)の応用において大きな進歩をみせている。
  論文  参考訳（メタデータ） (2024-01-31T22:06:07Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
  検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。 モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
  論文  参考訳（メタデータ） (2023-05-24T16:17:36Z)
• On-the-fly Text Retrieval for End-to-End ASR Adaptation [9.304386210911822]
  本稿では,部分的ASR仮説に対して,外部テキストコーパスから可算完了を抽出する検索言語モデルを用いてトランスデューサベースのASRモデルを強化することを提案する。 実験の結果,提案モデルにより,一対の質問応答データセット上でのトランスデューサベースラインの性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-03-20T08:54:40Z)
• Optimal Condition Training for Target Source Separation [56.86138859538063]
  単一チャネルターゲットソース分離のための最適条件学習法を提案する。 多様な意味概念によってもたらされる相補的な情報は、興味の源泉を乱して分離するのに大いに役立ちます。
  論文  参考訳（メタデータ） (2022-11-11T00:04:55Z)
• ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
  粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。 これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。 種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-09-25T13:05:33Z)
• Transformer-based Context Condensation for Boosting Feature Pyramids in Object Detection [77.50110439560152]
  現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。 我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。 特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
  論文  参考訳（メタデータ） (2022-07-14T01:45:03Z)
• GQE-PRF: Generative Query Expansion with Pseudo-Relevance Feedback [8.142861977776256]
  PRFに基づくクエリ拡張にテキスト生成モデルを効果的に統合する新しい手法を提案する。 提案手法では,初期クエリと擬似関連フィードバックの両方を条件としたニューラルテキスト生成モデルを用いて,拡張クエリ項を生成する。 2つのベンチマークデータセットを用いて,情報検索タスクに対するアプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2021-08-13T01:09:02Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。