論文の概要: FiD-Light: Efficient and Effective Retrieval-Augmented Text Generation

• arxiv url: http://arxiv.org/abs/2209.14290v1
• Date: Wed, 28 Sep 2022 17:54:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 17:31:30.387519
• Title: FiD-Light: Efficient and Effective Retrieval-Augmented Text Generation
• Title（参考訳）: FiD-Light: 効率的な検索用テキスト生成
• Authors: Sebastian Hofst\"atter, Jiecao Chen, Karthik Raman, Hamed Zamani
• Abstract要約: 我々は、最先端の検索強化FiDモデルの効率を高めるためにFiD-Lightを導入する。 我々は、最上位の精度を改善するために、ソースポインタを介してFiD-Lightを再ランク機能に適応する。
• 参考スコア（独自算出の注目度）: 19.17759446168802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation models offer many benefits over standalone language models: besides a textual answer to a given query they provide provenance items retrieved from an updateable knowledge base. However, they are also more complex systems and need to handle long inputs. In this work, we introduce FiD-Light to strongly increase the efficiency of the state-of-the-art retrieval-augmented FiD model, while maintaining the same level of effectiveness. Our FiD-Light model constrains the information flow from the encoder (which encodes passages separately) to the decoder (using concatenated encoded representations). Furthermore, we adapt FiD-Light with re-ranking capabilities through textual source pointers, to improve the top-ranked provenance precision. Our experiments on a diverse set of seven knowledge intensive tasks (KILT) show FiD-Light consistently improves the Pareto frontier between query latency and effectiveness. FiD-Light with source pointing sets substantial new state-of-the-art results on six KILT tasks for combined text generation and provenance retrieval evaluation, while maintaining reasonable efficiency.
• Abstract（参考訳）: 検索の強化された生成モデルは、スタンドアロンの言語モデルよりも多くの利点を提供する。 しかし、それらはより複雑なシステムであり、長い入力を扱う必要がある。 本研究では,同じ効果レベルを維持しつつ,最先端検索型fidモデルの効率を高めるため,fid-lightを導入する。 我々のFiD-Lightモデルは、エンコーダ(パスを別々にエンコードする)からデコーダ(連結エンコーダ表現を用いる)への情報フローを制限する。 さらに,テキスト・ソース・ポインタによるFiD-Lightの高階化を図り,最上位の精度を向上する。 多様な7つの知識集約タスク(KILT)に関する実験では、クエリ待ち時間と有効性の間のParetoフロンティアが一貫して改善されている。 ソースポインティング付きFiD-Lightは、6つのKILTタスクに対して、妥当な効率を維持しつつ、テキスト生成とプロビタンス評価を組み合わせて実現した。

関連論文リスト

• SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Models [34.3296459569307]
  大規模言語モデル(LLM)は目覚ましい能力を示しているが、その出力は信頼できないことや、事実的に間違っていることがある。 本稿では,LLMの真性を高める新しいデコードフレームワークであるSelf Logits Evolution Decoding(SLED)を紹介する。 既存の復号法と比較して,SLEDは実写精度を最大20%向上することを示す。
  論文  参考訳（メタデータ） (2024-11-01T17:33:34Z)
• Unleashing the Power of LLMs as Multi-Modal Encoders for Text and Graph-Structured Data [42.18348019901044]
  グラフ構造化情報は、言語モデルを強化するためのリッチなコンテキスト情報を提供する。 グラフとテキストの埋め込みを統合する既存の方法は、これらのモダリティの不均一性を完全に活用する能力に制限されている。 我々は,大規模言語モデル(LLM)を利用してテキストとグラフデータを共同符号化するフレームワークであるJanusを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:40:20Z)
• TG-LLaVA: Text Guided LLaVA via Learnable Latent Embeddings [61.9257731511557]
  視覚言語モデル(VLM)を最適化するためのテキストガイド付きLLaVA(TG-LLaVA)を提案する。 学習可能な潜伏埋め込みをブリッジとして使用し、テキスト命令を分析し、視覚エンコーダに解析結果をガイダンスとして付加する。 テキストのガイダンスによって、視覚エンコーダは、人間が質問を考えるとき、画像の最も関連性の高い部分に集中する方法と同様に、テキスト関連の特徴を抽出することができる。
  論文  参考訳（メタデータ） (2024-09-15T00:38:34Z)
• Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
  Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。 本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。 また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
  論文  参考訳（メタデータ） (2024-06-19T16:42:57Z)
• Lumina-Next: Making Lumina-T2X Stronger and Faster with Next-DiT [120.39362661689333]
  本稿では,Lumina-T2Xの改良版を提案する。 これらの改善により、Lumina-Nextは基本的なテキスト・ツー・イメージ生成の品質と効率を向上するだけでなく、優れた解像度の補間能力も示している。
  論文  参考訳（メタデータ） (2024-06-05T17:53:26Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• Improving Language Models via Plug-and-Play Retrieval Feedback [42.786225163763376]
  大規模言語モデル(LLM)は、様々なNLPタスクで顕著なパフォーマンスを示す。 彼らはしばしば誤った情報や幻覚的な情報を生成し、現実のシナリオにおける現実的な適用を妨げます。 ReFeedは,プラグイン・アンド・プレイフレームワークにおける自動検索フィードバックを提供することにより,LLMの強化を目的とした新しいパイプラインである。
  論文  参考訳（メタデータ） (2023-05-23T12:29:44Z)
• Controllable Data Augmentation Through Deep Relighting [75.96144853354362]
  我々は、既存のモデルが照度変化に不変である能力を改善するために、リライトを通じて様々な画像データセットを拡大する方法を探る。 我々は,エンコーダ・デコーダネットワークをベースとして,様々な入力シーンの照明の様々なバリエーションを迅速に生成できるツールを開発した。 パイプラインで拡張されたデータセットのモデルをトレーニングすることで、ローカライゼーションベンチマークでより高いパフォーマンスを実現することが可能であることを実証した。
  論文  参考訳（メタデータ） (2021-10-26T20:02:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。