論文の概要: Writing in the Margins: Better Inference Pattern for Long Context Retrieval
- arxiv url: http://arxiv.org/abs/2408.14906v1
- Date: Tue, 27 Aug 2024 09:34:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 14:23:37.071057
- Title: Writing in the Margins: Better Inference Pattern for Long Context Retrieval
- Title(参考訳): Margins:ロングコンテキスト検索のための推論パターンの改善
- Authors: Melisa Russak, Umar Jamil, Christopher Bryant, Kiran Kamble, Axel Magnuson, Mateusz Russak, Waseem AlShikh,
- Abstract要約: The Margins (WiM) は、検索指向タスクにおける長い入力シーケンスの処理を最適化するために設計された推論パターンである。
提案したパターンが,コンテキスト処理の進捗状況に関する継続的な更新をエンドユーザに提供する対話型検索設計にどのように適合するかを示す。
- 参考スコア(独自算出の注目度): 0.9404560827144429
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce Writing in the Margins (WiM), a new inference pattern for Large Language Models designed to optimize the handling of long input sequences in retrieval-oriented tasks. This approach leverages the chunked prefill of the key-value cache to perform segment-wise inference, which enables efficient processing of extensive contexts along with the generation and classification of intermediate information ("margins") that guide the model towards specific tasks. This method increases computational overhead marginally while significantly enhancing the performance of off-the-shelf models without the need for fine-tuning. Specifically, we observe that WiM provides an average enhancement of 7.5% in accuracy for reasoning skills (HotpotQA, MultiHop-RAG) and more than a 30.0% increase in the F1-score for aggregation tasks (CWE). Additionally, we show how the proposed pattern fits into an interactive retrieval design that provides end-users with ongoing updates about the progress of context processing, and pinpoints the integration of relevant information into the final response. We release our implementation of WiM using Hugging Face Transformers library at https://github.com/writer/writing-in-the-margins.
- Abstract(参考訳): 本稿では,検索指向タスクにおける長い入力シーケンスの処理を最適化するために,大規模言語モデルのための新しい推論パターンであるLinging in the Margins (WiM)を紹介する。
このアプローチはキーバリューキャッシュのチャンクプリフィルを利用してセグメントワイズ推論を行い、特定のタスクに向けてモデルを導く中間情報("margins")の生成と分類とともに、広範囲なコンテキストの効率的な処理を可能にする。
この方法は、微調整を必要とせず、計算オーバーヘッドを極端に増大させながら、市販モデルの性能を大幅に向上させる。
具体的には、WiMは推論スキル(HotpotQA、MultiHop-RAG)の平均7.5%の精度向上と、集約タスク(CWE)のF1スコアの30.0%以上の増加を提供する。
さらに,提案パターンが対話型検索設計にどのように適合するかを示し,コンテキスト処理の進捗状況に関する継続的な更新をエンドユーザに提供するとともに,関連する情報の統合を最終応答に向ける。
We release our implementation of WiM using Hugging Face Transformers library at https://github.com/writer/writing-in-the-margins。
関連論文リスト
- Better RAG using Relevant Information Gain [1.5604249682593647]
大きな言語モデル(LLM)のメモリを拡張する一般的な方法は、検索拡張生成(RAG)である。
本稿では,検索結果の集合に対するクエリに関連する総情報の確率的尺度である,関連情報ゲインに基づく新しい単純な最適化指標を提案する。
RAGシステムの検索コンポーネントのドロップイン置換として使用すると、質問応答タスクにおける最先端のパフォーマンスが得られる。
論文 参考訳(メタデータ) (2024-07-16T18:09:21Z) - Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models [0.8399688944263842]
大きな言語モデル(LLM)は、入力クエリから人間のようなテキストを理解し、生成する能力を持つ。
本研究では、この概念を、レトリーバル拡張生成(RAG)パイプライン内のLLMの統合に拡張する。
データ抽出と文脈理解における微調整がLLMの能力に与える影響を評価する。
論文 参考訳(メタデータ) (2024-06-17T04:35:17Z) - Training With "Paraphrasing the Original Text" Improves Long-Context Performance [19.48556587305737]
大きな言語モデル(LLM)は進化を続けており、長いコンテキスト入力を扱うように設計されている。
本研究では,LLMの学習能力を高めることを目的とした長文タスクのための学習データ設計手法を提案する。
LlamaおよびQwenのモデルを用いたLongBenchおよびNaturalQuestions Multi-document-QAデータセットの実験により,平均スコアが最大8.48%,4.48%向上した。
論文 参考訳(メタデータ) (2023-12-18T13:40:16Z) - Re-parameterized Low-rank Prompt: Generalize a Vision-Language Model
within 0.5K Parameters [75.28536311904489]
そこで我々は,RLP(Re- parameterized Low-rank Prompt)という新しいタイプのプロンプトを開発した。
11データセットを超える一連のタスクにおいて、RLPは0.5Kパラメータだけで古典的なプロンプトチューニングの平均下流精度を最大5.25%向上させる。
論文 参考訳(メタデータ) (2023-12-17T20:42:43Z) - Peek Across: Improving Multi-Document Modeling via Cross-Document
Question-Answering [49.85790367128085]
我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。
この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。
分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
論文 参考訳(メタデータ) (2023-05-24T17:48:40Z) - Efficient Training of Language Models to Fill in the Middle [17.118891860985123]
自動回帰言語モデルは、データセットに直接的な変換を適用した後、テキストを埋めることを学ぶことができる。
FIMモデルのトレーニングには、デフォルト設定の強い設定とベストプラクティスを規定するために、これらのアブリケーションを使用します。
私たちはAPIのベストプラクティスでトレーニングされた最高のインフィルモデルをリリースし、将来の研究を支援するためにインフィルベンチマークをリリースしました。
論文 参考訳(メタデータ) (2022-07-28T17:40:47Z) - Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。
我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。
本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文 参考訳(メタデータ) (2022-03-15T01:24:51Z) - Meeting Summarization with Pre-training and Clustering Methods [6.47783315109491]
HMNetcitehmnetは、ワードレベルのトランスフォーマーとターンレベルのトランスフォーマーの両方をベースラインとして使用する階層型ネットワークである。
中間クラスタリングステップでQMSumciteqmsumの位置列列化アプローチを拡張する。
ベースラインモデルの性能を,要約に有効な最先端言語モデルであるBARTと比較する。
論文 参考訳(メタデータ) (2021-11-16T03:14:40Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳(メタデータ) (2021-09-09T12:32:28Z) - X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented
Compositional Semantic Parsing [51.81533991497547]
タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。
本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。
本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
論文 参考訳(メタデータ) (2021-06-07T16:40:05Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。