論文の概要: Quest: Query-centric Data Synthesis Approach for Long-context Scaling of Large Language Model

• arxiv url: http://arxiv.org/abs/2405.19846v5
• Date: Wed, 09 Oct 2024 12:14:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:30:06.527350
• Title: Quest: Query-centric Data Synthesis Approach for Long-context Scaling of Large Language Model
• Title（参考訳）: Quest:大規模言語モデルの長文スケーリングのためのクエリ中心のデータ合成手法
• Authors: Chaochen Gao, Xing Wu, Qi Fu, Songlin Hu,
• Abstract要約: Questはクエリ中心のデータメソッドで、セマンティックに関連があるが多様なドキュメントを集約する。 生成モデルを使用して、ドキュメント毎の潜在的なクエリを予測し、同様のクエリとキーワードでドキュメントをグループ化する。 実験では、Questの長文タスクにおける優れたパフォーマンスを示し、最大100万トークンのコンテキスト長で顕著な結果が得られる。
• 参考スコア（独自算出の注目度）: 22.07414287186125
• License:
• Abstract: Recent advancements in large language models (LLMs) have highlighted the importance of extending context lengths for handling complex tasks. While traditional methods for training on long contexts often use filtered long documents, these approaches lead to domain imbalances, limiting model performance. To address this, techniques like random document concatenation (Standard) and similarity-based methods (KNN, ICLM) have been developed. However, they either sacrifice semantic coherence or diversity. To balance both aspects, we introduce Quest, a query-centric data synthesis method aggregating semantically relevant yet diverse documents. Quest uses a generative model to predict potential queries for each document, grouping documents with similar queries and keywords. Extensive experiments demonstrate Quest's superior performance on long-context tasks, achieving remarkable results with context lengths of up to 1M tokens and confirming its scalability across various model sizes.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、複雑なタスクを扱うためにコンテキスト長を拡張することの重要性を強調している。 長いコンテキストでトレーニングする伝統的な方法は、しばしばフィルタされた長いドキュメントを使うが、これらのアプローチはドメインの不均衡を招き、モデルの性能を制限している。 これを解決するために、ランダム文書連結(Standard)や類似性に基づく手法(KNN、ICLM)が開発されている。 しかし、それらはセマンティック・コヒーレンスや多様性を犠牲にする。 両面のバランスをとるために,クエリ中心のデータ合成手法であるQuestを紹介した。 Questは生成モデルを使用して、ドキュメント毎の潜在的なクエリを予測し、同様のクエリとキーワードでドキュメントをグループ化する。 大規模な実験は、Questの長時間コンテキストタスクにおける優れたパフォーマンスを示し、最大100万トークンのコンテキスト長で目覚ましい結果を達成し、さまざまなモデルサイズでそのスケーラビリティを確認します。

関連論文リスト

• Query-oriented Data Augmentation for Session Search [71.84678750612754]
  本稿では,検索ログの強化とモデリングの強化を目的としたクエリ指向データ拡張を提案する。 検索コンテキストの最も重要な部分を変更することで補足的なトレーニングペアを生成する。 我々は、現在のクエリを変更するためのいくつかの戦略を開発し、その結果、様々な難易度で新しいトレーニングデータを得る。
  論文  参考訳（メタデータ） (2024-07-04T08:08:33Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation [16.170841777591345]
  Dianpingのようなほとんどのソーシャル検索シナリオでは、検索関連性のモデリングは常に2つの課題に直面している。 まず、クエリベースの要約と、クエリなしで文書の要約をトピック関連モデルの入力として取り上げる。 そこで我々は,大規模言語モデル(LLM)の言語理解と生成能力を利用して,既存のトレーニングデータにおけるクエリやドキュメントからのクエリを書き換え,生成する。
  論文  参考訳（メタデータ） (2024-04-03T10:05:47Z)
• Retrieval-Generation Synergy Augmented Large Language Models [30.53260173572783]
  本稿では,反復的な検索・生成協調フレームワークを提案する。 シングルホップQAとマルチホップQAタスクを含む4つの質問応答データセットの実験を行った。
  論文  参考訳（メタデータ） (2023-10-08T12:50:57Z)
• Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
  本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。 我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。 エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
  論文  参考訳（メタデータ） (2022-10-13T15:18:04Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• Query-Based Keyphrase Extraction from Long Documents [4.823229052465654]
  本稿では,長文をチャンクすることでキーフレーズ抽出の問題を克服する。 システムは、事前訓練されたBERTモデルを採用し、それを適応して、与えられたテキストがキーフレーズを形成する確率を推定する。
  論文  参考訳（メタデータ） (2022-05-11T10:29:30Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• Tradeoffs in Sentence Selection Techniques for Open-Domain Question Answering [54.541952928070344]
  文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。 非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
  論文  参考訳（メタデータ） (2020-09-18T23:39:15Z)
• Beyond 512 Tokens: Siamese Multi-depth Transformer-based Hierarchical Encoder for Long-Form Document Matching [28.190001111358438]
  長文文書マッチングのためのシームズ多層変換器を用いたSMITHを提案する。 我々のモデルには、より長いテキスト入力に自己注意モデルを適用するためのいくつかの革新が含まれている。 われわれはウィキペディアベースのベンチマークデータセット、コード、トレーニング済みのチェックポイントをオープンソース化し、長文文書マッチングの今後の研究を加速する。
  論文  参考訳（メタデータ） (2020-04-26T07:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。