論文の概要: Diversity Enhances an LLM's Performance in RAG and Long-context Task

• arxiv url: http://arxiv.org/abs/2502.09017v1
• Date: Thu, 13 Feb 2025 07:11:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:50:11.347079
• Title: Diversity Enhances an LLM's Performance in RAG and Long-context Task
• Title（参考訳）: RAGおよびLong-contextタスクにおけるLLMの性能向上
• Authors: Zhchao Wang, Bin Bi, Yanqi Luo, Sitaram Asur, Claire Na Cheng,
• Abstract要約: 一般的なアプローチは、クエリに最も近いコンテンツを選択することである。 これはしばしば冗長性と、多様だが関連する情報の排除につながる。 その結果,多様性を取り入れることで,関連文やチャンクの選択のリコールが大幅に増加することが明らかとなった。
• 参考スコア（独自算出の注目度）: 4.7453434832618395
• License:
• Abstract: The rapid advancements in large language models (LLMs) have highlighted the challenge of context window limitations, primarily due to the quadratic time complexity of the self-attention mechanism (\(O(N^2)\), where \(N\) denotes the context window length). This constraint impacts tasks such as retrieval-augmented generation (RAG) in question answering (Q\&A) and long context summarization. A common approach involves selecting content with the highest similarity to the query; however, this often leads to redundancy and the exclusion of diverse yet relevant information. Building on principles from Maximal Marginal Relevance (MMR) and Farthest Point Sampling (FPS), we integrate diversity into the content selection process. Our findings reveal that incorporating diversity substantially increases the recall of selecting relevant sentences or chunks before LLM-based Q\&A and summarization. These results highlight the importance of maintaining diversity in future LLM applications to further improve summarization and Q\&A outcomes.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、主にコンテキストウィンドウ長を表す自己注意機構(\(O(N^2)\)の二次的な時間的複雑さによって、コンテキストウィンドウ制限の課題を浮き彫りにした。 この制約は、質問応答(Q\&A)や長期文脈要約などのタスクに影響を及ぼす。 一般的なアプローチは、クエリと最も類似したコンテンツを選択することであるが、これはしばしば冗長性と、多種多様な関連情報の排除につながる。 MMR(Maximal Marginal Relevance)とFarthest Point Sampling(FPS)の原則に基づいて、コンテンツ選択プロセスに多様性を統合する。 その結果,多様性を取り入れることで,LLMに基づくQ\&Aや要約よりも,関連文やチャンクの選択のリコールが大幅に増加することが明らかとなった。 これらの結果は,今後のLCMアプリケーションにおける多様性の維持の重要性を強調し,要約とQ\&A結果をさらに改善する。

関連論文リスト

• Emulating Retrieval Augmented Generation via Prompt Engineering for Enhanced Long Context Comprehension in LLMs [23.960451986662996]
  本稿では,レトリーバル拡張生成(RAG)を特殊エンジニアリングとチェーンオブ思考推論によりエミュレートする手法を提案する。 我々は,BABILong から選択したタスクに対するアプローチを評価し,大量の散逸テキストを用いた標準 bAbI QA 問題をインターリーブする。
  論文  参考訳（メタデータ） (2025-02-18T02:49:40Z)
• VERUS-LM: a Versatile Framework for Combining LLMs with Symbolic Reasoning [8.867818326729367]
  本稿では,ニューロシンボリック推論の新しい枠組みであるVERUS-LMを紹介する。 VERUS-LMは汎用的なプロンプト機構を採用し、クエリからドメイン知識を明確に分離する。 提案手法は,LLMを著しく上回る,新しいデータセットの多種多様な推論に成功していることを示す。
  論文  参考訳（メタデータ） (2025-01-24T14:45:21Z)
• Re-ranking the Context for Multimodal Retrieval Augmented Generation [28.63893944806149]
  Retrieval-augmented Generation (RAG)は、文脈内で応答を生成するために外部知識を組み込むことで、大きな言語モデル(LLM)を強化する。 RAGシステムは固有の課題に直面している: (i) 検索プロセスはユーザクエリ(画像、文書など)への無関係なエントリを選択することができ、 (ii) 視覚言語モデルや GPT-4o のようなマルチモーダル言語モデルは、RAG出力を生成するためにこれらのエントリを処理する際に幻覚を与える。 より高度な関連性尺度を用いることで、知識ベースからより関連性の高い項目を選択して排除することにより、検索プロセスを強化することができることを示す。
  論文  参考訳（メタデータ） (2025-01-08T18:58:22Z)
• VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation [100.06122876025063]
  本稿では,マルチドキュメント設定でQAシステムを評価するために設計された,初の総合ベンチマークであるVisDoMBenchを紹介する。 視覚とテキストのRAGを同時に利用する新しいマルチモーダル検索拡張生成(RAG)手法であるVisDoMRAGを提案する。
  論文  参考訳（メタデータ） (2024-12-14T06:24:55Z)
• Multi-granularity Contrastive Cross-modal Collaborative Generation for End-to-End Long-term Video Question Answering [53.39158264785098]
  ビデオQA(Long-term Video Question Answering)は、視覚的および言語的ブリッジングの課題である。 マルチグラニュラリティ コントラスト クロスモーダル・コラボレーティブ・ジェネレーション・モデル。
  論文  参考訳（メタデータ） (2024-10-12T06:21:58Z)
• FltLM: An Intergrated Long-Context Large Language Model for Effective Context Filtering and Understanding [32.197113821638936]
  我々は,新しいLong-Context Large Language Model (FltLM)を提案する。 FltLMはコンテキストフィルタをソフトマスク機構に組み込み、関連する情報に集中するために無関係な内容を特定し、動的に排除する。 実験の結果,複雑なQAシナリオにおいて,FltLMは教師付き微調整法や検索法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-09T13:47:50Z)
• Better RAG using Relevant Information Gain [1.5604249682593647]
  大きな言語モデル(LLM)のメモリを拡張する一般的な方法は、検索拡張生成(RAG)である。 本稿では,検索結果の集合に対するクエリに関連する総情報の確率的尺度である,関連情報ゲインに基づく新しい単純な最適化指標を提案する。 RAGシステムの検索コンポーネントのドロップイン置換として使用すると、質問応答タスクにおける最先端のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2024-07-16T18:09:21Z)
• IDEAL: Leveraging Infinite and Dynamic Characterizations of Large Language Models for Query-focused Summarization [59.06663981902496]
  クエリ中心の要約(QFS)は、特定の関心事に答え、より優れたユーザ制御とパーソナライゼーションを可能にする要約を作成することを目的としている。 本稿では,LLMを用いたQFSモデル,Longthy Document Summarization,およびクエリ-LLMアライメントの2つの重要な特徴について検討する。 これらのイノベーションは、QFS技術分野における幅広い応用とアクセシビリティの道を開いた。
  論文  参考訳（メタデータ） (2024-07-15T07:14:56Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Diversify Question Generation with Retrieval-Augmented Style Transfer [68.00794669873196]
  本稿では,検索型スタイル転送のためのフレームワーク RAST を提案する。 本研究の目的は,多様なテンプレートのスタイルを質問生成に活用することである。 多様性報酬と一貫性報酬の重み付けを最大化する新しい強化学習(RL)ベースのアプローチを開発する。
  論文  参考訳（メタデータ） (2023-10-23T02:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。