論文の概要: Grounding Language Model with Chunking-Free In-Context Retrieval

• arxiv url: http://arxiv.org/abs/2402.09760v1
• Date: Thu, 15 Feb 2024 07:22:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-02-16 16:44:20.123608
• Title: Grounding Language Model with Chunking-Free In-Context Retrieval
• Title（参考訳）: チャンキング自由文脈検索を用いた接地言語モデル
• Authors: Hongjin Qian, Zheng Liu, Kelong Mao, Yujia Zhou, Zhicheng Dou
• Abstract要約: 本稿では,新しいチャンキングフリー・インコンテキスト(CFIC)検索手法を提案する。
• 参考スコア（独自算出の注目度）: 27.316315081648572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel Chunking-Free In-Context (CFIC) retrieval approach, specifically tailored for Retrieval-Augmented Generation (RAG) systems. Traditional RAG systems often struggle with grounding responses using precise evidence text due to the challenges of processing lengthy documents and filtering out irrelevant content. Commonly employed solutions, such as document chunking and adapting language models to handle longer contexts, have their limitations. These methods either disrupt the semantic coherence of the text or fail to effectively address the issues of noise and inaccuracy in evidence retrieval. CFIC addresses these challenges by circumventing the conventional chunking process. It utilizes the encoded hidden states of documents for in-context retrieval, employing auto-aggressive decoding to accurately identify the specific evidence text required for user queries, eliminating the need for chunking. CFIC is further enhanced by incorporating two decoding strategies, namely Constrained Sentence Prefix Decoding and Skip Decoding. These strategies not only improve the efficiency of the retrieval process but also ensure that the fidelity of the generated grounding text evidence is maintained. Our evaluations of CFIC on a range of open QA datasets demonstrate its superiority in retrieving relevant and accurate evidence, offering a significant improvement over traditional methods. By doing away with the need for document chunking, CFIC presents a more streamlined, effective, and efficient retrieval solution, making it a valuable advancement in the field of RAG systems.
• Abstract（参考訳）: 本稿では,新しいチャンキングフリー・インコンテキスト(CFIC)検索手法を提案する。 従来のragシステムは、長い文書の処理や無関係なコンテンツをフィルタリングすることの難しさから、正確な証拠テキストによる応答の接地に苦労することが多い。 ドキュメントチャンキングや長いコンテキストを扱うために言語モデルを適用するといった一般的なソリューションには、制限がある。 これらの手法は、テキストのセマンティックコヒーレンスを妨害するか、証拠検索におけるノイズや不正確な問題に効果的に対処できないかのどちらかである。 CFICは従来のチャンキングプロセスを回避することでこれらの課題に対処する。 文書のエンコードされた隠された状態をインコンテキスト検索に利用し、自動攻撃的復号を用いてユーザクエリに必要な特定のエビデンステキストを正確に識別し、チャンキングの必要をなくす。 CFICはさらに2つのデコード戦略、すなわちConstrained Sentence Prefix DecodingとSkip Decodingを導入することで強化されている。 これらの戦略は、検索プロセスの効率を向上するだけでなく、生成した基底テキスト証拠の忠実さを確実に維持する。 オープンなQAデータセットに対するCFICの評価は、関連性および正確な証拠の検索において優位性を示し、従来の手法よりも大幅に改善された。 文書チャンキングを不要にすることで、CFICはより合理化され、効果的で効率的な検索ソリューションを提供し、RAGシステム分野における貴重な進歩となる。

関連論文リスト

• Reconstructing Context: Evaluating Advanced Chunking Strategies for Retrieval-Augmented Generation [0.0]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の拡張のための変換アプローチとなっている。 本研究では,RAGシステムの最適化における有効性と効率性を評価するため,遅延チャンキングと文脈検索の厳密な分析を行った。 この結果から,文脈検索は意味的コヒーレンスをより効果的に保存するが,計算資源が大きいことが示唆された。
  論文  参考訳（メタデータ） (2025-04-28T12:52:05Z)
• QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding [53.69841526266547]
  トレーニング済みのVision-Language Modelを新しいデータセットで微調整することは、ビジョンエンコーダの最適化に不足することが多い。 視覚エンコーダにクエリの埋め込みを統合する,新しい,合理化されたアーキテクチャ保存アプローチであるQIDを導入する。
  論文  参考訳（メタデータ） (2025-04-03T18:47:16Z)
• Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [11.053340674721005]
  検索拡張世代(RAG)は,外部知識ソースを統合することで言語モデルを強化する強力なアプローチとして注目されている。 本稿では、リアルタイム検索をバイパスする代替パラダイムであるキャッシュ拡張生成(CAG)を提案する。
  論文  参考訳（メタデータ） (2024-12-20T06:58:32Z)
• RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation [21.764973680014368]
  RetroLLMは、検索と生成を単一の凝集プロセスに統合する統合フレームワークである。 制約付きエビデンス生成の過程での偽プルーニングを軽減するために,階層的FM-Index制約を導入する。 5つのオープンドメインQAデータセットの実験では、ドメイン内タスクとドメイン外タスクの両方にわたって、RetroLLMの優れたパフォーマンスが示されている。
  論文  参考訳（メタデータ） (2024-12-16T16:03:25Z)
• Is Semantic Chunking Worth the Computational Cost? [0.0]
  本研究は,3つの共通検索タスクを用いた意味的チャンキングの有効性を体系的に評価する。 その結果,セマンティックチャンキングに伴う計算コストは,一貫した性能向上によって正当化されないことがわかった。
  論文  参考訳（メタデータ） (2024-10-16T21:53:48Z)
• Vietnamese Legal Information Retrieval in Question-Answering System [0.0]
  Retrieval Augmented Generation (RAG)は,大規模言語モデル(LLM)の能力向上に大きく貢献している。 しかしながら、RAGはいくつかの課題のためにベトナム語に適用されると、しばしば不足する。 本報告では,これらの課題に対処するための3つの主な修正点を紹介する。
  論文  参考訳（メタデータ） (2024-09-05T02:34:05Z)
• Improving Retrieval in Sponsored Search by Leveraging Query Context Signals [6.152499434499752]
  本稿では,クエリをリッチなコンテキスト信号で拡張することで,クエリ理解を強化する手法を提案する。 我々は、Web検索のタイトルとスニペットを使って、現実世界の情報にクエリを接地し、GPT-4を使ってクエリの書き直しと説明を生成する。 我々の文脈認識アプローチは文脈自由モデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-07-19T14:28:53Z)
• SparseCL: Sparse Contrastive Learning for Contradiction Retrieval [87.02936971689817]
  コントラディション検索(Contradiction Search)とは、クエリの内容に明示的に異を唱える文書を識別し、抽出することである。 類似性探索やクロスエンコーダモデルといった既存の手法には、大きな制限がある。 文間の微妙で矛盾したニュアンスを保存するために特別に訓練された文埋め込みを利用するSparseCLを導入する。
  論文  参考訳（メタデータ） (2024-06-15T21:57:03Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
  生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。 FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。 テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-14T18:41:54Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback [29.719150565643965]
  本稿では,疑似関連性フィードバック(PRF)を用いて高密度検索のためのクエリ表現を改善する新しいクエリエンコーダであるANCE-PRFを提案する。 ANCE-PRF は BERT エンコーダを使用し、検索モデルである ANCE からクエリとトップ検索されたドキュメントを消費し、関連ラベルから直接クエリの埋め込みを生成する。 PRFエンコーダは、学習された注意機構でノイズを無視しながら、PRF文書から関連および補完的な情報を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2021-08-30T18:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。