論文の概要: Grounding Language Model with Chunking-Free In-Context Retrieval

• arxiv url: http://arxiv.org/abs/2402.09760v1
• Date: Thu, 15 Feb 2024 07:22:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-02-16 16:44:20.123608
• Title: Grounding Language Model with Chunking-Free In-Context Retrieval
• Title（参考訳）: チャンキング自由文脈検索を用いた接地言語モデル
• Authors: Hongjin Qian, Zheng Liu, Kelong Mao, Yujia Zhou, Zhicheng Dou
• Abstract要約: 本稿では,新しいチャンキングフリー・インコンテキスト(CFIC)検索手法を提案する。
• 参考スコア（独自算出の注目度）: 27.316315081648572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel Chunking-Free In-Context (CFIC) retrieval approach, specifically tailored for Retrieval-Augmented Generation (RAG) systems. Traditional RAG systems often struggle with grounding responses using precise evidence text due to the challenges of processing lengthy documents and filtering out irrelevant content. Commonly employed solutions, such as document chunking and adapting language models to handle longer contexts, have their limitations. These methods either disrupt the semantic coherence of the text or fail to effectively address the issues of noise and inaccuracy in evidence retrieval. CFIC addresses these challenges by circumventing the conventional chunking process. It utilizes the encoded hidden states of documents for in-context retrieval, employing auto-aggressive decoding to accurately identify the specific evidence text required for user queries, eliminating the need for chunking. CFIC is further enhanced by incorporating two decoding strategies, namely Constrained Sentence Prefix Decoding and Skip Decoding. These strategies not only improve the efficiency of the retrieval process but also ensure that the fidelity of the generated grounding text evidence is maintained. Our evaluations of CFIC on a range of open QA datasets demonstrate its superiority in retrieving relevant and accurate evidence, offering a significant improvement over traditional methods. By doing away with the need for document chunking, CFIC presents a more streamlined, effective, and efficient retrieval solution, making it a valuable advancement in the field of RAG systems.
• Abstract（参考訳）: 本稿では,新しいチャンキングフリー・インコンテキスト(CFIC)検索手法を提案する。 従来のragシステムは、長い文書の処理や無関係なコンテンツをフィルタリングすることの難しさから、正確な証拠テキストによる応答の接地に苦労することが多い。 ドキュメントチャンキングや長いコンテキストを扱うために言語モデルを適用するといった一般的なソリューションには、制限がある。 これらの手法は、テキストのセマンティックコヒーレンスを妨害するか、証拠検索におけるノイズや不正確な問題に効果的に対処できないかのどちらかである。 CFICは従来のチャンキングプロセスを回避することでこれらの課題に対処する。 文書のエンコードされた隠された状態をインコンテキスト検索に利用し、自動攻撃的復号を用いてユーザクエリに必要な特定のエビデンステキストを正確に識別し、チャンキングの必要をなくす。 CFICはさらに2つのデコード戦略、すなわちConstrained Sentence Prefix DecodingとSkip Decodingを導入することで強化されている。 これらの戦略は、検索プロセスの効率を向上するだけでなく、生成した基底テキスト証拠の忠実さを確実に維持する。 オープンなQAデータセットに対するCFICの評価は、関連性および正確な証拠の検索において優位性を示し、従来の手法よりも大幅に改善された。 文書チャンキングを不要にすることで、CFICはより合理化され、効果的で効率的な検索ソリューションを提供し、RAGシステム分野における貴重な進歩となる。

関連論文リスト

• ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
  ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
  論文  参考訳（メタデータ） (2025-11-27T19:01:02Z)
• Towards Context-aware Reasoning-enhanced Generative Searching in E-commerce [61.03081096959132]
  そこで本稿では,複雑な状況下でのテキストバウンダリングを改善するための,文脈対応推論強化型生成検索フレームワークを提案する。 提案手法は,強力なベースラインに比べて優れた性能を示し,検索に基づく推薦の有効性を検証した。
  論文  参考訳（メタデータ） (2025-10-19T16:46:11Z)
• Embedding-Based Context-Aware Reranker [11.885086835801523]
  Retrieval-Augmented Generation (RAG) システムは、下流生成をサポートするためにコーパスから関連する証拠を取得することに依存している。 本稿では,検索したパスの埋め込みを直接操作する軽量なリグレードフレームワークである Embedding-based Context-Aware Reranker (EBCAR) を提案する。 ConTEBベンチマークを用いて,SOTAリランカに対するEBCARの評価を行い,クロスパス推論を必要とする情報検索の有効性を実証した。
  論文  参考訳（メタデータ） (2025-10-15T09:14:04Z)
• Towards Reliable Retrieval in RAG Systems for Large Legal Datasets [6.376251215279889]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚を緩和するための有望なアプローチである これは、構造的に類似したドキュメントの大規模なデータベースが、しばしば検索システムに障害を引き起こす、法的領域において特に困難である。 文書レベルの合成要約で各テキストチャンクを拡大する,単純で効率的な手法について検討する。 我々の研究は、この実用的でスケーラブルで、容易に統合可能な手法が、大規模法的文書データセットに適用した場合、RAGシステムの信頼性を高める証拠を提供する。
  論文  参考訳（メタデータ） (2025-10-08T13:22:20Z)
• ReliabilityRAG: Effective and Provably Robust Defense for RAG-based Web-Search [69.60882125603133]
  本稿では,検索した文書の信頼性情報を明確に活用する,敵対的堅牢性のためのフレームワークであるReliabilityRAGを提案する。 我々の研究は、RAGの回収されたコーパスの腐敗に対するより効果的で確実に堅牢な防御に向けた重要な一歩である。
  論文  参考訳（メタデータ） (2025-09-27T22:36:42Z)
• Improving Context Fidelity via Native Retrieval-Augmented Reasoning [35.50952279309109]
  大規模言語モデル(LLM)は、しばしば文脈の忠実さと闘い、提供された情報に基づいて質問に答えるときに矛盾する答えを生み出す。 提案するCAREは, LLMに対して, モデル独自の検索機能を用いて, 推論プロセス内での文脈内証拠を明示的に統合するように教える, 新たなネイティブ検索拡張推論フレームワークである。 提案手法では,限定ラベル付きエビデンスデータが必要であり,推論チェーン内の戦略的に検索されたインコンテキストトークンを通じて,検索精度と回答生成性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-09-17T04:28:07Z)
• Enhancing Retrieval Augmented Generation with Hierarchical Text Segmentation Chunking [0.9968037829925942]
  本稿では階層的なテキストセグメンテーションとクラスタリングを統合してRAGを強化する新しいフレームワークを提案する。 推論中、このフレームワークはセグメントレベルのベクトル表現とクラスタレベルのベクトル表現の両方を活用することで情報を取得する。 ナラティブQA,Quality,QASPERデータセットの評価は,従来のチャンキング手法と比較して,提案手法が改善したことを示している。
  論文  参考訳（メタデータ） (2025-07-14T05:21:58Z)
• Tree-Based Text Retrieval via Hierarchical Clustering in RAGFrameworks: Application on Taiwanese Regulations [0.0]
  階層的なクラスタリングに基づく検索手法を提案する。 本手法は,意味的関連コンテンツを適応的に選択しながら,システム応答の精度と関連性を維持する。 我々のフレームワークは実装が簡単で、既存のRAGパイプラインと簡単に統合できます。
  論文  参考訳（メタデータ） (2025-06-16T15:34:29Z)
• DISRetrieval: Harnessing Discourse Structure for Long Document Retrieval [51.89673002051528]
  DISRetrievalは、言語談話構造を利用して長い文書理解を強化する新しい階層的検索フレームワークである。 本研究は,談話構造が文書の長さや問合せの種類によって検索効率を著しく向上することを確認する。
  論文  参考訳（メタデータ） (2025-05-26T14:45:12Z)
• Reconstructing Context: Evaluating Advanced Chunking Strategies for Retrieval-Augmented Generation [0.0]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の拡張のための変換アプローチとなっている。 本研究では,RAGシステムの最適化における有効性と効率性を評価するため,遅延チャンキングと文脈検索の厳密な分析を行った。 この結果から,文脈検索は意味的コヒーレンスをより効果的に保存するが,計算資源が大きいことが示唆された。
  論文  参考訳（メタデータ） (2025-04-28T12:52:05Z)
• QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding [53.69841526266547]
  トレーニング済みのVision-Language Modelを新しいデータセットで微調整することは、ビジョンエンコーダの最適化に不足することが多い。 視覚エンコーダにクエリの埋め込みを統合する,新しい,合理化されたアーキテクチャ保存アプローチであるQIDを導入する。
  論文  参考訳（メタデータ） (2025-04-03T18:47:16Z)
• Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [11.053340674721005]
  検索拡張世代(RAG)は,外部知識ソースを統合することで言語モデルを強化する強力なアプローチとして注目されている。 本稿では、リアルタイム検索をバイパスする代替パラダイムであるキャッシュ拡張生成(CAG)を提案する。
  論文  参考訳（メタデータ） (2024-12-20T06:58:32Z)
• RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation [21.764973680014368]
  RetroLLMは、検索と生成を単一の凝集プロセスに統合する統合フレームワークである。 制約付きエビデンス生成の過程での偽プルーニングを軽減するために,階層的FM-Index制約を導入する。 5つのオープンドメインQAデータセットの実験では、ドメイン内タスクとドメイン外タスクの両方にわたって、RetroLLMの優れたパフォーマンスが示されている。
  論文  参考訳（メタデータ） (2024-12-16T16:03:25Z)
• Is Semantic Chunking Worth the Computational Cost? [0.0]
  本研究は,3つの共通検索タスクを用いた意味的チャンキングの有効性を体系的に評価する。 その結果,セマンティックチャンキングに伴う計算コストは,一貫した性能向上によって正当化されないことがわかった。
  論文  参考訳（メタデータ） (2024-10-16T21:53:48Z)
• Vietnamese Legal Information Retrieval in Question-Answering System [0.0]
  Retrieval Augmented Generation (RAG)は,大規模言語モデル(LLM)の能力向上に大きく貢献している。 しかしながら、RAGはいくつかの課題のためにベトナム語に適用されると、しばしば不足する。 本報告では,これらの課題に対処するための3つの主な修正点を紹介する。
  論文  参考訳（メタデータ） (2024-09-05T02:34:05Z)
• Improving Retrieval in Sponsored Search by Leveraging Query Context Signals [6.152499434499752]
  本稿では,クエリをリッチなコンテキスト信号で拡張することで,クエリ理解を強化する手法を提案する。 我々は、Web検索のタイトルとスニペットを使って、現実世界の情報にクエリを接地し、GPT-4を使ってクエリの書き直しと説明を生成する。 我々の文脈認識アプローチは文脈自由モデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-07-19T14:28:53Z)
• SparseCL: Sparse Contrastive Learning for Contradiction Retrieval [87.02936971689817]
  コントラディション検索(Contradiction Search)とは、クエリの内容に明示的に異を唱える文書を識別し、抽出することである。 類似性探索やクロスエンコーダモデルといった既存の手法には、大きな制限がある。 文間の微妙で矛盾したニュアンスを保存するために特別に訓練された文埋め込みを利用するSparseCLを導入する。
  論文  参考訳（メタデータ） (2024-06-15T21:57:03Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
  生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。 FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。 テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-14T18:41:54Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback [29.719150565643965]
  本稿では,疑似関連性フィードバック(PRF)を用いて高密度検索のためのクエリ表現を改善する新しいクエリエンコーダであるANCE-PRFを提案する。 ANCE-PRF は BERT エンコーダを使用し、検索モデルである ANCE からクエリとトップ検索されたドキュメントを消費し、関連ラベルから直接クエリの埋め込みを生成する。 PRFエンコーダは、学習された注意機構でノイズを無視しながら、PRF文書から関連および補完的な情報を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2021-08-30T18:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。