論文の概要: Dynamic Chunking and Selection for Reading Comprehension of Ultra-Long Context in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.00773v2
• Date: Tue, 03 Jun 2025 13:29:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.67514
• Title: Dynamic Chunking and Selection for Reading Comprehension of Ultra-Long Context in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける超長期文脈の理解のための動的チャンキングと選択
• Authors: Boheng Sheng, Jiacheng Yao, Meicong Zhang, Guoxiu He,
• Abstract要約: 大きな言語モデル(LLM)は長いテキストを正確に読み書きするのに苦労することが多い。 現在の改善方法は、通常、長いコンテキストを固定長のチャンクに分割することに依存する。 本稿では,長いコンテキストのチャンクを動的に分離し,選択するための簡単なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 1.5817866616624976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) often struggle to accurately read and comprehend extremely long texts. Current methods for improvement typically rely on splitting long contexts into fixed-length chunks. However, fixed truncation risks separating semantically relevant content, leading to ambiguity and compromising accurate understanding. To overcome this limitation, we propose a straightforward approach for dynamically separating and selecting chunks of long context, facilitating a more streamlined input for LLMs. In particular, we compute semantic similarities between adjacent sentences, using lower similarities to adaptively divide long contexts into variable-length chunks. We further train a question-aware classifier to select sensitive chunks that are critical for answering specific questions. Experimental results on both single-hop and multi-hop question-answering benchmarks show that the proposed approach consistently outperforms strong baselines. Notably, it maintains robustness across a wide range of input lengths, handling sequences of up to 256k tokens. Our datasets and code are available at the following link: https://github.com/ECNU-Text-Computing/DCS
• Abstract（参考訳）: 大きな言語モデル(LLM)は、非常に長いテキストを正確に読み書きするのに苦労することが多い。 現在の改善方法は、通常、長いコンテキストを固定長のチャンクに分割することに依存する。 しかし、固定トランケーションのリスクは意味論的に関連のあるコンテンツを分離し、曖昧さと正確な理解をもたらす。 この制限を克服するために、長いコンテキストのチャンクを動的に分離し、選択するための簡単なアプローチを提案し、LLMのより合理化された入力を容易にする。 特に,隣接する文間の意味的類似性を計算し,より低い類似性を用いて長文を可変長のチャンクに適応的に分割する。 さらに、特定の質問に答えるために重要となるセンシティブなチャンクを選択するために、質問認識分類器を訓練する。 シングルホップおよびマルチホップ問合せベンチマークの実験結果から,提案手法が強いベースラインを一貫して上回ることを示す。 特に、最大256kのトークンのシーケンスを処理し、幅広い入力長さにわたって堅牢性を維持する。 私たちのデータセットとコードは以下のリンクで利用可能です。

関連論文リスト

• Emulating Retrieval Augmented Generation via Prompt Engineering for Enhanced Long Context Comprehension in LLMs [23.960451986662996]
  本稿では,レトリーバル拡張生成(RAG)を特殊エンジニアリングとチェーンオブ思考推論によりエミュレートする手法を提案する。 我々は,BABILong から選択したタスクに対するアプローチを評価し,大量の散逸テキストを用いた標準 bAbI QA 問題をインターリーブする。
  論文  参考訳（メタデータ） (2025-02-18T02:49:40Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [64.11145320159126]
  本稿では,入力プロンプトの大部分を固定したLLMアプリケーションを高速化する機構として,Squeezed Attentionを提案する。 K-meansクラスタリングをオフラインで使用して、セマンティックな類似性に基づいて、固定されたコンテキストのキーをグループ化し、各クラスタを単一のセントロイド値で表現します。 そして、固定された文脈から重要なキーのみを用いて正確な注意を計算し、帯域幅と計算コストを削減する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• What is Wrong with Perplexity for Long-context Language Modeling? [71.34933096461124]
  長いコンテキスト入力は、会話の拡張、文書の要約、多数のショットインコンテキスト学習といったタスクにおいて、大きな言語モデル(LLM)にとって不可欠である。 パープレキシティ(PPL)は、長期コンテキスト能力の評価には信頼性が低いことが証明されている。 長短コンテキストコントラスト法を用いて鍵トークンを識別する手法であるbfLongPPLを提案する。
  論文  参考訳（メタデータ） (2024-10-31T09:39:28Z)
• Meta-Chunking: Learning Text Segmentation and Semantic Completion via Logical Perception [10.614437503578856]
  本稿では,チャンキング品質を特に向上させるメタチャンキングフレームワークを提案する。 我々は不確実性に基づく2つの適応的チャンキング手法、すなわちPerplexity ChunkingとMargin Sampling Chunkingを設計する。 我々は,2段階の階層的要約生成プロセスと3段階のテキストチャンク書き換え手順を含むグローバル情報補償機構を確立する。
  論文  参考訳（メタデータ） (2024-10-16T17:59:32Z)
• Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models [5.330795983408874]
  遅延チャンキングと呼ばれる新しい手法を導入し、長いコンテキストの埋め込みモデルを利用して、まず長いテキストのトークンを埋め込む。 結果として得られたチャンク埋め込みは、コンテキスト情報を完全にキャプチャし、様々な検索タスクにおいて優れた結果をもたらす。
  論文  参考訳（メタデータ） (2024-09-07T03:54:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。