論文の概要: Meta-Chunking: Learning Text Segmentation and Semantic Completion via Logical Perception

• arxiv url: http://arxiv.org/abs/2410.12788v3
• Date: Wed, 21 May 2025 15:45:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:57.009458
• Title: Meta-Chunking: Learning Text Segmentation and Semantic Completion via Logical Perception
• Title（参考訳）: メタチャンキング:論理的知覚を通してテキストセグメンテーションとセマンティックコンプリートを学ぶ
• Authors: Jihao Zhao, Zhiyuan Ji, Yuchen Feng, Pengnian Qi, Simin Niu, Bo Tang, Feiyu Xiong, Zhiyu Li,
• Abstract要約: 本稿では,チャンキング品質を特に向上させるメタチャンキングフレームワークを提案する。 我々は不確実性に基づく2つの適応的チャンキング手法、すなわちPerplexity ChunkingとMargin Sampling Chunkingを設計する。 我々は,2段階の階層的要約生成プロセスと3段階のテキストチャンク書き換え手順を含むグローバル情報補償機構を確立する。
• 参考スコア（独自算出の注目度）: 10.614437503578856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Retrieval-Augmented Generation (RAG) has emerged as a promising paradigm for boosting large language models (LLMs) in knowledge-intensive tasks, it often overlooks the crucial aspect of text chunking within its workflow. This paper proposes the Meta-Chunking framework, which specifically enhances chunking quality through a dual strategy that identifies optimal segmentation points and preserves global information. Initially, breaking limitations of similarity-based chunking, we design two adaptive chunking techniques based on uncertainty, namely Perplexity Chunking and Margin Sampling Chunking, by utilizing the logical perception capabilities of LLMs. Given the inherent complexity across different texts, we integrate meta-chunk with dynamic merging, striking a balance between fine-grained and coarse-grained text chunking. Furthermore, we establish the global information compensation mechanism, encompassing a two-stage hierarchical summary generation process and a three-stage text chunk rewriting procedure focused on missing reflection, refinement, and completion. These components collectively strengthen the semantic integrity and contextual coherence of chunks. Extensive experiments demonstrate that Meta-Chunking effectively addresses challenges of the chunking task within the RAG system, providing LLMs with more logically coherent text chunks. Additionally, our methodology validates the feasibility of implementing high-quality chunking tasks with smaller-scale models, thereby eliminating the reliance on robust instruction-following capabilities.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、知識集約的なタスクにおいて、大きな言語モデル(LLM)を強化するための有望なパラダイムとして登場したが、ワークフロー内でのテキストチャンキングの重要な側面を見落としていることが多い。 本稿では,最適セグメンテーションポイントを識別し,グローバル情報を保存する2つの戦略により,チャンキング品質を特に向上するメタチャンキングフレームワークを提案する。 当初、類似性に基づくチャンキングの限界を突破し、LLMの論理的知覚能力を利用して、不確実性に基づく2つの適応チャンキング手法、すなわちPerplexity ChunkingとMargin Sampling Chunkingを設計した。 異なるテキストにまたがる固有の複雑さを考えると、メタチャンクと動的マージを統合し、きめ細かいテキストチャンキングと粗いテキストチャンキングのバランスを崩す。 さらに,2段階の階層的要約生成プロセスと3段階のテキストチャンク書き換え処理を包含するグローバル情報補償機構を確立する。 これらの構成要素は集合的にチャンクの意味的整合性と文脈的コヒーレンスを強化する。 大規模な実験により、メタチャンキングはRAGシステム内のチャンキングタスクの課題に効果的に対処し、より論理的に一貫性のあるテキストチャンクをLLMに提供することが示されている。 さらに,本手法は,小規模モデルによる高品質なチャンキングタスクの実現の可能性を検証するとともに,堅牢な命令追従機能への依存を解消する。

関連論文リスト

• Context-Aware Hierarchical Merging for Long Document Summarization [56.96619074316232]
  本論文では,階層的なマージをソース文書からコンテキストと統合する手法を提案する。 法的および物語的領域を表すデータセットの実験結果は、文脈的拡張がゼロショットと階層的な融合ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-02-03T01:14:31Z)
• Detecting Document-level Paraphrased Machine Generated Content: Mimicking Human Writing Style and Involving Discourse Features [57.34477506004105]
  機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。 これらの課題を克服するために、新しい方法論とデータセットを導入します。 人間の筆記スタイルをエミュレートするエンコーダデコーダモデルであるMhBARTを提案する。 また,PDTB前処理による談話解析を統合し,構造的特徴を符号化するモデルであるDTransformerを提案する。
  論文  参考訳（メタデータ） (2024-12-17T08:47:41Z)
• LLM$\times$MapReduce: Simplified Long-Sequence Processing using Large Language Models [73.13933847198395]
  本稿では,文書理解を包括的に行うための分割・対数戦略を利用して,長文処理のための学習自由フレームワークを提案する。 提案された LLM$times$MapReduce フレームワークは、ドキュメント全体を LLM が読み取るためにいくつかのチャンクに分割し、中間回答を集約して最終的な出力を生成する。
  論文  参考訳（メタデータ） (2024-10-12T03:13:44Z)
• Concept-Guided Chain-of-Thought Prompting for Pairwise Comparison Scaling of Texts with Large Language Models [3.9940425551415597]
  既存のテキストスケーリング手法は、大きなコーパス、短いテキストとの競合、ラベル付きデータを必要とすることが多い。 生成する大規模言語モデルのパターン認識機能を活用したテキストスケーリング手法を開発した。 LLMと実体知識を組み合わせることで、抽象概念の最先端の尺度をいかに作成できるかを実証する。
  論文  参考訳（メタデータ） (2023-10-18T15:34:37Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)
• ALP: Data Augmentation using Lexicalized PCFGs for Few-Shot Text Classification [11.742065170002162]
  Lexicalized Probabilistic context-free grammars (ALP) を用いたデータ拡張について述べる。 数ショットのテキスト分類タスクの実験は、ALPが多くの最先端の分類方法を強化することを示した。 我々は、従来のトレーニングと検証セットの分割は、我々の新しい拡張ベースの分割戦略と比較して、準最適であると実証的に主張する。
  論文  参考訳（メタデータ） (2021-12-16T09:56:35Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Parts2Words: Learning Joint Embedding of Point Clouds and Texts by Bidirectional Matching between Parts and Words [32.47815081044594]
  テキストからの形状と単語の双方向マッチングにより,点雲とテキストの結合埋め込みを学習することを提案する。 具体的には、まず点雲を部品に分割し、次に最適化された特徴空間内の部品と単語を一致させるために最適な輸送手法を利用する。 実験により,本手法はマルチモーダル検索タスクにおけるSOTAの精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2021-07-05T08:55:34Z)
• ABCNet v2: Adaptive Bezier-Curve Network for Real-time End-to-end Text Spotting [108.93803186429017]
  エンドツーエンドのテキストスポッティングは、統一されたフレームワークで検出と認識を統合することを目指している。 本稿では、Adaptive Bezier Curve Network v2 (ABCNet v2) を提示することで、エンドツーエンドテキストスポッティングに取り組む。 1) 任意の形状のテキストをパラメータ化されたベジアー曲線で適応的に適合させ, セグメンテーション法と比較すると, 構造的な出力だけでなく, 制御可能な表現も提供できる。 様々なバイリンガル(英語と中国語)ベンチマークデータセットで実施された総合的な実験は、ABCNet v2が現状を達成することを実証している。
  論文  参考訳（メタデータ） (2021-05-08T07:46:55Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• Two-Level Transformer and Auxiliary Coherence Modeling for Improved Text Segmentation [9.416757363901295]
  単純だが明示的なコヒーレンスモデリングを用いたテキストセグメンテーションのための新しい教師付きモデルを提案する。 我々のモデルは、2つの階層的に連結されたトランスフォーマーネットワークからなるニューラルネットワークであり、文レベルのセグメンテーション目標と、正しい文列と腐敗した文列を区別するコヒーレンス目標を結合するマルチタスク学習モデルである。
  論文  参考訳（メタデータ） (2020-01-03T17:06:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。