論文の概要: FreeChunker: A Cross-Granularity Chunking Framework

• arxiv url: http://arxiv.org/abs/2510.20356v1
• Date: Thu, 23 Oct 2025 08:57:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:17.637182
• Title: FreeChunker: A Cross-Granularity Chunking Framework
• Title（参考訳）: FreeChunker: クロスグラニュラリティチャンキングフレームワーク
• Authors: Wenxuan Zhang, Yuan-Hao Jiang, Yonghe Wu,
• Abstract要約: チャンキング戦略は、検索・拡張生成(RAG)システムの有効性に大きな影響を及ぼす。 本稿では,従来のチャンキングパラダイムをトランスフォーメーションするクロスグラニュラリティフレームワークであるFreeChunkerについて述べる。
• 参考スコア（独自算出の注目度）: 16.790630771624162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chunking strategies significantly impact the effectiveness of Retrieval-Augmented Generation (RAG) systems. Existing methods operate within fixed-granularity paradigms that rely on static boundary identification, limiting their adaptability to diverse query requirements. This paper presents FreeChunker, a Cross-Granularity Encoding Framework that fundamentally transforms the traditional chunking paradigm: the framework treats sentences as atomic units and shifts from static chunk segmentation to flexible retrieval supporting arbitrary sentence combinations. This paradigm shift not only significantly reduces the computational overhead required for semantic boundary detection but also enhances adaptability to complex queries. Experimental evaluation on LongBench V2 demonstrates that FreeChunker achieves superior retrieval performance compared to traditional chunking methods, while significantly outperforming existing approaches in computational efficiency.
• Abstract（参考訳）: チャンキング戦略は、検索・拡張生成(RAG)システムの有効性に大きな影響を及ぼす。 既存のメソッドは静的境界識別に依存する固定粒度パラダイム内で動作し、多様なクエリ要求への適応性を制限する。 本稿では,従来のチャンキングパラダイムを根本的に変換するクロスグラニュリティ符号化フレームワークであるFreeChunkerについて述べる。このフレームワークは,文を原子単位として扱い,静的チャンクセグメンテーションから任意の文の組み合わせをサポートする柔軟な検索へ移行する。 このパラダイムシフトは、セマンティック境界検出に必要な計算オーバーヘッドを大幅に削減するだけでなく、複雑なクエリへの適応性を高める。 LongBench V2の実験的な評価は、FreeChunkerが従来のチャンキング法よりも優れた検索性能を実現し、計算効率の既存手法よりも大幅に優れていたことを示している。

関連論文リスト

• CCF: A Context Compression Framework for Efficient Long-Sequence Language Modeling [52.05149789178508]
  CCFは、効率的な長期コンテキストモデリングを可能にするように設計された、新しいコンテキスト圧縮フレームワークである。 CCFはセグメントワイドなセマンティックアグリゲーションとキー-値メモリエンコーディングを統合し、コンパクトな表現を形成する。 複数の長文言語モデリングベンチマークによる実験結果から,CCFは高い圧縮比下での競合パープレキシティを実現することが示された。
  論文  参考訳（メタデータ） (2025-09-11T07:13:49Z)
• READER: Retrieval-Assisted Drafter for Efficient LLM Inference [0.0386965802948046]
  自己回帰言語モデルはトークンシーケンスよりも分解された確率をインスタンス化するが、その厳密なシーケンシャルなデコーディングプロセスは、遅延推論に固有の低いバウンドを課す。 このボトルネックは、大規模生成モデルのスケーラブルなデプロイにおける中心的な障害として現れています。 本稿では,補助的ドラフトモデルのトレーニングを回避した投機的復号化フレームワークREADERを提案する。
  論文  参考訳（メタデータ） (2025-08-12T16:47:48Z)
• Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers [58.98923344096319]
  REFORMは、2フェーズアプローチによって、長いコンテキストを効率的に処理する新しい推論フレームワークである。 RULERとBABILongでそれぞれ1Mコンテキスト長で50%以上と27%のパフォーマンス向上を達成した。 また、Infinite-BenchとMM-NIAHのベースラインを上回り、さまざまなタスクやドメインの柔軟性を示す。
  論文  参考訳（メタデータ） (2025-06-01T23:49:14Z)
• UGCE: User-Guided Incremental Counterfactual Exploration [2.2789818122188925]
  対実的説明(CFE)は、モデル出力を変更する最小限の機能変化を識別することによって、機械学習の予測を解釈するための一般的なアプローチである。 既存のメソッドはそのような反復的な更新をサポートしず、代わりに変更毎にスクラッチから説明を再計算する。 UGCE(User-Guided Incremental Counterfactual Exploration)は,遺伝的アルゴリズムをベースとした,ユーザ制約の進展に応じて,逆ファクトアルを漸進的に更新するフレームワークである。
  論文  参考訳（メタデータ） (2025-05-27T15:24:43Z)
• Long Context In-Context Compression by Getting to the Gist of Gisting [50.24627831994713]
  GistPoolは、デコーダ変換器にアーキテクチャ変更を加えることなく、コンテクスト内で圧縮する方法である。 圧縮速度が最小でも性能が大幅に低下し, より長いコンテキストで試行錯誤することを示す。 GistPoolは、gistingの単純さを保ちながら、長いコンテキスト圧縮タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-04-11T19:23:31Z)
• MoC: Mixtures of Text Chunking Learners for Retrieval-Augmented Generation System [11.793639794583498]
  本稿では,境界明瞭度とチャンクスティックネスを組み合わせた2次元評価手法を提案する。 我々は、複雑なコンテキストニュアンスを扱う際に、伝統的および意味的なチャンキングの固有の制限を強調します。 3段階の処理機構からなるMixture-Aware Mixture-of-Chunkers (MoC) フレームワークを考案した。
  論文  参考訳（メタデータ） (2025-03-12T17:59:42Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Stochastic Reweighted Gradient Descent [4.355567556995855]
  SRG(stochastic reweighted gradient)と呼ばれる重要サンプリングに基づくアルゴリズムを提案する。 我々は、提案手法の時間とメモリオーバーヘッドに特に注意を払っています。 我々はこの発見を裏付ける実験結果を示す。
  論文  参考訳（メタデータ） (2021-03-23T04:09:43Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。