論文の概要: Read As Human: Compressing Context via Parallelizable Close Reading and Skimming

• arxiv url: http://arxiv.org/abs/2602.01840v1
• Date: Mon, 02 Feb 2026 09:10:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.029238
• Title: Read As Human: Compressing Context via Parallelizable Close Reading and Skimming
• Title（参考訳）: Read as Human: 並列化可能なクローズドリーディングとスキミングによるコンテキスト圧縮
• Authors: Jiwei Tang, Shilei Liu, Zhicheng Zhang, Qingsong Lv, Runsong Zhao, Tingwei Lu, Langming Liu, Haibin Chen, Yujin Yuan, Hai-Tao Zheng, Wenbo Su, Bo Zheng,
• Abstract要約: RAM (Read As HuMan) は、適応型ハイブリッド読み込み戦略を採用するコンテキスト圧縮フレームワークである。 人間の読書行動にインスパイアされたRAMは、コンテキストをセグメントに分割し、入力クエリを並列にエンコードする。 実験によると、RAMは複数の質問応答と要約ベンチマークで既存のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 34.83776292069694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) demonstrate exceptional capability across diverse tasks. However, their deployment in long-context scenarios is hindered by two challenges: computational inefficiency and redundant information. We propose RAM (Read As HuMan), a context compression framework that adopts an adaptive hybrid reading strategy, to address these challenges. Inspired by human reading behavior (i.e., close reading important content while skimming less relevant content), RAM partitions the context into segments and encodes them with the input query in parallel. High-relevance segments are fully retained (close reading), while low-relevance ones are query-guided compressed into compact summary vectors (skimming). Both explicit textual segments and implicit summary vectors are concatenated and fed into decoder to achieve both superior performance and natural language format interpretability. To refine the decision boundary between close reading and skimming, we further introduce a contrastive learning objective based on positive and negative query-segment pairs. Experiments demonstrate that RAM outperforms existing baselines on multiple question answering and summarization benchmarks across two backbones, while delivering up to a 12x end-to-end speedup on long inputs (average length 16K; maximum length 32K).
• Abstract（参考訳）: 大きな言語モデル(LLM)は、様々なタスクにまたがる例外的な能力を示す。 しかし、長文シナリオへの展開は、計算の非効率性と冗長な情報という2つの課題によって妨げられている。 これらの課題に対処するために,適応型ハイブリッド読書戦略を採用した文脈圧縮フレームワークであるRAM(Read As HuMan)を提案する。 人間の読書行動(すなわち、あまり関連のないコンテンツをスキップしながら重要なコンテンツを閉じる)にインスパイアされたRAMは、コンテキストをセグメントに分割し、入力クエリを並列にエンコードする。 高関連セグメントは完全保持(クローズリーディング)され、低関連セグメントはクエリ誘導され、コンパクトな要約ベクトル(スキミング)に圧縮される。 明示的なテキストセグメントと暗黙的な要約ベクトルの両方を連結してデコーダに入力し、優れたパフォーマンスと自然言語フォーマットの解釈性を実現する。 クローズリーディングとスキミングの意思決定境界を改良するために,正と負の問合せ対に基づく対照的な学習目標を導入する。 実験では、RAMは2つのバックボーンにまたがる複数の質問応答と要約ベンチマークで既存のベースラインより優れており、長い入力で最大12倍のエンドツーエンドのスピードアップを提供する(平均16K、最大32K)。

関連論文リスト

• APCE: Adaptive Progressive Context Expansion for Long Context Processing [0.5274824616260646]
  本稿では,処理において最も重要な入力チャンクを選択するためのコンテキスト認識ソリューションとしてAPCEを提案する。 入力を直接操作することで、APCEは基盤となるハードウェアやスケーラブルな環境への厳格な依存から切り離される。 実験により,APCEの総密度ベースラインに比べて,APCEの総和性能は優れていた。
  論文  参考訳（メタデータ） (2025-10-14T01:26:36Z)
• Dynamic Chunking and Selection for Reading Comprehension of Ultra-Long Context in Large Language Models [1.5817866616624976]
  大きな言語モデル(LLM)は長いテキストを正確に読み書きするのに苦労することが多い。 現在の改善方法は、通常、長いコンテキストを固定長のチャンクに分割することに依存する。 本稿では,長いコンテキストのチャンクを動的に分離し,選択するための簡単なアプローチを提案する。
  論文  参考訳（メタデータ） (2025-06-01T01:42:40Z)
• Context-Aware Hierarchical Merging for Long Document Summarization [56.96619074316232]
  本論文では,階層的なマージをソース文書からコンテキストと統合する手法を提案する。 法的および物語的領域を表すデータセットの実験結果は、文脈的拡張がゼロショットと階層的な融合ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-02-03T01:14:31Z)
• ContextDet: Temporal Action Detection with Adaptive Context Aggregation [47.84334557998388]
  時間的行動検出(TAD)のための単一ステージContextDetフレームワークを提案する。 我々のモデルは、ピラミッド適応型コンテキスト拡張(ACA)アーキテクチャ、長いコンテキストのキャプチャ、行動識別性の改善を特徴としている。 ACAピラミッド全体にわたるこれらの大きなカーネルの長さを変えることで、我々のモデルは軽量で効果的なコンテキストアグリゲーションとアクション識別を提供する。
  論文  参考訳（メタデータ） (2024-10-20T04:28:19Z)
• Meta-Chunking: Learning Text Segmentation and Semantic Completion via Logical Perception [10.614437503578856]
  本稿では,チャンキング品質を特に向上させるメタチャンキングフレームワークを提案する。 我々は不確実性に基づく2つの適応的チャンキング手法、すなわちPerplexity ChunkingとMargin Sampling Chunkingを設計する。 我々は,2段階の階層的要約生成プロセスと3段階のテキストチャンク書き換え手順を含むグローバル情報補償機構を確立する。
  論文  参考訳（メタデータ） (2024-10-16T17:59:32Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading [63.93888816206071]
  我々は,長いコンテキストを要約ノードのツリーに処理する手法であるMemWalkerを紹介した。クエリを受信すると,モデルがこのツリーをナビゲートして関連する情報を検索し,十分な情報を収集すると応答する。 その結果,MemWalkerは,テキストを対話的に読み取る際の推論ステップを強調し,クエリに関連するテキストセグメントをピンポイントすることで,説明性の向上を図っている。
  論文  参考訳（メタデータ） (2023-10-08T06:18:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。