論文の概要: Context Compression Is Not One Thing: Readable Symbolic Re-expression vs. Coherent Summary at Matched Budget
- arxiv url: http://arxiv.org/abs/2606.14875v1
- Date: Fri, 12 Jun 2026 18:27:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:32.357421
- Title: Context Compression Is Not One Thing: Readable Symbolic Re-expression vs. Coherent Summary at Matched Budget
- Title（参考訳）: コンテキスト圧縮は1つではない: 整合予算における可読なシンボリック再表現とコヒーレント概要
- Authors: Sisong Bei, Mikhail L. Arbuzov, Ziwei Dong, Dmitri Kalaev, Alexey Shvets,
- Abstract要約: 本研究では,小言語モデルを用いたマルチホップ質問応答の文脈圧縮について検討する。
本稿では,検索した文を構造化エンティティ関連文に書き換える可読な記号形式であるTelegraph Englishを提案する。
MuSiQue、TwoWiki、HotpotQAの制御実験では、Telegraph Englishは3つの一致した予算圧縮ベースラインを上回っている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study context compression for multi-hop question answering with small language models. We propose Telegraph English, a readable symbolic format that rewrites retrieved passages into structured entity-relation statements, preserving reasoning evidence at lower token cost. In controlled experiments on MuSiQue, TwoWiki, and HotpotQA, Telegraph English outperforms three matched-budget compression baselines (character-level deletion, truncation, and random sub-sampling) on every dataset, with gains of 13 to 20 F1 percentage point. It also outperforms a coherent prose summary produced by the same encoder on the hardest dataset. A pre-registered depth-interaction hypothesis is null: the advantage does not grow with reasoning depth within datasets. We interpret these results as evidence that readable symbolic re-expression preserves entity content more densely than either natural language or coherent summarization at matched token budget.
- Abstract（参考訳）: 本研究では,小言語モデルを用いたマルチホップ質問応答の文脈圧縮について検討する。
提案するテレグラフ・イングリッシュ(Telegraph English)は,検索したパスを構造化されたエンティティ関連文に書き換え,トークンコストの低い推論証拠を保存できる,可読な記号形式である。
MuSiQue、TwoWiki、HotpotQAの制御実験では、Telegraph Englishは、各データセット上のマッチした予算圧縮ベースライン(文字レベルの削除、トランケーション、ランダムサブサンプリング)を13から20のF1ポイントで上回っている。
また、最も難しいデータセット上で同じエンコーダによって生成されたコヒーレントな散文の要約よりも優れています。
事前登録された深さ-相互作用仮説はnullであり、その利点はデータセット内の推論深度で成長しない。
これらの結果は、可読なシンボル再表現が、一致したトークン予算における自然言語やコヒーレントな要約よりも、エンティティコンテンツをより密に保存する証拠である、と解釈する。
関連論文リスト
- Telegraph English: Semantic Prompt Compression via Structured Symbolic Rewriting [0.0]
本稿では,自然言語を記号に富んだ形式化された方言に書き換えるプロンプト圧縮プロトコルを提案する。
行構造規則の結果として、圧縮とセマンティックチャンキングは同じ操作になる。
TEは,5つのOpenAIモデルと2つの難易度で,LongBench-v2から4,081の質問応答対について評価した。
論文 参考訳（メタデータ） (2026-05-06T02:40:55Z) - Why Mean Pooling Works: Quantifying Second-Order Collapse in Text Embeddings [30.943998879066857]
トークンの埋め込みを平均化する平均プールは、テキストの埋め込みを構築するための標準的なアプローチである。
本稿では,実際のモデルにおいて,プールが実際に有効であるかどうかを検討する。
論文 参考訳（メタデータ） (2026-04-30T04:09:26Z) - ImgCoT: Compressing Long Chain of Thought into Compact Visual Tokens for Efficient Reasoning of Large Language Model [34.90582960625524]
大規模言語モデル (LLM) を用いた効率的な推論には, コンパクトな潜在トークンへの思考(CoT)の長い連鎖が不可欠である。
テキストCoTから画像にCoTを描画して得られる視覚CoTに置き換えるImgCoTを提案する。
これにより、言語バイアスを空間的帰納バイアスに置き換え、潜在トークンがグローバルな推論構造をよりよく捉えることができる。
論文 参考訳（メタデータ） (2026-01-30T09:06:45Z) - Context-Aware Hierarchical Merging for Long Document Summarization [56.96619074316232]
本論文では,階層的なマージをソース文書からコンテキストと統合する手法を提案する。
法的および物語的領域を表すデータセットの実験結果は、文脈的拡張がゼロショットと階層的な融合ベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2025-02-03T01:14:31Z) - Coarse-to-Fine Highlighting: Reducing Knowledge Hallucination in Large Language Models [58.952782707682815]
COFTは、異なるレベルのキーテキストにフォーカスする新しい方法であり、長いコンテキストで失われることを避ける。
知識幻覚ベンチマークの実験ではCOFTの有効性が示され、F1スコアの30%以上の性能が向上した。
論文 参考訳（メタデータ） (2024-10-19T13:59:48Z) - Unpacking Tokenization: Evaluating Text Compression and its Correlation with Model Performance [34.641079276516926]
我々は,0-gram言語モデリングとみなす圧縮の理論的重要性を論じる。
事前学習した言語モデルの下流での成功に対する圧縮の実証的重要性を示す。
本稿では,トークン化器の圧縮とモデル下流性能の相関関係を示す。
論文 参考訳（メタデータ） (2024-03-10T17:02:53Z) - Pareto Probing: Trading Off Accuracy for Complexity [87.09294772742737]
我々は,プローブの複雑性と性能の基本的なトレードオフを反映したプローブ計量について論じる。
係り受け解析による実験により,文脈表現と非文脈表現の統語的知識の幅広いギャップが明らかとなった。
論文 参考訳（メタデータ） (2020-10-05T17:27:31Z) - Extractive Summarization as Text Matching [123.09816729675838]
本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。
抽出した要約タスクを意味テキストマッチング問題として定式化する。
我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
論文 参考訳（メタデータ） (2020-04-19T08:27:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。