論文の概要: Telegraph English: Semantic Prompt Compression via Structured Symbolic Rewriting

• arxiv url: http://arxiv.org/abs/2605.04426v1
• Date: Wed, 06 May 2026 02:40:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.613022
• Title: Telegraph English: Semantic Prompt Compression via Structured Symbolic Rewriting
• Title（参考訳）: テレグラフ英語:構造化記号書き換えによる意味的プロンプト圧縮
• Authors: Mikhail L. Arbuzov, Sisong Bei, Ziwei Dong, Dmitri Kalaev, Alexey A. Shvets,
• Abstract要約: 本稿では,自然言語を記号に富んだ形式化された方言に書き換えるプロンプト圧縮プロトコルを提案する。 行構造規則の結果として、圧縮とセマンティックチャンキングは同じ操作になる。 TEは,5つのOpenAIモデルと2つの難易度で,LongBench-v2から4,081の質問応答対について評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Telegraph English (TE), a prompt-compression protocol that rewrites natural language into a symbol-rich, formally-structured dialect. Where token-deletion methods such as LLMLingua-2 train a classifier to delete low-importance tokens at a fixed ratio, TE performs a full semantic rewrite: it decomposes the input into atomic fact lines, substitutes verbose phrases with $\sim$40 logical and relational symbols, and lets the compression ratio adapt to each document's information density. A consequence of the line-structure rule is that compression and semantic chunking become the same operation -- each output line is an independently addressable fact, so the compressed representation is simultaneously a semantic index. We evaluate TE on 4{,}081 question-answer pairs from LongBench-v2 across five OpenAI models and two difficulty levels. At roughly 50\% token reduction, TE preserves 99.1\% accuracy on key facts with GPT-4.1 and outperforms LLMLingua-2 at matched compression ratios on every model and task tested. The gap widens on smaller models -- up to 11 percentage points on fine-detail tasks -- suggesting that explicit relational structure compensates for limited model capacity. We release the grammar specification, compression prompt, benchmark data, and reference implementation.
• Abstract（参考訳）: 本稿では,自然言語を記号に富んだ形式化された方言に書き換えるプロンプト圧縮プロトコルであるTelegraph English(TE)を紹介する。 LLMLingua-2のようなトークン削除メソッドは、分類器に一定の比率で低重要トークンを削除するように訓練するが、TEは完全な意味書き直しを行う: 入力を原子の事実行に分解し、動詞句を$$\sim$40の論理記号とリレーショナルシンボルで置換し、圧縮比を各文書の情報密度に適応させる。 行構造ルールの結果として、圧縮とセマンティックチャンキングが同じ操作になる -- 各出力行は独立して対応可能な事実であるため、圧縮された表現はセマンティックインデックスを同時に持つ。 我々は,5つのOpenAIモデルと2つの難易度で,LongBench-v2から4{,}081の質問応答対についてTEを評価した。 約50 %のトークン削減で、TE は GPT-4.1 でキー事実の 99.1 % の精度を保ち、テストされた各モデルとタスクの圧縮比で LLMLingua-2 を上回っている。 このギャップは、より小さなモデル(詳細タスクで最大11ポイントまで)で広がり、明示的なリレーショナル構造が限られたモデルの容量を補うことを示唆している。 我々は文法仕様、圧縮プロンプト、ベンチマークデータ、参照実装をリリースする。

関連論文リスト

• Compute Optimal Tokenization [79.3815358070537]
  圧縮速度によって制御されるトークンの情報粒度がスケーリングの傾向にどのように影響するかを検討する。 所望の圧縮速度の設定を可能にする50Mから7Bパラメータまで,988の潜在トークン化モデル(BLT)を訓練する。 実験の結果, モデルパラメータは, 一般に認識されるトークンではなく, バイト単位のデータサイズに比例してスケールすることがわかった。
  論文  参考訳（メタデータ） (2026-05-02T01:53:22Z)
• <SOG_k>: One LLM Token for Explicit Graph Structural Understanding [57.017902343605364]
  我々は、グラフの構造を統一トークン空間内に完全に表現するために、1つの特別なトークン SOG_k> を組み込むことを提案する。 SOG_k>は、簡潔で正確な方法でLLMに理解、生成、理性を与える。
  論文  参考訳（メタデータ） (2026-02-02T07:55:09Z)
• Hypernym Mercury: Token Optimization Through Semantic Field Constriction And Reconstruction From Hypernyms. A New Text Compression Method [0.0]
  本稿では,新しいテキスト表現方式と,段落の単語レベルのセマンティック圧縮を導入する。 結果が,複数のジャンルやモデルにまたがって,段落レベルでどのように保持されているかを示す。
  論文  参考訳（メタデータ） (2025-05-12T20:49:50Z)
• Discourse Features Enhance Detection of Document-Level Machine-Generated Content [53.41994768824785]
  機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。 既存のMGC検出器は、しばしば表面レベルの情報のみに焦点を当て、暗黙的かつ構造的な特徴を見渡す。 これらの課題を克服するために、新しい方法論とデータセットを導入します。
  論文  参考訳（メタデータ） (2024-12-17T08:47:41Z)
• MrT5: Dynamic Token Merging for Efficient Byte-level Language Models [50.46453950887946]
  この研究は、より効率的なByT5の変種であるMrT5(MergeT5)を導入し、トークン削除機構をエンコーダに統合し、入力シーケンスの長さを動的に短縮する。 MrT5は、削除されたトークンから重要な情報をよりコンパクトなシーケンスに"マージ"し、残りのトークンからコンテキスト情報を活用する。 MrT5は、XNLI、TyDi QA、文字レベルのタスクなどの下流評価ではByT5に匹敵する精度を示し、シーケンス長を最大75%削減する。
  論文  参考訳（メタデータ） (2024-10-28T06:14:12Z)
• Style-Compress: An LLM-Based Prompt Compression Framework Considering Task-Specific Styles [49.65811277223873]
  Style-Compressは、より小さな言語モデルを適用して、新たなタスクでより大きなモデルのプロンプトを、追加のトレーニングなしで圧縮する軽量フレームワークである。 提案手法は,実効圧縮プロンプトを,スタイルのバリエーションやコンテキスト内学習を通じて,タスク固有の実演として反復的に生成し,選択する。 Style-Compressは、オリジナルのプロンプト再構成、テキスト要約、マルチホップQA、CoT推論の4つのタスクで2つのベースライン圧縮モデルを上回っている。
  論文  参考訳（メタデータ） (2024-10-17T21:35:49Z)
• LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression [43.048684907893104]
  本稿では, タスク非依存のプロンプト圧縮に着目し, 一般化性と効率性の向上を図る。 我々は,プロンプト圧縮をトークン分類問題として定式化し,圧縮されたプロンプトが元のプロンプトに忠実であることを保証する。 提案手法は, XLM-RoBERTa-large や mBERT などの小型モデルを用いて圧縮目標を明示的に学習することにより,低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-03-19T17:59:56Z)
• Unpacking Tokenization: Evaluating Text Compression and its Correlation with Model Performance [34.641079276516926]
  我々は,0-gram言語モデリングとみなす圧縮の理論的重要性を論じる。 事前学習した言語モデルの下流での成功に対する圧縮の実証的重要性を示す。 本稿では,トークン化器の圧縮とモデル下流性能の相関関係を示す。
  論文  参考訳（メタデータ） (2024-03-10T17:02:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。