論文の概要: Semantic Compression of LLM Instructions via Symbolic Metalanguages
- arxiv url: http://arxiv.org/abs/2601.07354v1
- Date: Mon, 12 Jan 2026 09:26:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-13 19:08:01.315812
- Title: Semantic Compression of LLM Instructions via Symbolic Metalanguages
- Title（参考訳）: 記号メタ言語によるLLM命令のセマンティック圧縮
- Authors: Ernst van Gassen,
- Abstract要約: 本稿では,代用文ではなく数学的記号として命令を符号化することで,プロンプトを圧縮する記号言語MetaGlyphを紹介する。
これらのシンボルが「指導ショートカット」として機能するかどうかを検証する。
実践者に関連する2次元の8つのモデルを評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce MetaGlyph, a symbolic language for compressing prompts by encoding instructions as mathematical symbols rather than prose. Unlike systems requiring explicit decoding rules, MetaGlyph uses symbols like $\in$ (membership) and $\Rightarrow$ (implication) that models already understand from their training data. We test whether these symbols work as ''instruction shortcuts'' that models can interpret without additional teaching. We evaluate eight models across two dimensions relevant to practitioners: scale (3B-1T parameters) and accessibility (open-source for local deployment vs. proprietary APIs). MetaGlyph achieves 62-81% token reduction across all task types. For API-based deployments, this translates directly to cost savings; for local deployments, it reduces latency and memory pressure. Results vary by model. Gemini 2.5 Flash achieves 75% semantic equivalence between symbolic and prose instructions on selection tasks, with 49.9% membership operator fidelity. Kimi K2 reaches 98.1% fidelity for implication ($\Rightarrow$) and achieves perfect (100%) accuracy on selection tasks with symbolic prompts. GPT-5.2 Chat shows the highest membership fidelity observed (91.3%), though with variable parse success across task types. Claude Haiku 4.5 achieves 100% parse success with 26% membership fidelity. Among mid-sized models, Qwen 2.5 7B shows 62% equivalence on extraction tasks. Mid-sized open-source models (7B-12B) show near-zero operator fidelity, suggesting a U-shaped relationship where sufficient scale overcomes instruction-tuning biases.
- Abstract（参考訳）: 本稿では,代用文ではなく数学的記号として命令を符号化することで,プロンプトを圧縮する記号言語MetaGlyphを紹介する。
明示的な復号規則を必要とするシステムとは異なり、MetaGlyphは、モデルのトレーニングデータから既に理解している$\in$(メンバーシップ)や$\Rightarrow$(インプリケーション)のようなシンボルを使用する。
これらのシンボルが「指導ショートカット」として機能するかどうかを検証する。
実践者に関連する2つの次元にわたる8つのモデルを評価する。スケール(3B-1Tパラメータ)とアクセシビリティ(ローカルデプロイメントとプロプライエタリAPIのオープンソース)である。
MetaGlyphはすべてのタスクタイプで62～81%のトークン削減を実現している。
APIベースのデプロイメントでは、これは直接的にコスト削減を意味し、ローカルデプロイメントでは、レイテンシとメモリプレッシャーが削減される。
結果はモデルによって異なる。
Gemini 2.5 Flashは、選択タスクにおけるシンボル命令と散文命令の75%のセマンティックな等価性を達成し、49.9%のメンバシップ演算子の忠実さを実現している。
Kimi K2は98.1%の忠実度($\Rightarrow$)に達し、シンボリックプロンプトによる選択タスクの完全(100%)精度を達成する。
GPT-5.2 Chatは、最も高いメンバーシップ忠実度(91.3%)を示しているが、タスクタイプ間でのパース成功は様々である。
クロード・ハイク4.5は100%のパース成功、26%の会員の忠実さを達成している。
中型モデルの中で、Qwen 2.5 7Bは抽出タスクに62%の等価性を示す。
中規模のオープンソースモデル(7B-12B)は、ほぼゼロに近い演算子の忠実さを示し、十分なスケールで命令調整バイアスを克服するU字型関係を示唆している。
関連論文リスト
- HybridToken-VLM: Hybrid Token Compression for Vision-Language Models [24.940043922782944]
視覚言語モデル(VLM)はマルチモーダル推論を変換している。
連続圧縮は、オブジェクトのアイデンティティのような高レベルなセマンティクスを希薄にする。
セマンティクスと外観を二重チャネルで切り離すハイブリッドフレームワークであるHTC-VLMを紹介する。
論文 参考訳（メタデータ） (2025-12-09T04:48:38Z) - Glyph: Scaling Context Windows via Visual-Text Compression [91.20717058018745]
Glyphは、長いテキストを画像にレンダリングし、視覚言語モデルで処理するフレームワークである。
提案手法は,従来の長文モデルに匹敵する精度を維持しつつ,3～4倍のトークン圧縮を実現する。
極端な圧縮では、128KテキストのVLMが1Mレベルのテキストタスクにスケールできる。
論文 参考訳（メタデータ） (2025-10-20T17:58:56Z) - MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm [60.14048367611333]
MonkeyOCRはドキュメント解析のためのビジョン言語モデルである。
SRR(Structure-Recognition-Relation)三重項パラダイムを活用することで、最先端の技術の進歩を図っている。
論文 参考訳（メタデータ） (2025-06-05T16:34:57Z) - LocAgent: Graph-Guided LLM Agents for Code Localization [25.395102705800916]
LocAgentは、グラフベースの表現を通じてコードのローカライゼーションに対処するフレームワークである。
細調整したQwen-2.5-Coder-Instruct-32Bモデルを用いて,SOTAプロプライエタリモデルと比較して,コストを大幅に削減した。
論文 参考訳（メタデータ） (2025-03-12T05:55:01Z) - Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
トークン化は、言語モデル(LM)における多くの未理解の欠点と関連している。
本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。
本稿では,学習トークン分布と等価バイトレベル分布とのマッピングを確立するフレームワークであるByte-Token Representation Lemmaを紹介する。
論文 参考訳（メタデータ） (2024-10-11T23:30:42Z) - FamiCom: Further Demystifying Prompts for Language Models with Task-Agnostic Performance Estimation [73.454943870226]
言語モデルは、コンテキスト内学習能力に優れています。
本稿では,タスク非依存のパフォーマンス推定のためのより包括的な尺度であるFamiComを提案する。
論文 参考訳（メタデータ） (2024-06-17T06:14:55Z) - Fully Attentional Networks with Self-emerging Token Labeling [108.53230681047617]
我々は、意味的に意味のあるパッチトークンラベルを生成するためにFANトークンラベル(FAN-TL)をトレーニングし、その後、トークンラベルとオリジナルクラスラベルの両方を使用するFAN学生モデルトレーニングステージを作成した。
提案したSTLフレームワークでは,ImageNet-1KおよびImageNet-C上で84.8%のTop-1精度と42.1%のmCEを実現し,余分なデータを使用しないImageNet-A(46.1%)とImageNet-R(56.6%)の新たな最先端設定を行う。
論文 参考訳（メタデータ） (2024-01-08T12:14:15Z) - Chain-of-Symbol Prompting Elicits Planning in Large Langauge Models [47.210211555783836]
自然言語計画と行動(Natala)という,一連の新しいタスクからなるベンチマークを提案する。
現在、ChatGPTのようなLLMには複雑な計画能力がないことが分かっています。
本稿では,凝縮した記号空間表現を持つ複雑な環境を表現するCoS(Chain-of-Symbol Prompting)を提案する。
論文 参考訳（メタデータ） (2023-05-17T15:07:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。