論文の概要: Semantic Density Effect (SDE): Maximizing Information Per Token Improves LLM Accuracy

• arxiv url: http://arxiv.org/abs/2604.17659v1
• Date: Sun, 19 Apr 2026 23:16:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.624537
• Title: Semantic Density Effect (SDE): Maximizing Information Per Token Improves LLM Accuracy
• Title（参考訳）: 意味密度効果(SDE) トーケンごとの情報最大化によるLCM精度の向上
• Authors: Amr Ahmed,
• Abstract要約: 意味密度効果(SDE)は、トークンごとに高い意味情報を運ぶプロンプトが一貫してより正確で集中的で、より幻覚的な出力を生成する経験的な発見である。 SDEは意味的にロードされたトークンと全プロンプトトークンの比率として定義され、冗長性と具体性のために調整される。
• 参考スコア（独自算出の注目度）: 1.2326468472913679
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce the Semantic Density Effect (SDE): the empirical finding that prompts carrying higher semantic information per token consistently produce more accurate, focused, and less hallucinated outputs across all major LLM families. SDE is defined as the ratio of semantically loaded tokens to total prompt tokens, adjusted for redundancy and concreteness. Unlike prior prompt optimization techniques that add tokens (Chain of Thought), duplicate the prompt (Prompt Repetition), or reorder components (Instruction Placement Effect), SDE improves performance by removing or replacing low-information tokens while preserving or sharpening the semantic signal. Evaluated across five frontier models and seven benchmarks, ultra-dense prompts (SDE > 0.80) outperform diluted counterparts by an average of +8.4 percentage points with 0 additional tokens and 0 latency overhead. Combined with Instruction Placement Effect (IPE), the gain reaches +11.7 percentage points
• Abstract（参考訳）: 意味密度効果(SDE: Semantic Density Effect)は、トークンごとに高い意味情報を運ぶことによって、すべての主要なLLMファミリーに対して、より正確で焦点を絞った、より幻覚的な出力を連続的に生成する経験的発見である。 SDEは意味的にロードされたトークンと全プロンプトトークンの比率として定義され、冗長性と具体性のために調整される。 トークンを追加する前のプロンプト最適化手法(思考の連鎖)、プロンプトを複製する手法(反復反復)、または命令配置効果(命令配置効果)とは異なり、SDEはセマンティック信号の保存やシャープ化をしながら、低情報トークンを削除または置換することで性能を向上させる。 5つのフロンティアモデルと7つのベンチマークで評価され、超高密度プロンプト(SDE > 0.80)は平均+8.4ポイント、0のトークン、0のレイテンシオーバヘッドで希釈された。 インストラクション・プレースメント・エフェクト(IPE)と組み合わせると、利得は+11.7ポイントに達する。

関連論文リスト

• Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
  視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。 2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。 LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
  論文  参考訳（メタデータ） (2026-03-10T10:31:58Z)
• IGD: Token Decisiveness Modeling via Information Gain in LLMs for Personalized Recommendation [79.22388408461458]
  我々は,トークン決定性をチューニングと復号の両方に統合する情報ゲインに基づく決定性対応トークンハンドリング(IGD)戦略を導入する。 IGDはリコメンデーションの精度を一貫して改善し、強力なベースラインに比べて広く使われているランキングの指標で顕著に向上した。
  論文  参考訳（メタデータ） (2025-06-16T08:28:19Z)
• SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator [65.62084602011596]
  大規模言語モデル(LLM)は、自然言語処理タスクの範囲で例外的な性能を示した。 特定の意味のないセパレータトークン(句読点)は意味的に意味のあるトークンと比較して注意点に不均等に寄与する。 SepLLMは,これらのセグメントを圧縮し,冗長なトークンを除去することによって推論を高速化する,プラグアンドプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-12-16T18:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。