論文の概要: Semantic Density Effect (SDE): Maximizing Information Per Token Improves LLM Accuracy

• arxiv url: http://arxiv.org/abs/2604.17659v1
• Date: Sun, 19 Apr 2026 23:16:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.624537
• Title: Semantic Density Effect (SDE): Maximizing Information Per Token Improves LLM Accuracy
• Title（参考訳）: 意味密度効果(SDE) トーケンごとの情報最大化によるLCM精度の向上
• Abstract要約: 意味密度効果(SDE)は、トークンごとに高い意味情報を運ぶプロンプトが一貫してより正確で集中的で、より幻覚的な出力を生成する経験的な発見である。 SDEは意味的にロードされたトークンと全プロンプトトークンの比率として定義され、冗長性と具体性のために調整される。
• 参考スコア（独自算出の注目度）: 1.2326468472913679
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce the Semantic Density Effect (SDE): the empirical finding that prompts carrying higher semantic information per token consistently produce more accurate, focused, and less hallucinated outputs across all major LLM families. SDE is defined as the ratio of semantically loaded tokens to total prompt tokens, adjusted for redundancy and concreteness. Unlike prior prompt optimization techniques that add tokens (Chain of Thought), duplicate the prompt (Prompt Repetition), or reorder components (Instruction Placement Effect), SDE improves performance by removing or replacing low-information tokens while preserving or sharpening the semantic signal. Evaluated across five frontier models and seven benchmarks, ultra-dense prompts (SDE > 0.80) outperform diluted counterparts by an average of +8.4 percentage points with 0 additional tokens and 0 latency overhead. Combined with Instruction Placement Effect (IPE), the gain reaches +11.7 percentage points
• Abstract（参考訳）: 意味密度効果(SDE: Semantic Density Effect)は、トークンごとに高い意味情報を運ぶことによって、すべての主要なLLMファミリーに対して、より正確で焦点を絞った、より幻覚的な出力を連続的に生成する経験的発見である。 SDEは意味的にロードされたトークンと全プロンプトトークンの比率として定義され、冗長性と具体性のために調整される。 トークンを追加する前のプロンプト最適化手法(思考の連鎖)、プロンプトを複製する手法(反復反復)、または命令配置効果(命令配置効果)とは異なり、SDEはセマンティック信号の保存やシャープ化をしながら、低情報トークンを削除または置換することで性能を向上させる。 5つのフロンティアモデルと7つのベンチマークで評価され、超高密度プロンプト(SDE > 0.80)は平均+8.4ポイント、0のトークン、0のレイテンシオーバヘッドで希釈された。 インストラクション・プレースメント・エフェクト(IPE)と組み合わせると、利得は+11.7ポイントに達する。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Beyond Surrogate Gradients: Fully Differentiable Token Pruning for Vision-Language Models [8.48481119028537]
  本稿では,個別選択学習ではなく,トークン情報の連続制御としてプルーニングを再構成するDiffPruneを提案する。 10個のVLMベンチマークで、DiffPruneは96.5%の完全モデルの精度を維持し、LLMのプリフィルは2.85倍に加速し、推測オーバーヘッドはわずか0.69msである。
  論文  参考訳（メタデータ） (2026-05-27T06:52:08Z)
• LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models [49.93891888238178]
  ブロックワイド拡散言語モデル(DLM)は任意の順序で複数のトークンを生成し、自動回帰復号パイプラインに代わる有望な代替手段を提供する。 異なるクエリが異なるプレフィックス位置を選択する場合、KVインフレーション問題により、DLM上では裸のスパースアテンションが失敗する。 キャッシュされたプレフィックスアテンション結果を安定したトークンに再利用し、アクティブトークンのみにスパースアテンションを適用するLOSA(Locality-aware Sparse Attention)を提案する。
  論文  参考訳（メタデータ） (2026-04-13T20:53:51Z)
• Beyond Attention Magnitude: Leveraging Inter-layer Rank Consistency for Efficient Vision-Language-Action Models [75.27089289058613]
  textbfTIES(textbfTau-guided textbfInter-layer textbfEfficient textbfSelection)は、層間トークンランキングの整合性によって導かれる動的フレームワークである。 CogACT + SIMPLERベンチマークでは、TIESは平均成功率を6%改善し、トークン使用率を78%削減した。
  論文  参考訳（メタデータ） (2026-03-26T02:13:03Z)
• Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
  視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。 2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。 LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
  論文  参考訳（メタデータ） (2026-03-10T10:31:58Z)
• DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference [14.714791872881397]
  DUET-VLMは汎用的なプラグアンドプレイデュアル圧縮フレームワークである。 精度を犠牲にすることなく、視覚的(イメージ/ビデオ)入力を小さくする堅牢な適応を可能にする。 本研究は,DUET-VLMによるエンドツーエンドトレーニングに焦点を当てた。
  論文  参考訳（メタデータ） (2026-02-21T14:22:49Z)
• IGD: Token Decisiveness Modeling via Information Gain in LLMs for Personalized Recommendation [79.22388408461458]
  我々は,トークン決定性をチューニングと復号の両方に統合する情報ゲインに基づく決定性対応トークンハンドリング(IGD)戦略を導入する。 IGDはリコメンデーションの精度を一貫して改善し、強力なベースラインに比べて広く使われているランキングの指標で顕著に向上した。
  論文  参考訳（メタデータ） (2025-06-16T08:28:19Z)
• SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator [65.62084602011596]
  大規模言語モデル(LLM)は、自然言語処理タスクの範囲で例外的な性能を示した。 特定の意味のないセパレータトークン(句読点)は意味的に意味のあるトークンと比較して注意点に不均等に寄与する。 SepLLMは,これらのセグメントを圧縮し,冗長なトークンを除去することによって推論を高速化する,プラグアンドプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-12-16T18:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。