論文の概要: QV May Be Enough: Toward the Essence of Attention in LLMs

• arxiv url: http://arxiv.org/abs/2603.15665v1
• Date: Wed, 11 Mar 2026 14:08:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:06.859811
• Title: QV May Be Enough: Toward the Essence of Attention in LLMs
• Title（参考訳）: QVは十分かもしれない。LLMにおける留意のエッセンスに向けて
• Authors: Zhang Edward,
• Abstract要約: 我々はQVパラダイムを導入し、その妥当性に関する実証的な証拠を提供する。 そこで本研究では,QV-Ka最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Starting from first principles and a linguistic perspective centered on part-of-speech (POS) and syntactic analysis, this paper explores and derives the underlying essence of the Query-Key-Value (QKV) mechanism within the Transformer architecture. Based on this theoretical foundation, we provide a unified explanatory framework for the efficacy of contemporary architectures, including MQA, GQA, and MLA, while identifying their inherent trade-offs and potential optimization trajectories. We introduce the QV paradigm and provide empirical evidence for its validity. Building upon this, we propose the QV-Ka optimization scheme, which is further substantiated through experimental validation. The interpretable theoretical analysis of the QKV mechanism presented in this work establishes a robust foundation for the future evolution of large language model architectures.
• Abstract（参考訳）: 本稿では,最初の原則とPOS(Part-of-speech)と構文解析を中心とした言語的視点から,TransformerアーキテクチャにおけるQuery-Key-Value(QKV)メカニズムの基礎的概念を探求し,導出する。 この理論的基盤に基づいて、MQA、GQA、MLAを含む現代建築の有効性を統一した説明フレームワークを提供し、それら固有のトレードオフと潜在的な最適化軌道を特定します。 我々はQVパラダイムを導入し、その妥当性に関する実証的な証拠を提供する。 そこで本研究では,QV-Ka最適化手法を提案する。 この研究で提示されたQKVメカニズムの解釈可能な理論的解析は、大規模言語モデルアーキテクチャの将来的な進化のための堅牢な基盤を確立する。

関連論文リスト

• Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
  この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。 推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
  論文  参考訳（メタデータ） (2025-12-03T13:16:35Z)
• Foundations of Relational Quantum Field Theory I: Scalars [0.0]
  我々は、相対論的条件下で考慮された運用量子参照フレーム(QRF)フレームワークに基づいて、量子場理論(RQFT)へのリレーショナルアプローチの基礎を開発する。 我々はミンコフスキー時空におけるスカラー場に注目し、関係局所(有界)可観測体の出現と(ポイントワイズ)場の出現について議論する。 関係局所観測可能量によって生成される代数の性質が代数的QFTのコア公理をどのように拡張するかを示す。
  論文  参考訳（メタデータ） (2025-07-29T09:01:38Z)
• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
  トークン化は、NLPパイプラインにおける重要なステップである。 NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。 本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
  論文  参考訳（メタデータ） (2024-07-16T11:12:28Z)
• Rethinking Word-Level Auto-Completion in Computer-Aided Translation [76.34184928621477]
  Word-Level Auto-Completion (WLAC) はコンピュータ翻訳において重要な役割を果たす。 それは、人間の翻訳者に対して単語レベルの自動補完提案を提供することを目的としている。 我々は、この質問に答えるために測定可能な基準を導入し、既存のWLACモデルがこの基準を満たしていないことを発見する。 評価基準の遵守を促進することによってWLAC性能を向上させる効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:11:46Z)
• Empirical Translation Process Research: Past and Possible Future Perspectives [0.0]
  本稿は、CRITT TPR-DBの伝統における経験的TPRの進化を辿るものである。 FEP(Free Energy Principle)とActive Inference(Active Inference)を、深く埋め込まれた翻訳プロセスのモデリングのフレームワークとして提案する。
  論文  参考訳（メタデータ） (2023-08-02T18:22:49Z)
• Benchmarking Machine Reading Comprehension: A Psychological Perspective [45.85089157315507]
  機械学習理解(MRC)は自然言語理解のベンチマークとして注目されている。 MRCの従来のタスク設計は、モデル解釈以上の説明可能性に欠けていた。 本稿では,心理学と心理指標に基づくMRCデータセットの設計に関する理論的基礎を提供する。
  論文  参考訳（メタデータ） (2020-04-04T11:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。