論文の概要: RCStat: A Statistical Framework for using Relative Contextualization in Transformers

• arxiv url: http://arxiv.org/abs/2506.19549v1
• Date: Tue, 24 Jun 2025 11:55:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.616046
• Title: RCStat: A Statistical Framework for using Relative Contextualization in Transformers
• Title（参考訳）: RCStat: 変換器の相対的文脈化のための統計フレームワーク
• Authors: Debabrata Mahapatra, Shubham Agarwal, Apoorv Saxena, Subrata Mitra,
• Abstract要約: RCStat (Relative Contextualization) による生の注意ログを利用した統計フレームワークについて紹介する。 i)キー値圧縮、RCベースのしきい値が、品質損失を最小限に抑えたキャッシュ削減のための適応的なキー値消去を駆動する、(ii)属性、(ii)RCが、ポストソフトマックス法よりも高い忠実度トークン、文、チャンクレベルの説明を得る、という2つの応用を実証する。
• 参考スコア（独自算出の注目度）: 13.08398652600086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior work on input-token importance in auto-regressive transformers has relied on Softmax-normalized attention weights, which obscure the richer structure of pre-Softmax query-key logits. We introduce RCStat, a statistical framework that harnesses raw attention logits via Relative Contextualization (RC), a random variable measuring contextual alignment between token segments, and derive an efficient upper bound for RC. We demonstrate two applications: (i) Key-Value compression, where RC-based thresholds drive adaptive key-value eviction for substantial cache reduction with minimal quality loss; and (ii) Attribution, where RC yields higher-fidelity token-, sentence-, and chunk-level explanations than post-Softmax methods. Across question answering, summarization, and attribution benchmarks, RCStat achieves significant empirical gains, delivering state-of-the-art compression and attribution performance without any model retraining.
• Abstract（参考訳）: 自動回帰変換器における入出力の重要性に関する以前の研究は、ソフトマックス正規化の注意重みに依存しており、ソフトマックス以前のクエリキーロジットのよりリッチな構造を曖昧にしている。 RCStat(Relative Contextualization, 相対文脈化)は, トークンセグメント間のコンテキストアライメントを測定する確率変数であり, RCの効率的な上界を導出する。 2つの応用例を挙げる。 (i)キー値圧縮では、RCベースのしきい値が品質損失を最小限に抑え、実質的なキャッシュ削減のために適応的なキー値消去を駆動する。 (ii) RCでは, ポストソフトマックス法よりも高忠実度トークン, 文, チャンクレベルの説明が得られている。 質問応答、要約、帰属ベンチマークなどを通じて、RCStatは、モデルの再訓練なしに最先端の圧縮と帰属性能を提供する、重要な経験的利益を達成している。

関連論文リスト

• Accelerating Chain-of-Thought Reasoning: When Goal-Gradient Importance Meets Dynamic Skipping [3.521097198612099]
  Adaptive GoGI-Skipは、教師付き微調整によって動的CoT圧縮を学ぶ新しいフレームワークである。 CoTトークンの数を平均で45%以上削減し、1.6～2.0倍の推論スピードアップを実現している。 特に、高い効率の圧縮速度でも精度を保ち、既存のベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-05-13T09:39:18Z)
• Tensor Product Attention Is All You Need [53.69820973900921]
  プロダクトアテンション(TPA)は、テンソル分解を使用してクエリ、キー、値をコンパクトに表現する新しいアテンションメカニズムである。 TPAは、メモリ効率とともに改善されたモデル品質を実現する。 TPAに基づいて、シーケンスモデリングのための新しいモデルアーキテクチャであるProduct Attention Transformer(T6)を紹介する。
  論文  参考訳（メタデータ） (2025-01-11T03:37:10Z)
• A Distribution-Aware Flow-Matching for Generating Unstructured Data for Few-Shot Reinforcement Learning [1.0709300917082865]
  数発の強化学習のための合成非構造化データを生成するための分布認識フローマッチング手法を提案する。 我々のアプローチは、オーバーフィッティングやデータ相関など、従来のモデルベースRLにおける重要な課題に対処する。 提案手法は,初期タイムスタンプのフレームレートを30%向上させながら,最大Q値で安定した収束を実現することを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:50:59Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Fine-tuning Strategies for Faster Inference using Speech Self-Supervised Models: A Comparative Study [25.58608455210458]
  自己教師付き学習(SSL)は、低リソース環境での音声認識(ASR)の性能を大幅に向上させた。 この記事では、SSLエンコーダに必要な計算量を削減するために、微調整中にデプロイされる可能性のあるさまざまなアプローチについて検討する。
  論文  参考訳（メタデータ） (2023-03-12T19:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。