論文の概要: Attn-GS: Attention-Guided Context Compression for Efficient Personalized LLMs

• arxiv url: http://arxiv.org/abs/2602.07778v1
• Date: Sun, 08 Feb 2026 02:31:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.796743
• Title: Attn-GS: Attention-Guided Context Compression for Efficient Personalized LLMs
• Title（参考訳）: Attn-GS:効率的なパーソナライズされたLLMのための注意誘導コンテキスト圧縮
• Authors: Shenglai Zeng, Tianqi Zheng, Chuan Tian, Dante Everaert, Yau-Shian Wang, Yupin Huang, Michael J. Morais, Rohit Patki, Jinjin Tian, Xinnan Dai, Kai Guo, Monica Xiao Cheng, Hui Liu,
• Abstract要約: 大規模言語モデル(LLM)を個々のユーザにパーソナライズするには、広範なインタラクション履歴とプロファイルを組み込む必要がある。 既存のアプローチは、最近のインタラクションの選択や、ユーザプロファイルを圧縮するための要約モデルなどの方法に依存している。 LLMの注意パターンが知的文脈圧縮のための重要なパーソナライズ信号を効果的に識別できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 13.018317214170727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalizing large language models (LLMs) to individual users requires incorporating extensive interaction histories and profiles, but input token constraints make this impractical due to high inference latency and API costs. Existing approaches rely on heuristic methods such as selecting recent interactions or prompting summarization models to compress user profiles. However, these methods treat context as a monolithic whole and fail to consider how LLMs internally process and prioritize different profile components. We investigate whether LLMs' attention patterns can effectively identify important personalization signals for intelligent context compression. Through preliminary studies on representative personalization tasks, we discover that (a) LLMs' attention patterns naturally reveal important signals, and (b) fine-tuning enhances LLMs' ability to distinguish between relevant and irrelevant information. Based on these insights, we propose Attn-GS, an attention-guided context compression framework that leverages attention feedback from a marking model to mark important personalization sentences, then guides a compression model to generate task-relevant, high-quality compressed user contexts. Extensive experiments demonstrate that Attn-GS significantly outperforms various baselines across different tasks, token limits, and settings, achieving performance close to using full context while reducing token usage by 50 times.
• Abstract（参考訳）: 大きな言語モデル(LLM)を個々のユーザにパーソナライズするには、広範なインタラクション履歴とプロファイルを組み込む必要があるが、入力トークンの制約は、高い推論レイテンシとAPIコストのために、これを非現実的にする。 既存のアプローチは、最近のインタラクションの選択や、ユーザプロファイルを圧縮するための要約モデルなど、ヒューリスティックな手法に依存している。 しかし、これらの手法はコンテキストをモノリシックな全体として扱い、LLMが内部でどのように処理し、異なるプロファイルコンポーネントを優先順位付けするかを考慮できない。 LLMの注意パターンが知的文脈圧縮のための重要なパーソナライズ信号を効果的に識別できるかどうかを検討する。 代表的パーソナライズタスクの予備研究を通じて、私たちはそれを発見します。 (a)LLMの注意パターンは自然に重要な信号を示し、 b)微調整により、LLMが関連する情報と無関係情報を区別する能力が向上する。 これらの知見に基づいて、重要なパーソナライズ文をマークするためにマーキングモデルからの注意フィードバックを利用する注意誘導型コンテキスト圧縮フレームワークであるAttn-GSを提案し、タスク関連で高品質なユーザコンテキストを生成するために圧縮モデルをガイドする。 大規模な実験では、Attn-GSはさまざまなタスク、トークン制限、設定でさまざまなベースラインを著しく上回り、完全なコンテキストの使用に近いパフォーマンスを実現し、トークン使用量を50倍削減している。

関連論文リスト

• Training-free Uncertainty Guidance for Complex Visual Tasks with MLLMs [61.64185573373394]
  本稿では,MLLMの本質的不確かさをプロアクティブ誘導信号として用いた学習自由フレームワークを提案する。 応答不確実性によって候補の視覚入力をスコアする統一的なメカニズムを導入し、モデルが最も健全なデータに自律的にフォーカスできるようにする。 本研究は,本質的な不確実性を活用することが,細粒度マルチモーダル性能を高めるための強力で汎用的な戦略であることを実証する。
  論文  参考訳（メタデータ） (2025-10-01T09:20:51Z)
• Personalized Vision via Visual In-Context Learning [62.85784251383279]
  パーソナライズされた視覚のためのビジュアル・イン・コンテキスト・ラーニング・フレームワークを提案する。 PICOは基盤となる変換を推測し、再トレーニングせずに新しい入力に適用する。 また,効率的な推論スケーリングによる信頼性向上を目的とした注意誘導型シードスコアラを提案する。
  論文  参考訳（メタデータ） (2025-09-29T17:58:45Z)
• CTR-Sink: Attention Sink for Language Models in Click-Through Rate Prediction [42.92011330807996]
  $textitCTR-Sink$は、レコメンデーションシナリオに適した振る舞いレベルの注意シンクを導入した、新しいフレームワークである。 注意シンク理論にヒントを得て、注意集中シンクを構築し、外部情報を介して注意集約を動的に制御する。
  論文  参考訳（メタデータ） (2025-08-05T17:30:34Z)
• Don't Take Things Out of Context: Attention Intervention for Enhancing Chain-of-Thought Reasoning in Large Language Models [32.71672086718058]
  CoT (Few-shot Chain-of-Thought) は大規模言語モデル (LLM) の推論能力を著しく向上させる 我々は、COTのデモで分離されたセグメント、単語、トークンが、予期せずLCMの生成過程を乱す可能性があることを観察する。 デモの注意パターンを動的に解析し,これらのトークンを正確に識別するFew-shot Attention Intervention法(FAI)を提案する。
  論文  参考訳（メタデータ） (2025-03-14T07:46:33Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• Towards Probing Contact Center Large Language Models [11.018095513653758]
  ドメイン固有命令を用いた微調整型大規模言語モデル (LLM) が, ドメイン固有理解を高める効果的な方法として登場した。 我々は,OB (out-of-the-box) LLM (OB) LLM) を用いたコンタクトセンタ(CC) 固有の微調整LDMの基本的な特性をベンチマークする。 その結果,OCB-LLMよりも応答受容性が48%以上向上し,ドメイン内下流タスクに対するCC-LLMsの顕著な効果が示された。
  論文  参考訳（メタデータ） (2023-12-26T07:34:39Z)
• Fortify the Shortest Stave in Attention: Enhancing Context Awareness of Large Language Models for Effective Tool Use [74.72150542395487]
  大規模言語モデル(LLM)の注意配分における固有波形パターンは、高い文脈認識を必要とするタスクにおいて、その性能に大きな影響を及ぼす。 この問題に対処するため,Attention Buckets という新しい推論手法を提案する。
  論文  参考訳（メタデータ） (2023-12-07T17:24:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。