論文の概要: AttnTrace: Attention-based Context Traceback for Long-Context LLMs
- arxiv url: http://arxiv.org/abs/2508.03793v1
- Date: Tue, 05 Aug 2025 17:56:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.402311
- Title: AttnTrace: Attention-based Context Traceback for Long-Context LLMs
- Title(参考訳): AttnTrace: 長期LLMのための注意に基づくコンテキストトレースバック
- Authors: Yanting Wang, Runpeng Geng, Ying Chen, Jinyuan Jia,
- Abstract要約: 本研究では,LLMがプロンプトのために生成した注目重みに基づく新しいコンテキストトレース手法であるAttnTraceを提案する。
その結果、AttnTraceは既存の最先端のコンテキストトレース手法よりも正確で効率的であることがわかった。
- 参考スコア(独自算出の注目度): 30.472252134918815
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-context large language models (LLMs), such as Gemini-2.5-Pro and Claude-Sonnet-4, are increasingly used to empower advanced AI systems, including retrieval-augmented generation (RAG) pipelines and autonomous agents. In these systems, an LLM receives an instruction along with a context--often consisting of texts retrieved from a knowledge database or memory--and generates a response that is contextually grounded by following the instruction. Recent studies have designed solutions to trace back to a subset of texts in the context that contributes most to the response generated by the LLM. These solutions have numerous real-world applications, including performing post-attack forensic analysis and improving the interpretability and trustworthiness of LLM outputs. While significant efforts have been made, state-of-the-art solutions such as TracLLM often lead to a high computation cost, e.g., it takes TracLLM hundreds of seconds to perform traceback for a single response-context pair. In this work, we propose AttnTrace, a new context traceback method based on the attention weights produced by an LLM for a prompt. To effectively utilize attention weights, we introduce two techniques designed to enhance the effectiveness of AttnTrace, and we provide theoretical insights for our design choice. We also perform a systematic evaluation for AttnTrace. The results demonstrate that AttnTrace is more accurate and efficient than existing state-of-the-art context traceback methods. We also show that AttnTrace can improve state-of-the-art methods in detecting prompt injection under long contexts through the attribution-before-detection paradigm. As a real-world application, we demonstrate that AttnTrace can effectively pinpoint injected instructions in a paper designed to manipulate LLM-generated reviews. The code is at https://github.com/Wang-Yanting/AttnTrace.
- Abstract(参考訳): Gemini-2.5-ProやClaude-Sonnet-4のようなLong-context Large Language Model (LLM)は、検索強化世代(RAG)パイプラインや自律エージェントなど、高度なAIシステムを強化するためにますます利用されている。
これらのシステムでは、LLMは、知識データベースまたはメモリから取得されたテキストからなるコンテキストと共に命令を受け取り、命令に従うことで文脈的に根拠付けられた応答を生成する。
最近の研究は、LLMが生成した応答に最も寄与する文脈におけるテキストのサブセットに遡るソリューションを設計している。
これらのソリューションは、攻撃後の法医学的な分析を行い、LLM出力の解釈可能性や信頼性を向上させるなど、現実世界の多くの応用がある。
TracLLMのような最先端のソリューションは、多大な計算コスト、例えば、TracLLMが1つのレスポンス-コンテキストペアのトレースバックを実行するのに数百秒を要する場合が多い。
本研究では,LLMがプロンプトのために生成した注目重みに基づく新しいコンテキストトレース手法であるAttnTraceを提案する。
注意重みを効果的に活用するために、AttnTraceの有効性を高めるために設計された2つの手法を導入し、設計選択に理論的知見を提供する。
AttnTraceのシステム評価も行います。
その結果、AttnTraceは既存の最先端のコンテキストトレース手法よりも正確で効率的であることがわかった。
また、AttnTraceは、属性前検出パラダイムにより、長いコンテキスト下でのプロンプトインジェクションの検出において、最先端の手法を改善することができることを示す。
実世界のアプリケーションであるAttnTraceは、LCM生成レビューを操作するために設計された論文において、効果的にインジェクションされた命令を特定できることを実証する。
コードはhttps://github.com/Wang-Yanting/AttnTraceにある。
関連論文リスト
- TracLLM: A Generic Framework for Attributing Long Context LLMs [34.802736332993994]
我々は,長期LLMに適した最初の汎用コンテキストトレースバックフレームワークであるTracLLMを開発した。
我々のフレームワークは、既存の特徴属性手法の有効性と効率を向上させることができる。
評価の結果,TracLLMはLLMの出力に繋がる長い文脈でテキストを効果的に識別できることがわかった。
論文 参考訳(メタデータ) (2025-06-04T17:48:16Z) - KnowTrace: Bootstrapping Iterative Retrieval-Augmented Generation with Structured Knowledge Tracing [64.38243807002878]
我々は、大規模言語モデルにおけるコンテキスト過負荷を軽減するためのエレガントなRAGフレームワークであるKnowTraceを紹介する。
KnowTraceは、必要な知識三つ子を自律的に追跡して、入力された質問に関連する特定の知識グラフを整理する。
3つのマルチホップ質問応答ベンチマークで、既存のメソッドを一貫して上回っている。
論文 参考訳(メタデータ) (2025-05-26T17:22:20Z) - Towards Effectively Leveraging Execution Traces for Program Repair with Code LLMs [13.708569727719434]
大きな言語モデル(LLM)は、様々なプログラミングタスクにおいて有望なパフォーマンスを示す。
我々は,標準的なAPRプロンプトをプログラム実行トレースで強化することで,この潜在的な盲点を修復することを目指している。
論文 参考訳(メタデータ) (2025-05-07T14:12:41Z) - Large Language Models as Realistic Microservice Trace Generators [54.85489678342595]
ワークロードトレースは、複雑なコンピュータシステムの振る舞いを理解し、処理とメモリリソースを管理するために不可欠である。
本稿では,大規模言語モデルを用いて合成ワークロードトレースを生成する手法を提案する。
我々のモデルは、キートレースの特徴を予測したり、欠落したデータを埋め込んだりといった、下流のトレース関連タスクに適応する。
論文 参考訳(メタデータ) (2024-12-16T12:48:04Z) - TraceMesh: Scalable and Streaming Sampling for Distributed Traces [51.08892669409318]
TraceMeshは、分散トレースのためのスケーラブルでストリーミングなサンプリングツールである。
以前は見つからなかったトレース機能を、統一的で合理化された方法で扱える。
TraceMeshは、サンプリング精度と効率の両方において、最先端の手法よりも大幅に優れている。
論文 参考訳(メタデータ) (2024-06-11T06:13:58Z) - Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳(メタデータ) (2024-06-02T16:53:21Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - Origin Tracing and Detecting of LLMs [46.02811367717774]
本稿では,AI生成コンテキストの追跡と検出に有効な手法を提案する。
提案手法は,ホワイトボックス設定とブラックボックス設定の両方で動作する。
我々は、与えられたテキストの起源を追跡できるかどうかを調べるために、広範囲な実験を構築した。
論文 参考訳(メタデータ) (2023-04-27T10:05:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。