論文の概要: TracLLM: A Generic Framework for Attributing Long Context LLMs

• arxiv url: http://arxiv.org/abs/2506.04202v2
• Date: Fri, 06 Jun 2025 02:32:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.067219
• Title: TracLLM: A Generic Framework for Attributing Long Context LLMs
• Title（参考訳）: TracLLM:Long Context LLMに寄与するジェネリックフレームワーク
• Authors: Yanting Wang, Wei Zou, Runpeng Geng, Jinyuan Jia,
• Abstract要約: 我々は,長期LLMに適した最初の汎用コンテキストトレースバックフレームワークであるTracLLMを開発した。 我々のフレームワークは、既存の特徴属性手法の有効性と効率を向上させることができる。 評価の結果,TracLLMはLLMの出力に繋がる長い文脈でテキストを効果的に識別できることがわかった。
• 参考スコア（独自算出の注目度）: 34.802736332993994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long context large language models (LLMs) are deployed in many real-world applications such as RAG, agent, and broad LLM-integrated applications. Given an instruction and a long context (e.g., documents, PDF files, webpages), a long context LLM can generate an output grounded in the provided context, aiming to provide more accurate, up-to-date, and verifiable outputs while reducing hallucinations and unsupported claims. This raises a research question: how to pinpoint the texts (e.g., sentences, passages, or paragraphs) in the context that contribute most to or are responsible for the generated output by an LLM? This process, which we call context traceback, has various real-world applications, such as 1) debugging LLM-based systems, 2) conducting post-attack forensic analysis for attacks (e.g., prompt injection attack, knowledge corruption attacks) to an LLM, and 3) highlighting knowledge sources to enhance the trust of users towards outputs generated by LLMs. When applied to context traceback for long context LLMs, existing feature attribution methods such as Shapley have sub-optimal performance and/or incur a large computational cost. In this work, we develop TracLLM, the first generic context traceback framework tailored to long context LLMs. Our framework can improve the effectiveness and efficiency of existing feature attribution methods. To improve the efficiency, we develop an informed search based algorithm in TracLLM. We also develop contribution score ensemble/denoising techniques to improve the accuracy of TracLLM. Our evaluation results show TracLLM can effectively identify texts in a long context that lead to the output of an LLM. Our code and data are at: https://github.com/Wang-Yanting/TracLLM.
• Abstract（参考訳）: LLM(Long context large language model)は、RAG、エージェント、LLM統合アプリケーションなど、多くの現実世界のアプリケーションにデプロイされる。 命令と長いコンテキスト(ドキュメント、PDFファイル、Webページなど)が与えられた場合、LLMは提供されたコンテキストに基礎を置く出力を生成し、より正確で最新で検証可能な出力を提供することを目標とし、幻覚や否定的な主張を減らす。 LLMが生成したアウトプットに最も貢献する文脈において、テキスト(例えば、文、節、節、段落)をどのようにピンポイントするか、それとも責任を負うのか? このプロセスはコンテキストトレースと呼ばれ、様々な現実世界のアプリケーションがあります。 1) LLM ベースのシステムのデバッグ 2 LLMに対する攻撃(即時注射攻撃、知識腐敗攻撃)の事後法医学的分析を行い、 3) LLMが生み出すアウトプットに対するユーザの信頼を高めるための知識ソースの強調。 長期LLMのコンテキストトレースに応用した場合、Shapleyのような既存の特徴属性法は、サブ最適性能を持つか、あるいは大きな計算コストを発生させる。 そこで本研究では,長期LLMに適した最初の汎用コンテキストトレースバックフレームワークであるTracLLMを開発した。 我々のフレームワークは、既存の特徴属性手法の有効性と効率を向上させることができる。 効率を向上させるために,TracLLMで情報検索に基づくアルゴリズムを開発した。 また,TracLLMの精度を向上させるため,コントリビューションスコアアンサンブル/デノライズ技術を開発した。 評価の結果,TracLLMはLLMの出力に繋がる長い文脈でテキストを効果的に識別できることがわかった。 私たちのコードとデータは以下のとおりです。

関連論文リスト

• An Empirical Study on Commit Message Generation using LLMs via In-Context Learning [26.39743339039473]
  コミットメッセージは、自然言語のコード変更を簡潔に記述する。 我々は,大規模言語モデル (LLM) とテキスト内学習 (ICL) の武器を借りてコミットメッセージを生成することを提案する。
  論文  参考訳（メタデータ） (2025-02-26T07:47:52Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts When Knowledge Conflicts? [45.233517779029334]
  応答が生成されたコンテキストと検索されたコンテキストに関連付けられているかどうかを識別する。 実験では、誤った情報を提供する場合でも、生成されたコンテキストを優先する複数のLSMにおいて、重大なバイアスが示される。
  論文  参考訳（メタデータ） (2024-01-22T12:54:04Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。