論文の概要: AttriBoT: A Bag of Tricks for Efficiently Approximating Leave-One-Out Context Attribution

• arxiv url: http://arxiv.org/abs/2411.15102v2
• Date: Tue, 14 Jan 2025 14:07:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 02:44:51.064330
• Title: AttriBoT: A Bag of Tricks for Efficiently Approximating Leave-One-Out Context Attribution
• Title（参考訳）: AttriBoT: ワンアウトコンテキスト属性を効果的に近似するためのトリックの袋
• Authors: Fengyuan Liu, Nikhil Kandpal, Colin Raffel,
• Abstract要約: 本稿では,文脈属性に対するLOO誤差の近似を効率的に計算する一連の新しい手法であるAttriBoTを紹介する。 AttriBoTは、以前のコンテキスト属性メソッドよりもターゲットモデルのLOOエラーに忠実でありながら、>300倍のスピードアップを提供することができる。
• 参考スコア（独自算出の注目度）: 35.18192555185193
• License:
• Abstract: The influence of contextual input on the behavior of large language models (LLMs) has prompted the development of context attribution methods that aim to quantify each context span's effect on an LLM's generations. The leave-one-out (LOO) error, which measures the change in the likelihood of the LLM's response when a given span of the context is removed, provides a principled way to perform context attribution, but can be prohibitively expensive to compute for large models. In this work, we introduce AttriBoT, a series of novel techniques for efficiently computing an approximation of the LOO error for context attribution. Specifically, AttriBoT uses cached activations to avoid redundant operations, performs hierarchical attribution to reduce computation, and emulates the behavior of large target models with smaller proxy models. Taken together, AttriBoT can provide a >300x speedup while remaining more faithful to a target model's LOO error than prior context attribution methods. This stark increase in performance makes computing context attributions for a given response 30x faster than generating the response itself, empowering real-world applications that require computing attributions at scale. We release a user-friendly and efficient implementation of AttriBoT to enable efficient LLM interpretability as well as encourage future development of efficient context attribution methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)の振る舞いに対する文脈入力の影響は、それぞれの文脈スパンがLLM世代に与える影響を定量化することを目的とした文脈属性手法の開発を促している。 オフ・ワン・アウト(LOO)エラーは、コンテキストの特定のスパンが削除された場合のLCMの応答の確率の変化を測定するもので、コンテキスト属性を実行するための原則的な方法を提供するが、大規模モデルでは計算に不当にコストがかかる可能性がある。 本研究では,文脈属性に対するLOO誤差の近似を効率的に計算する一連の新しい手法であるAttriBoTを紹介する。 具体的には、キャッシュされたアクティベーションを使用して冗長な操作を回避し、階層的属性を実行して計算を削減し、より小さなプロキシモデルで大きなターゲットモデルの振る舞いをエミュレートする。 まとめると、AttriBoTは、以前のコンテキスト属性メソッドよりもターゲットモデルのLOOエラーに忠実でありながら、>300倍のスピードアップを提供することができる。 このパフォーマンスの急激な増加により、与えられたレスポンスに対するコンピューティングコンテキスト属性は、レスポンス自体を生成するよりも30倍早くなり、大規模にコンピューティング属性を必要とする現実世界のアプリケーションに権限が与えられる。 我々はユーザフレンドリで効率的なAttriBoTの実装をリリースし、効率的なLLM解釈を可能にするとともに、効率的なコンテクスト属性手法の開発を後押しする。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Instruction-Following Pruning for Large Language Models [58.329978053711024]
  我々は、モデルに対する固定的なプルーニングマスクを決定する従来の静的プルーニングアプローチを超えて移動する。 本手法では,プルーニングマスクは入力依存型であり,ユーザ命令に記述された情報に基づいて動的に適応する。 我々の手法は「命令追従プルーニング」と呼ばれ、ユーザ命令を入力とし、与えられたタスクに対して最も関連性の高いモデルパラメータを動的に選択するスパースマスク予測器を導入している。
  論文  参考訳（メタデータ） (2025-01-03T20:19:14Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Rational Metareasoning for Large Language Models [5.5539136805232205]
  大きな言語モデル(LLM)を使用するためのコアテクニックとして,推論への関与を促す声が上がっている。 本研究は,認知科学で用いられるメタレゾニングの計算モデルに基づく新しいアプローチを導入する。 我々は不必要な推論を罰することで計算の価値を組み込む報酬関数を開発する。
  論文  参考訳（メタデータ） (2024-10-07T23:48:52Z)
• Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
  大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。 我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
  論文  参考訳（メタデータ） (2024-06-16T09:51:55Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Dynamic Context Pruning for Efficient and Interpretable Autoregressive Transformers [29.319666323947708]
  本稿では,モデル表現性を保ちながら文脈情報を動的に生成する手法を提案する。 本手法では,文脈からどの非形式的トークンをドロップできるかを学習可能なメカニズムを用いて決定する。 我々の参照実装は、推論スループットの増大とメモリの節約を最大2ドルまで達成します。
  論文  参考訳（メタデータ） (2023-05-25T07:39:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。