論文の概要: Attention Consistency for LLMs Explanation

• arxiv url: http://arxiv.org/abs/2509.17178v1
• Date: Sun, 21 Sep 2025 17:55:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.151899
• Title: Attention Consistency for LLMs Explanation
• Title（参考訳）: LLMの解説における注意の整合性
• Authors: Tian Lan, Jinyuan Xu, Xue He, Jenq-Neng Hwang, Lei Li,
• Abstract要約: MACSは最大注意の一貫性に基づいて入力トークンのコントリビューションを測定する。 我々は,MACSが解釈可能性の品質と計算効率のトレードオフを良好に達成していることを示す。
• 参考スコア（独自算出の注目度）: 29.555050640076303
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the decision-making processes of large language models (LLMs) is essential for their trustworthy development and deployment. However, current interpretability methods often face challenges such as low resolution and high computational cost. To address these limitations, we propose the \textbf{Multi-Layer Attention Consistency Score (MACS)}, a novel, lightweight, and easily deployable heuristic for estimating the importance of input tokens in decoder-based models. MACS measures contributions of input tokens based on the consistency of maximal attention. Empirical evaluations demonstrate that MACS achieves a favorable trade-off between interpretability quality and computational efficiency, showing faithfulness comparable to complex techniques with a 22\% decrease in VRAM usage and 30\% reduction in latency.
• Abstract（参考訳）: 大きな言語モデル(LLM)の意思決定プロセスを理解することは、信頼できる開発とデプロイメントに不可欠です。 しかし、現在の解釈可能性法は、しばしば低解像度や高計算コストといった課題に直面している。 これらの制約に対処するため、デコーダモデルにおける入力トークンの重要性を推定するために、新規で軽量で容易にデプロイ可能なヒューリスティックであるtextbf{Multi-Layer Attention Consistency Score (MACS)を提案する。 MACSは最大注意の一貫性に基づいて入力トークンのコントリビューションを測定する。 経験的評価は,MACSが解釈可能性の品質と計算効率のトレードオフを良好に達成し,VRAM使用率が22倍,レイテンシが30倍の複雑な技術に匹敵する忠実性を示した。

関連論文リスト

• KLLM: Fast LLM Inference with K-Means Quantization [6.266554375328823]
  K平均量子化重みとアクティベーションを用いた効率的な実行のための推論アクセラレータであるKLLMを提案する。 KLLMは、K-Means量子化データ上でのMatMulsと非線形演算を効率的に実行するためのインデックスベースの計算スキームを備えている。
  論文  参考訳（メタデータ） (2025-07-30T19:01:25Z)
• Learning Symbolic Persistent Macro-Actions for POMDP Solving Over Time [52.03682298194168]
  本稿では,時間的論理的推論と部分観測可能なマルコフ決定過程(POMDP)の統合を提案する。 本手法は,イベント計算(EC)に基づく線形時間論理(LTL)の断片を利用して,固有(定数)なマクロアクションを生成する。 これらのマクロアクションは、MCTS(Monte Carlo Tree Search)ベースのPOMDPソルバを時間軸上でガイドする。
  論文  参考訳（メタデータ） (2025-05-06T16:08:55Z)
• QLLM: Do We Really Need a Mixing Network for Credit Assignment in Multi-Agent Reinforcement Learning? [4.429189958406034]
  マルチエージェント強化学習(MARL)におけるクレジットの割り当ては依然として根本的な課題である。 大規模言語モデル(LLM)を用いた信用代入関数の自動構築を容易にする新しいアルゴリズムである textbfQLLM を提案する。 いくつかの標準MARLベンチマークで実施された大規模な実験は、提案手法が既存の最先端のベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-04-17T14:07:11Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds [72.60362979456035]
  Masked Autoencoders (MAE)は、大規模な3Dポイントクラウドでの探索が難しい。 我々は,周囲のコンテキストを自動的にマージするためのtextbfGenerative textbfDecoder for MAE (GD-MAE)を提案する。 提案手法の有効性を, KITTI と ONCE の2つの大規模ベンチマークで実証した。
  論文  参考訳（メタデータ） (2022-12-06T14:32:55Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。