Fugu-MT 論文翻訳(概要): Attention Consistency for LLMs Explanation

論文の概要: Attention Consistency for LLMs Explanation

arxiv url: http://arxiv.org/abs/2509.17178v1
Date: Sun, 21 Sep 2025 17:55:30 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-23 18:58:16.151899
Title: Attention Consistency for LLMs Explanation
Title（参考訳）: LLMの解説における注意の整合性
Authors: Tian Lan, Jinyuan Xu, Xue He, Jenq-Neng Hwang, Lei Li,
Abstract要約: MACSは最大注意の一貫性に基づいて入力トークンのコントリビューションを測定する。我々は,MACSが解釈可能性の品質と計算効率のトレードオフを良好に達成していることを示す。
参考スコア（独自算出の注目度）: 29.555050640076303
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Understanding the decision-making processes of large language models (LLMs) is essential for their trustworthy development and deployment. However, current interpretability methods often face challenges such as low resolution and high computational cost. To address these limitations, we propose the \textbf{Multi-Layer Attention Consistency Score (MACS)}, a novel, lightweight, and easily deployable heuristic for estimating the importance of input tokens in decoder-based models. MACS measures contributions of input tokens based on the consistency of maximal attention. Empirical evaluations demonstrate that MACS achieves a favorable trade-off between interpretability quality and computational efficiency, showing faithfulness comparable to complex techniques with a 22\% decrease in VRAM usage and 30\% reduction in latency.
Abstract（参考訳）: 大きな言語モデル(LLM)の意思決定プロセスを理解することは、信頼できる開発とデプロイメントに不可欠です。しかし、現在の解釈可能性法は、しばしば低解像度や高計算コストといった課題に直面している。これらの制約に対処するため、デコーダモデルにおける入力トークンの重要性を推定するために、新規で軽量で容易にデプロイ可能なヒューリスティックであるtextbf{Multi-Layer Attention Consistency Score (MACS)を提案する。 MACSは最大注意の一貫性に基づいて入力トークンのコントリビューションを測定する。経験的評価は,MACSが解釈可能性の品質と計算効率のトレードオフを良好に達成し,VRAM使用率が22倍,レイテンシが30倍の複雑な技術に匹敵する忠実性を示した。

関連論文リスト

Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
論文参考訳（メタデータ） (2025-12-26T07:53:41Z)
A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models [85.30893355216486]
我々は,異なるdMLLMアーキテクチャとタスクを用いて,視覚的トークン冗長性がどのように進化するかを検討する。本研究により, 視覚的冗長性は, 長時間のタスクを処理しながら, オフスクラッチdMLLMでのみ現れることが明らかとなった。層スキッピングはAR-to-diffusion dMLLMの加速に有効であるのに対し、プログレッシブプルーニングやレイトステッププルーニングはストクラッチdMLLMよりも効果的である。
論文参考訳（メタデータ） (2025-11-19T04:13:36Z)
The LLM Already Knows: Estimating LLM-Perceived Question Difficulty via Hidden Representations [33.65540900920885]
大規模言語モデル(LLM)によって知覚される入力質問の難しさを推定することは、正確な性能評価と適応推論に不可欠である。本稿では,LLMが生成する隠れ表現のみを利用する難易度推定手法を提案する。
論文参考訳（メタデータ） (2025-09-16T09:38:41Z)
KLLM: Fast LLM Inference with K-Means Quantization [6.266554375328823]
K平均量子化重みとアクティベーションを用いた効率的な実行のための推論アクセラレータであるKLLMを提案する。 KLLMは、K-Means量子化データ上でのMatMulsと非線形演算を効率的に実行するためのインデックスベースの計算スキームを備えている。
論文参考訳（メタデータ） (2025-07-30T19:01:25Z)
DASH: Input-Aware Dynamic Layer Skipping for Efficient LLM Inference with Markov Decision Policies [22.562212737269924]
textbfDASHは入力特性で条件付けられたパスを動的に選択する。補償機構は決定プロセスに差分報酬を注入する非同期実行戦略は、実行時のオーバーヘッドを最小限に抑えるために、レイヤ計算とポリシー評価を重複させる。
論文参考訳（メタデータ） (2025-05-23T03:10:11Z)
Learning Symbolic Persistent Macro-Actions for POMDP Solving Over Time [52.03682298194168]
本稿では,時間的論理的推論と部分観測可能なマルコフ決定過程(POMDP)の統合を提案する。本手法は,イベント計算(EC)に基づく線形時間論理(LTL)の断片を利用して,固有(定数)なマクロアクションを生成する。これらのマクロアクションは、MCTS(Monte Carlo Tree Search)ベースのPOMDPソルバを時間軸上でガイドする。
論文参考訳（メタデータ） (2025-05-06T16:08:55Z)
QLLM: Do We Really Need a Mixing Network for Credit Assignment in Multi-Agent Reinforcement Learning? [4.429189958406034]
マルチエージェント強化学習(MARL)におけるクレジットの割り当ては依然として根本的な課題である。大規模言語モデル(LLM)を用いた信用代入関数の自動構築を容易にする新しいアルゴリズムである textbfQLLM を提案する。いくつかの標準MARLベンチマークで実施された大規模な実験は、提案手法が既存の最先端のベースラインを一貫して上回ることを示した。
論文参考訳（メタデータ） (2025-04-17T14:07:11Z)
Auto-Prompt Generation is Not Robust: Prompt Optimization Driven by Pseudo Gradient [50.15090865963094]
PertBenchは、幅広い入力摂動を含む包括的なベンチマークデータセットである。我々の分析は、既存の即時生成戦略における重大な脆弱性を明らかにしている。 PGOは、摂動型を擬似次数次信号として活用する、勾配のないプロンプト生成フレームワークである。
論文参考訳（メタデータ） (2024-12-24T06:05:08Z)
MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文参考訳（メタデータ） (2024-06-20T03:50:23Z)
Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
論文参考訳（メタデータ） (2024-06-16T09:51:55Z)
Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文参考訳（メタデータ） (2023-03-03T16:12:59Z)
GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds [72.60362979456035]
Masked Autoencoders (MAE)は、大規模な3Dポイントクラウドでの探索が難しい。我々は,周囲のコンテキストを自動的にマージするためのtextbfGenerative textbfDecoder for MAE (GD-MAE)を提案する。提案手法の有効性を, KITTI と ONCE の2つの大規模ベンチマークで実証した。
論文参考訳（メタデータ） (2022-12-06T14:32:55Z)
Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
論文参考訳（メタデータ） (2022-09-14T22:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。