Fugu-MT 論文翻訳(概要): Attention Consistency for LLMs Explanation

論文の概要: Attention Consistency for LLMs Explanation

arxiv url: http://arxiv.org/abs/2509.17178v1
Date: Sun, 21 Sep 2025 17:55:30 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-23 18:58:16.151899
Title: Attention Consistency for LLMs Explanation
Title（参考訳）: LLMの解説における注意の整合性
Abstract要約: MACSは最大注意の一貫性に基づいて入力トークンのコントリビューションを測定する。我々は,MACSが解釈可能性の品質と計算効率のトレードオフを良好に達成していることを示す。
参考スコア（独自算出の注目度）: 29.555050640076303
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Understanding the decision-making processes of large language models (LLMs) is essential for their trustworthy development and deployment. However, current interpretability methods often face challenges such as low resolution and high computational cost. To address these limitations, we propose the \textbf{Multi-Layer Attention Consistency Score (MACS)}, a novel, lightweight, and easily deployable heuristic for estimating the importance of input tokens in decoder-based models. MACS measures contributions of input tokens based on the consistency of maximal attention. Empirical evaluations demonstrate that MACS achieves a favorable trade-off between interpretability quality and computational efficiency, showing faithfulness comparable to complex techniques with a 22\% decrease in VRAM usage and 30\% reduction in latency.
Abstract（参考訳）: 大きな言語モデル(LLM)の意思決定プロセスを理解することは、信頼できる開発とデプロイメントに不可欠です。しかし、現在の解釈可能性法は、しばしば低解像度や高計算コストといった課題に直面している。これらの制約に対処するため、デコーダモデルにおける入力トークンの重要性を推定するために、新規で軽量で容易にデプロイ可能なヒューリスティックであるtextbf{Multi-Layer Attention Consistency Score (MACS)を提案する。 MACSは最大注意の一貫性に基づいて入力トークンのコントリビューションを測定する。経験的評価は,MACSが解釈可能性の品質と計算効率のトレードオフを良好に達成し,VRAM使用率が22倍,レイテンシが30倍の複雑な技術に匹敵する忠実性を示した。

関連論文リスト

FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
論文参考訳（メタデータ） (2026-06-01T06:58:15Z)
On the Quantization Robustness of Diffusion Language Models in Coding Benchmarks [0.09665867043802821]
自動回帰大言語モデル(LLM)は、コーディングタスクにおいて高いパフォーマンスを達成するが、高いメモリと推論コストを発生させる。本稿では,PTQ 技術,特に GPTQ と改良型 Hessian-Aware Quantization (HAWQ) アルゴリズムの適用と堅牢性について検討する。
論文参考訳（メタデータ） (2026-04-22T00:53:43Z)
MACS: Modality-Aware Capacity Scaling for Efficient Multimodal MoE Inference [25.81851757648691]
マルチモーダル多言語モデル(Multimodal Large Language Models, MoE MLLMs)は, ストラグラー効果によるエキスパート並列性(EP)推論において, 顕著な効率ボトルネックに悩まされる。そこで我々は,MACS(Modality-Aware Capacity Scaling)をトレーニング不要な推論フレームワークとして提案する。具体的には、MACSはエントロピー重み付け機構を導入し、視覚トークンの意味値を定量化し、情報の不均一性に対処する。さらに、動的モダリティ適応キャパシティ機構は、入力のリアルタイムなモーダル合成に基づいて、エキスパートリソースを割り当てる。
論文参考訳（メタデータ） (2026-04-19T07:25:39Z)
SepSeq: A Training-Free Framework for Long Numerical Sequence Processing in LLMs [51.84813231879529]
本稿では,セパレータトークンを戦略的に挿入することで分散を緩和する学習自由なプラグアンドプレイフレームワークを提案する。メカニカルには、セパレータトークンが注目シンクとして機能し、グローバルなコンテキストを維持しながら、局所的なセグメントに注意を向けることが示される。
論文参考訳（メタデータ） (2026-04-09T02:40:34Z)
Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
論文参考訳（メタデータ） (2025-12-26T07:53:41Z)
A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models [85.30893355216486]
我々は,異なるdMLLMアーキテクチャとタスクを用いて,視覚的トークン冗長性がどのように進化するかを検討する。本研究により, 視覚的冗長性は, 長時間のタスクを処理しながら, オフスクラッチdMLLMでのみ現れることが明らかとなった。層スキッピングはAR-to-diffusion dMLLMの加速に有効であるのに対し、プログレッシブプルーニングやレイトステッププルーニングはストクラッチdMLLMよりも効果的である。
論文参考訳（メタデータ） (2025-11-19T04:13:36Z)
The LLM Already Knows: Estimating LLM-Perceived Question Difficulty via Hidden Representations [33.65540900920885]
大規模言語モデル(LLM)によって知覚される入力質問の難しさを推定することは、正確な性能評価と適応推論に不可欠である。本稿では,LLMが生成する隠れ表現のみを利用する難易度推定手法を提案する。
論文参考訳（メタデータ） (2025-09-16T09:38:41Z)
KLLM: Fast LLM Inference with K-Means Quantization [6.266554375328823]
K平均量子化重みとアクティベーションを用いた効率的な実行のための推論アクセラレータであるKLLMを提案する。 KLLMは、K-Means量子化データ上でのMatMulsと非線形演算を効率的に実行するためのインデックスベースの計算スキームを備えている。
論文参考訳（メタデータ） (2025-07-30T19:01:25Z)
DASH: Input-Aware Dynamic Layer Skipping for Efficient LLM Inference with Markov Decision Policies [22.562212737269924]
textbfDASHは入力特性で条件付けられたパスを動的に選択する。補償機構は決定プロセスに差分報酬を注入する非同期実行戦略は、実行時のオーバーヘッドを最小限に抑えるために、レイヤ計算とポリシー評価を重複させる。
論文参考訳（メタデータ） (2025-05-23T03:10:11Z)
Learning Symbolic Persistent Macro-Actions for POMDP Solving Over Time [52.03682298194168]
本稿では,時間的論理的推論と部分観測可能なマルコフ決定過程(POMDP)の統合を提案する。本手法は,イベント計算(EC)に基づく線形時間論理(LTL)の断片を利用して,固有(定数)なマクロアクションを生成する。これらのマクロアクションは、MCTS(Monte Carlo Tree Search)ベースのPOMDPソルバを時間軸上でガイドする。
論文参考訳（メタデータ） (2025-05-06T16:08:55Z)
QLLM: Do We Really Need a Mixing Network for Credit Assignment in Multi-Agent Reinforcement Learning? [4.429189958406034]
マルチエージェント強化学習(MARL)におけるクレジットの割り当ては依然として根本的な課題である。大規模言語モデル(LLM)を用いた信用代入関数の自動構築を容易にする新しいアルゴリズムである textbfQLLM を提案する。いくつかの標準MARLベンチマークで実施された大規模な実験は、提案手法が既存の最先端のベースラインを一貫して上回ることを示した。
論文参考訳（メタデータ） (2025-04-17T14:07:11Z)
Auto-Prompt Generation is Not Robust: Prompt Optimization Driven by Pseudo Gradient [50.15090865963094]
PertBenchは、幅広い入力摂動を含む包括的なベンチマークデータセットである。我々の分析は、既存の即時生成戦略における重大な脆弱性を明らかにしている。 PGOは、摂動型を擬似次数次信号として活用する、勾配のないプロンプト生成フレームワークである。
論文参考訳（メタデータ） (2024-12-24T06:05:08Z)
MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文参考訳（メタデータ） (2024-06-20T03:50:23Z)
Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
論文参考訳（メタデータ） (2024-06-16T09:51:55Z)
Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文参考訳（メタデータ） (2023-03-03T16:12:59Z)
GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds [72.60362979456035]
Masked Autoencoders (MAE)は、大規模な3Dポイントクラウドでの探索が難しい。我々は,周囲のコンテキストを自動的にマージするためのtextbfGenerative textbfDecoder for MAE (GD-MAE)を提案する。提案手法の有効性を, KITTI と ONCE の2つの大規模ベンチマークで実証した。
論文参考訳（メタデータ） (2022-12-06T14:32:55Z)
Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
論文参考訳（メタデータ） (2022-09-14T22:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。