Fugu-MT 論文翻訳(概要): DMDIntel: Interpreting Large Language Models via Dynamic Mode Decomposition

論文の概要: DMDIntel: Interpreting Large Language Models via Dynamic Mode Decomposition

arxiv url: http://arxiv.org/abs/2608.13048v1
Date: Thu, 13 Aug 2026 10:13:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-14 18:29:38.474137
Title: DMDIntel: Interpreting Large Language Models via Dynamic Mode Decomposition
Title（参考訳）: DMDIntel:動的モード分解による大規模言語モデルの解釈
Abstract要約: 本稿では,動的モード分解(DMD)を用いて分類タスクの予測を行うDMDIntelを紹介する。入力属性パイプラインを開発し、まずLLMの隠された状態をモードとして知られる顕著なパターンに分解し、次にそれらのモードの投影値に基づいてランクを入力トークンに関連付ける。
参考スコア（独自算出の注目度）: 5.448544472952658
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this work, we introduce DMDIntel which uses dynamic mode decomposition (DMD) to make the predictions made by LLMs in a classification task interpretable. It develops an input attribution pipeline, that first decomposes the hidden states of an LLM into prominent patterns, also known as modes, and then associates ranks to the input tokens based on the projection values on those modes. Rigorous experiments across three datasets and three model families consistently show that the ranked attribution of input tokens obtained using DMDIntel by far outperforms state-of-the-art techniques such as principal component analysis, integrated gradients and SHAP.
Abstract（参考訳）: 本研究では,動的モード分解(DMD)を用いて,LLMによる分類タスクの予測を行うDMDIntelを紹介する。入力属性パイプラインを開発し、まずLLMの隠された状態をモードとして知られる顕著なパターンに分解し、次にそれらのモードの投影値に基づいてランクを入力トークンに関連付ける。 3つのデータセットと3つのモデルファミリーにわたる厳密な実験は、DMDIntelを用いて得られた入力トークンのランク付けが、主成分分析、統合勾配、SHAPといった最先端技術よりはるかに優れていることを一貫して示している。

関連論文リスト

MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
論文参考訳（メタデータ） (2026-04-25T14:15:05Z)
LVD-GS: Gaussian Splatting SLAM for Dynamic Scenes via Hierarchical Explicit-Implicit Representation Collaboration Rendering [21.615484471658842]
3次元ガウス散乱SLAMは空間知能における高忠実度マッピングの手法として広く用いられている。既存の手法は、大規模でダイナミックな屋外シーンでの性能を制限する単一の表現方式に依存していることが多い。我々は,新しいLiDAR-Visual 3D Gaussian Splatting SLAMシステムである textbfLVD-GS を提案する。
論文参考訳（メタデータ） (2025-10-26T13:16:39Z)
DLM-One: Diffusion Language Models for One-Step Sequence Generation [63.43422118066493]
DLM-Oneは連続拡散言語モデルを用いた1ステップシーケンス生成のためのスコア蒸留ベースのフレームワークである。 DLM-Oneが言語モデリングにおけるサンプリング効率を大幅に向上できるかどうかを検討する。
論文参考訳（メタデータ） (2025-05-30T22:42:23Z)
Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
論文参考訳（メタデータ） (2025-04-10T04:09:47Z)
Deep Discrete Encoders: Identifiable Deep Generative Models for Rich Data with Discrete Latent Layers [13.545948734057268]
本稿では、DDE(Deep Discrete EMs)と呼ばれる、離散遅延層を持つリッチデータ型に対する解釈可能な深層生成モデルを提案する。理論的には、DDEの透過的識別可能性条件は、潜伏層が深くなるにつれて徐々に小さくなる。
論文参考訳（メタデータ） (2025-01-02T18:56:23Z)
Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax [73.03684002513218]
我々はDeep InfoMax(DIM)を拡張し、学習した表現を選択された事前分布に自動マッチングできるようにする。このような修正により、一様かつ通常に分散した表現を学習できることを示す。その結果,下流作業における性能とDMの品質の中間的なトレードオフが示唆された。
論文参考訳（メタデータ） (2024-10-09T15:40:04Z)
FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
論文参考訳（メタデータ） (2023-10-30T11:25:03Z)
Interpretable 2D Vision Models for 3D Medical Images [47.75089895500738]
本研究では,3次元画像処理における中間特徴表現を用いた2次元ネットワークの適応手法を提案する。我々は、ベンチマークとして3D MedMNISTデータセットと、既存の手法に匹敵する数百の高分解能CTまたはMRIスキャンからなる2つの実世界のデータセットを示す。
論文参考訳（メタデータ） (2023-07-13T08:27:09Z)
LDDMM meets GANs: Generative Adversarial Networks for diffeomorphic registration [1.2599533416395767]
本稿では,ジェネレーティブ・アドリラル・ネットワークに基づく3次元モノモーダル画像対に対する逆学習手法を提案する。我々は、微分同相の定常パラメータ化とEPDiff制約付き非定常パラメータ化の2つのモデルの実装に成功した。提案手法は1秒未満の計算時間を持つモデルベース手法と類似した結果を示した。
論文参考訳（メタデータ） (2021-11-24T15:26:16Z)
Equivariant Deep Dynamical Model for Motion Prediction [0.0]
深層生成モデリングは、データの最も単純化され圧縮された基礎的な記述を見つけるための動的モデリングの強力なアプローチである。ほとんどの学習タスクは固有の対称性を持ち、すなわち入力変換は出力をそのままにするか、出力が同様の変換を行う。本稿では, 入力空間の構造的表現を, 対称性の変換とともに変化するという意味で学習する動き予測のためのSO(3)同変深部力学モデル(EqDDM)を提案する。
論文参考訳（メタデータ） (2021-11-02T21:01:43Z)
Discriminant Dynamic Mode Decomposition for Labeled Spatio-Temporal Data Collections [16.69145658813375]
ラベル付き時間データコレクションからコヒーレントパターンを抽出する新しい方法を提案する。このようなパターン抽出を動的モード分解に識別解析を組み込むことで実現します。合成データセットといくつかの実世界データセットを用いた手法を例示する。
論文参考訳（メタデータ） (2021-02-19T15:12:59Z)
Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。