論文の概要: Importance Scoring of Transformer Attention Heads in Learning Tabular Data
- arxiv url: http://arxiv.org/abs/2608.27241v1
- Date: Thu, 27 Aug 2026 15:22:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.471128
- Title: Importance Scoring of Transformer Attention Heads in Learning Tabular Data
- Title（参考訳）: タブラリデータ学習におけるトランスフォーマーアテンションヘッドの重要性
- Abstract要約: 本稿では,マルチヘッドトランスモデルの解釈に重要度基準を用いた最初の応用例について述べる。
40の多様なデータセットで実施された実験は、提案した頭部重要度スコアに基づいて、頭滴に対する堅牢性を示す。
6つの注意層にまたがる個々の頭部重要度スコアをよく見ると、重要な頭部が層に散らばっていて、一貫した層特有の傾向は見られないことが分かる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computationally demanding and opaque deep learning models can be better understood and optimized by analyzing how they transform data. While deep transformers have been widely studied in computer vision and natural language processing, their application in tabular data remains relatively underexplored. This paper presents one of the first applications of an importance-scoring metric to interpret multi-head transformer models in learning from tabular data. Experiments conducted on 40 diverse tabular datasets demonstrate robustness to head drops based on the proposed head importance score. In 72.5\% of experimental examples, the model remains most resilient to performance drops when heads with the lowest importance scores are gradually removed. In contrast, removing the most important attention head first results in the greatest reduction in classification performance. A closer look at individual head importance scores across six attention layers reveals that important heads are scattered across layers, with no consistent layer-specific trends. In contrast to the image and language domains, the importance of individual attention heads varies considerably across tabular datasets with different schemas and feature spaces. The proposed importance score can improve efficiency and redundancy within transformer architectures. We make the source code for measuring the importance of individual attention heads publicly available.
- Abstract（参考訳）: 計算的要求と不透明なディープラーニングモデルは、データの変換方法を分析することによって、より理解し、最適化することができる。
ディープ・トランスフォーマーはコンピュータビジョンや自然言語処理で広く研究されているが、表形式データへの応用はいまだに過小評価されている。
本稿では,表型データからの学習において,マルチヘッドトランスフォーマーモデルを解釈するための重要度基準の最初の応用例について述べる。
40種類の表状データセットを用いて行った実験は、提案した頭部重要度スコアに基づいて、頭滴に対する堅牢性を示す。
実験例の72.5\%では、最重要スコアの低い頭が徐々に取り除かれると、そのモデルは性能低下に対して最も回復力がある。
対照的に、最も重要な注意ヘッドを除去すると、分類性能が最大に低下する。
6つの注意層にまたがる個々の頭部重要度スコアをよく見ると、重要な頭部が層に散らばっていて、一貫した層特有の傾向は見られないことが分かる。
画像や言語ドメインとは対照的に、個々の注意点の重要性は、異なるスキーマと特徴空間を持つ表データセットによって大きく異なる。
提案された重要度スコアは、トランスフォーマーアーキテクチャにおける効率性と冗長性を改善することができる。
個別の注意点の重要度を測定するためのソースコードを公開している。
関連論文リスト
- A statistical perspective on transformers for small longitudinal cohort data [0.058079925240809634]
本稿では,推定パラメータ数を削減しつつ,コアアテンション機構を保持する簡易なトランスフォーマーアーキテクチャを提案する。
自己回帰モデルを出発点とし、時間減衰を伴うカーネルベースの演算として注意を巻き込む。
これはまた、コンテキストパターンを識別するための置換に基づく統計的テスト手順を可能にする。
論文 参考訳（メタデータ） (2026-02-18T22:03:59Z) - Explicit Multi-head Attention for Inter-head Interaction in Large Language Models [70.96854312026319]
マルチヘッド明示的注意(Multi-head Explicit Attention、MEA)は、頭間相互作用を明示的にモデル化した、単純で効果的な注意法である。
MEAは事前トレーニングにおいて強い堅牢性を示し、より高速な収束につながる学習率を使用することを可能にします。
これにより、KVキャッシュメモリ使用率を50%削減できる実用的なキー値キャッシュ圧縮戦略が実現される。
論文 参考訳（メタデータ） (2026-01-27T13:45:03Z) - Boost Self-Supervised Dataset Distillation via Parameterization, Predefined Augmentation, and Approximation [19.552569546864913]
本稿では,画像とその自己教師付き表現を蒸留セットに蒸留する手法を提案する。
この方法では、実データセットからリッチな情報を効果的に抽出し、クロスアーキテクチャの一般化性を高めた蒸留セットを得る。
特に、異なる低次元の基底を用いて、画像や表現に革新的なパラメータ化を導入する。
論文 参考訳（メタデータ） (2025-07-29T02:51:56Z) - Scaling Laws for the Value of Individual Data Points in Machine Learning [55.596413470429475]
個々のデータポイントの値のスケーリング行動を調べることによって、新しい視点を導入する。
スケーリング法則を支持するための学習理論を提供し、それが様々なモデルクラスにまたがっていることを実証的に観察する。
私たちの研究は、個々のデータポイントの値のスケーリング特性を理解し、活用するための第一歩です。
論文 参考訳（メタデータ） (2024-05-30T20:10:24Z) - IndiVec: An Exploration of Leveraging Large Language Models for Media
Bias Detection with Fine-Grained Bias Indicators [16.222566896022247]
大規模言語モデル上に構築された一般的なバイアス検出フレームワークであるIndiVecを導入する。
IndiVecは、きめ細かいメディアバイアスデータベースを構築することから始まる。
ベクタデータベースから最も関連性の高い指標を自動的に選択し、多数決を採用して入力のバイアスラベルを決定する。
論文 参考訳（メタデータ） (2024-02-01T05:20:07Z) - Better Explain Transformers by Illuminating Important Information [12.781602543866933]
本稿では,レイヤワイド関連伝搬(LRP)法上での洗練された情報フローによる重要情報の強調と無関係情報の排除を提案する。
実験結果から、無関係な情報が出力帰属スコアを歪め、説明計算中に隠蔽することを示した。
論文 参考訳（メタデータ） (2024-01-18T13:41:08Z) - Picking the Underused Heads: A Network Pruning Perspective of Attention
Head Selection for Fusing Dialogue Coreference Information [50.41829484199252]
マルチヘッド自己アテンション機構を持つトランスフォーマーベースのモデルは自然言語処理で広く利用されている。
ネットワークプルーニングの観点から,特徴注入のためのアテンションヘッドの選択と操作戦略について検討する。
論文 参考訳（メタデータ） (2023-12-15T05:27:24Z) - Polynomial-based Self-Attention for Table Representation learning [23.651207486167518]
Transformersの重要なコンポーネントであるセルフアテンションは、過度にスムースな問題を引き起こす可能性がある。
そこで本研究では,行列ベースの自己アテンション層を元の自己アテンション層に代えて,新しい自己アテンション層を提案する。
提案する3つの表学習モデルを用いて実験を行った結果,この層が過度に平滑な問題を効果的に緩和することを示した。
論文 参考訳（メタデータ） (2023-12-12T21:49:26Z) - Towards Understanding Sample Variance in Visually Grounded Language
Generation: Evaluations and Observations [67.4375210552593]
視覚的基盤言語生成において,重要だがしばしば無視される問題を理解するために実験を設計する。
人間にはさまざまなユーティリティと視覚的注意があるので、マルチ参照データセットのサンプルのばらつきはモデルの性能にどのように影響しますか?
人為的な参照は、異なるデータセットやタスクで大きく変化する可能性があり、それぞれのタスクの性質が明らかになる。
論文 参考訳（メタデータ） (2020-10-07T20:45:14Z) - Laplacian Denoising Autoencoder [114.21219514831343]
本稿では,新しいタイプの自動符号化器を用いてデータ表現を学習することを提案する。
勾配領域における潜伏クリーンデータを破損させて雑音入力データを生成する。
いくつかのビジュアルベンチマークの実験では、提案されたアプローチでより良い表現が学べることが示されている。
論文 参考訳（メタデータ） (2020-03-30T16:52:39Z) - Low-Rank Bottleneck in Multi-head Attention Models [74.83235382203604]
現在のアーキテクチャにおけるヘッド数とヘッドサイズの間のスケーリングは、注目ヘッドの低ランクボトルネックを引き起こします。
本稿では,アテンションユニットの頭部サイズを入力シーケンス長に設定し,ヘッド数に依存しないようにすることを提案する。
論文 参考訳（メタデータ） (2020-02-17T16:16:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。