論文の概要: LAYA: Layer-wise Attention Aggregation for Interpretable Depth-Aware Neural Networks

• arxiv url: http://arxiv.org/abs/2511.12723v1
• Date: Sun, 16 Nov 2025 18:22:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.502968
• Title: LAYA: Layer-wise Attention Aggregation for Interpretable Depth-Aware Neural Networks
• Title（参考訳）: LAYA:解釈可能な深さ認識ニューラルネットワークのためのレイヤワイドアテンションアグリゲーション
• Authors: Gennaro Vessio,
• Abstract要約: 本稿では、出力層の役割を再考し、注意を通して内部表現を動的に集約する新しい出力ヘッドであるLAYAを紹介する。 ビジョンと言語ベンチマークの実験では、LAYAは標準出力ヘッドの性能と一貫して一致または改善している。 これらの解釈可能性信号は、外部のポストホックな説明なしに、モデルの計算から直接現れる。
• 参考スコア（独自算出の注目度）: 6.1253918397972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks typically rely on the representation produced by their final hidden layer to make predictions, implicitly assuming that this single vector fully captures the semantics encoded across all preceding transformations. However, intermediate layers contain rich and complementary information -- ranging from low-level patterns to high-level abstractions -- that is often discarded when the decision head depends solely on the last representation. This paper revisits the role of the output layer and introduces LAYA (Layer-wise Attention Aggregator), a novel output head that dynamically aggregates internal representations through attention. Instead of projecting only the deepest embedding, LAYA learns input-conditioned attention weights over layer-wise features, yielding an interpretable and architecture-agnostic mechanism for synthesizing predictions. Experiments on vision and language benchmarks show that LAYA consistently matches or improves the performance of standard output heads, with relative gains of up to about one percentage point in accuracy, while providing explicit layer-attribution scores that reveal how different abstraction levels contribute to each decision. Crucially, these interpretability signals emerge directly from the model's computation, without any external post hoc explanations. The code to reproduce LAYA is publicly available at: https://github.com/gvessio/LAYA.
• Abstract（参考訳）: ディープニューラルネットワークは通常、最後の隠れ層が生成した表現に頼って予測を行い、この単一のベクトルが前のすべての変換で符号化されたセマンティクスを完全に捉えることを暗黙的に仮定する。 しかしながら、中間層には、低レベルのパターンから高レベルの抽象化まで、リッチで補完的な情報が含まれています。 本稿では、出力層の役割を再考し、注意を通して内部表現を動的に集約する新しい出力ヘッドであるLAYA(Layer-wise Attention Aggregator)を紹介する。 LAYAは、最も深い埋め込みだけを投影する代わりに、層的な特徴よりも入力条件の注意重みを学習し、予測を合成するための解釈可能でアーキテクチャに依存しないメカニズムをもたらす。 ビジョンと言語ベンチマークの実験では、LAYAは標準出力ヘッドのパフォーマンスを一貫して一致または改善し、相対的な利得は最大1ポイントの精度で向上する一方で、各決定にどのように異なる抽象化レベルが寄与するかを示す明示的なレイヤ属性スコアを提供する。 重要なことに、これらの解釈可能性信号は、外部のポストホックな説明なしに、モデルの計算から直接現れる。 LAYAを再現するコードは、https://github.com/gvessio/LAYAで公開されている。

関連論文リスト

• Intermediate Layer Classifiers for OOD generalization [17.13749013546228]
  本研究では,最終層表現を用いたアウト・オブ・ディストリビューション(OOD)の一般化について考察する。 中間層表現は、直列層よりもかなり優れた一般化をもたらすことがよく見いだされる。 解析の結果,中間層は垂直層に比べて分布シフトに敏感でないことが示唆された。
  論文  参考訳（メタデータ） (2025-04-07T19:50:50Z)
• Layer by Layer: Uncovering Hidden Representations in Language Models [28.304269706993942]
  中間層がよりリッチな表現をエンコードできることを示し、ダウンストリームタスクの幅広いパフォーマンスを改善することがよくある。 我々のフレームワークは、各層が情報圧縮と信号保存のバランスをとる方法を強調し、なぜ中層埋め込みが最終層の性能を上回るのかを明らかにする。
  論文  参考訳（メタデータ） (2025-02-04T05:03:42Z)
• Spatial Action Unit Cues for Interpretable Deep Facial Expression Recognition [55.97779732051921]
  表情認識(FER)のための最先端の分類器は、エンドユーザーにとって重要な特徴である解釈可能性に欠ける。 新しい学習戦略が提案され、AU cues を分類器訓練に明示的に組み込むことで、深い解釈可能なモデルを訓練することができる。 我々の新しい戦略は汎用的であり、アーキテクチャの変更や追加のトレーニング時間を必要とすることなく、ディープCNNやトランスフォーマーベースの分類器に適用できます。
  論文  参考訳（メタデータ） (2024-10-01T10:42:55Z)
• Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
  本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。 実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。 これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
  論文  参考訳（メタデータ） (2024-03-03T13:14:47Z)
• ILSGAN: Independent Layer Synthesis for Unsupervised Foreground-Background Segmentation [49.61394755739333]
  教師なしフォアグラウンド・バックグラウンド・セグメンテーションは、散らかった背景から有能な物体を抽出することを目的としている。 我々は、ILSGAN(Independent Layer Synthesis GAN)と呼ばれる、単純かつ効果的な明示的な層独立性モデリング手法を提案する。 我々のILSGANは、複雑な実世界のデータに対して、強力な最先端の生成品質とセグメンテーション性能を実現する。
  論文  参考訳（メタデータ） (2022-11-25T09:35:46Z)
• Exploring and Exploiting Multi-Granularity Representations for Machine Reading Comprehension [13.191437539419681]
  適応的双方向注意カプセルネットワーク(ABA-Net)という新しい手法を提案する。 ABA-Netは、異なるレベルのソース表現を予測子に適応的に活用する。 私たちはSQuAD 1.0データセットに新しい最先端パフォーマンスを設定しました。
  論文  参考訳（メタデータ） (2022-08-18T10:14:32Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
  我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。 この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。 これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
  論文  参考訳（メタデータ） (2021-12-27T14:05:41Z)
• Unifying Global-Local Representations in Salient Object Detection with Transformer [55.23033277636774]
  我々は、視覚変換器という新しいアテンションベースのエンコーダを有能な物体検出に導入する。 非常に浅い層でのグローバルビューでは、トランスフォーマーエンコーダはより局所的な表現を保持する。 提案手法は,5つのベンチマークにおいて,他のFCN法およびトランスフォーマー法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-05T17:51:32Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。