論文の概要: Unveiling Transformer Perception by Exploring Input Manifolds

• arxiv url: http://arxiv.org/abs/2410.06019v1
• Date: Tue, 8 Oct 2024 13:20:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 11:30:40.580975
• Title: Unveiling Transformer Perception by Exploring Input Manifolds
• Title（参考訳）: 入力マニフォールド探索による変圧器の解離知覚
• Authors: Alessandro Benfenati, Alfio Ferrara, Alessio Marta, Davide Riva, Elisabetta Rocchetti,
• Abstract要約: 本稿では,Transformerモデルの入力空間における等価クラス探索法を提案する。 提案手法は、トランスフォーマーアーキテクチャの内部層を入力多様体の逐次変形として記述する音響数学的理論に基づいている。
• 参考スコア（独自算出の注目度）: 41.364418162255184
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper introduces a general method for the exploration of equivalence classes in the input space of Transformer models. The proposed approach is based on sound mathematical theory which describes the internal layers of a Transformer architecture as sequential deformations of the input manifold. Using eigendecomposition of the pullback of the distance metric defined on the output space through the Jacobian of the model, we are able to reconstruct equivalence classes in the input space and navigate across them. We illustrate how this method can be used as a powerful tool for investigating how a Transformer sees the input space, facilitating local and task-agnostic explainability in Computer Vision and Natural Language Processing tasks.
• Abstract（参考訳）: 本稿ではトランスフォーマーモデルの入力空間における同値クラスの探索法を提案する。 提案手法は、トランスフォーマーアーキテクチャの内部層を入力多様体の逐次変形として記述する音響数学的理論に基づいている。 モデルのヤコビアンを通して出力空間上で定義される距離計量の引き戻しの固有分解を用いて、入力空間における同値類を再構成し、それらをナビゲートすることができる。 本稿では,トランスフォーマーが入力空間をどのように見るかを調べるための強力なツールとして,コンピュータビジョンおよび自然言語処理タスクにおける局所的およびタスクに依存しない説明性を実現する方法について述べる。

関連論文リスト

• A prototype-based model for set classification [2.0564549686015594]
  ベクトルの集合を表す一般的な方法は、それらを線型部分空間としてモデル化することである。 我々は、そのような線型部分空間、グラスマン多様体から形成される多様体について、プロトタイプベースの学習手法を提案する。
  論文  参考訳（メタデータ） (2024-08-25T04:29:18Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• Representational Strengths and Limitations of Transformers [33.659870765923884]
  我々は,注目層の表現力について,肯定的な結果と否定的な結果の両方を定めている。 トランスにおける大きな埋め込み次元の必要性と役割を示す。 また、注意層によって効率的に解ける自然変種も提示する。
  論文  参考訳（メタデータ） (2023-06-05T14:05:04Z)
• Learning Expressive Prompting With Residuals for Vision Transformers [11.342913284654706]
  視覚変換器(ViT)の有効適応に特化して学習パラダイムを改良したEXPRES(Expressive Prompts with Residuals)を提案する。 本手法は,VTABベンチマークの3/3カテゴリにおいて,画像分類,少ないショット学習,セマンティックセマンティックセマンティックセマンティクスにEXPRESを適用した。
  論文  参考訳（メタデータ） (2023-03-27T20:47:01Z)
• Formal Semantic Geometry over Transformer-based Variational AutoEncoder [10.209508287003155]
  文意味論は,文意味論的な役割 - 単語内容の特徴 - の合成として構成され,形式的意味幾何学が提案される。 このような幾何学上の文ベクトルの移動を導くための新しい探索アルゴリズムを提案する。 実験結果から,形式的意味幾何学は文生成により良い制御と解釈をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-12T14:20:33Z)
• Analyzing Transformers in Embedding Space [59.434807802802105]
  学習したトランスフォーマーの全てのパラメータを埋め込み空間に投影することで解釈する理論解析を提案する。 予め訓練されたモデルと微調整されたモデルの両方のパラメータを埋め込み空間で解釈できることを示す。 我々の発見は、少なくとも部分的には、モデル仕様から抽象化し、埋め込み空間でのみ動作する解釈手法への扉を開く。
  論文  参考訳（メタデータ） (2022-09-06T14:36:57Z)
• SOInter: A Novel Deep Energy Based Interpretation Method for Explaining Structured Output Models [6.752231769293388]
  本稿では,構造化出力モデルの振る舞いを説明する新しい解釈手法を提案する。 出力の1つを対象とし、入力空間の各局所性における目標を決定するために構造化モデルが利用する最も重要な特徴を見つけ出そうとする。
  論文  参考訳（メタデータ） (2022-02-20T21:57:07Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)
• Transforming Feature Space to Interpret Machine Learning Models [91.62936410696409]
  この貢献は、特徴空間変換のレンズを通して機械学習モデルを解釈する新しいアプローチを提案する。 非条件的および条件付きポストホック診断ツールの拡張に使用できる。 提案手法の可能性を実証するために,46特徴のリモートセンシング土地被覆分類の事例研究を行った。
  論文  参考訳（メタデータ） (2021-04-09T10:48:11Z)
• Quantitative Understanding of VAE as a Non-linearly Scaled Isometric Embedding [52.48298164494608]
  変分オートエンコーダ(VAE)は、各入力データに対応する潜伏変数の後方パラメータを推定する。 本稿では,VAEの微分幾何学的および情報理論的解釈を通じて,VAEの特性を定量的に理解する。
  論文  参考訳（メタデータ） (2020-07-30T02:37:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。