論文の概要: Probing the Embedding Space of Transformers via Minimal Token Perturbations

• arxiv url: http://arxiv.org/abs/2506.18011v1
• Date: Sun, 22 Jun 2025 12:22:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.696001
• Title: Probing the Embedding Space of Transformers via Minimal Token Perturbations
• Title（参考訳）: 極小トーケン摂動による変圧器の埋め込み空間の探索
• Authors: Eddie Conti, Alejandro Astruc, Alvaro Parafita, Axel Brando,
• Abstract要約: 極小トークン摂動が埋め込み空間に与える影響について検討する。 また、層間の摂動がどのように伝播し、入力情報がより深い層にますます混ざり合っているかを示す。 この研究は、モデルの解釈可能性のための強力なツールとして、トークンの摂動と埋め込み空間へのシフトの組み合わせを導入している。
• 参考スコア（独自算出の注目度）: 40.292373831893705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how information propagates through Transformer models is a key challenge for interpretability. In this work, we study the effects of minimal token perturbations on the embedding space. In our experiments, we analyze the frequency of which tokens yield to minimal shifts, highlighting that rare tokens usually lead to larger shifts. Moreover, we study how perturbations propagate across layers, demonstrating that input information is increasingly intermixed in deeper layers. Our findings validate the common assumption that the first layers of a model can be used as proxies for model explanations. Overall, this work introduces the combination of token perturbations and shifts on the embedding space as a powerful tool for model interpretability.
• Abstract（参考訳）: Transformerモデルを通じて情報がどのように伝播するかを理解することは、解釈可能性の重要な課題である。 本研究では,極小トークン摂動が埋め込み空間に与える影響について検討する。 実験では、トークンが最小シフトをもたらす頻度を分析し、希少トークンが通常より大きなシフトを引き起こすことを強調した。 さらに, 層間に摂動が伝播し, 入力情報がより深い層に混ざり合っていることを示す。 本研究は,モデルの第一層がモデル説明のプロキシとして利用できるという一般的な仮定を検証した。 全体として、この研究は、モデルの解釈可能性のための強力なツールとして、トークンの摂動と埋め込み空間へのシフトの組み合わせを導入している。

関連論文リスト

• You Do Not Fully Utilize Transformer's Representation Capacity [4.753535328327317]
  LIMe(Layer-Integrated Memory)は、階層単位のルーティング重み付けを学習し、以前のすべてのレイヤからの表現を無視可能なオーバーヘッドで統合する軽量な拡張である。 LIMeは一貫して高速収束、FLOPあたりのパープレキシティの低下、および合成タスクの大幅な精度向上を実現している。
  論文  参考訳（メタデータ） (2025-02-13T12:00:50Z)
• A Theory for Compressibility of Graph Transformers for Transductive Learning [6.298115235439078]
  グラフ上のトランスダクティブタスクは、典型的な教師付き機械学習タスクと根本的に異なる。 すべてのトレイン/テスト/バリデーションサンプルは、トレーニング中に存在しており、半教師付きタスクに似ています。 我々は、これらのネットワークの隠れた次元をどのように圧縮できるかという理論的な境界を定めている。
  論文  参考訳（メタデータ） (2024-11-20T04:20:17Z)
• A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity [71.11795737362459]
  自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。 しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。 本稿では,分類タスクのための浅いViTの理論的解析を行った。
  論文  参考訳（メタデータ） (2023-02-12T22:12:35Z)
• Revisiting Over-smoothing in BERT from the Perspective of Graph [111.24636158179908]
  近年,トランスフォーマーモデルにおける過度に平滑化現象が視覚と言語の両方で観測されている。 層正規化はトランスフォーマーモデルにおける過度に平滑な問題において重要な役割を果たす。 異なる層からの表現を適応的に組み合わせ、出力をより多様にする階層的融合戦略を考察する。
  論文  参考訳（メタデータ） (2022-02-17T12:20:52Z)
• Incorporating Residual and Normalization Layers into Analysis of Masked Language Models [29.828669678974983]
  我々は、トランスフォーマーの分析範囲を、単に注目パターンから注目ブロック全体まで拡張する。 トランスフォーマーをベースとしたマスキング言語モデルの解析により,トークンとトークンの相互作用が従来想定されていた中間表現にほとんど影響を与えないことが分かる。
  論文  参考訳（メタデータ） (2021-09-15T08:32:20Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。