論文の概要: Property Neurons in Self-Supervised Speech Transformers

• arxiv url: http://arxiv.org/abs/2409.05910v1
• Date: Sat, 7 Sep 2024 05:59:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 22:10:02.844353
• Title: Property Neurons in Self-Supervised Speech Transformers
• Title（参考訳）: 自己監督型音声変換器における特性ニューロン
• Authors: Tzu-Quan Lin, Guan-Ting Lin, Hung-yi Lee, Hao Tang,
• Abstract要約: 本研究では,トランスフォーマーのフィードフォワード層における特性ニューロンの集合を同定し,音声関連特性の保存方法について検討する。 刈り込み時の特性ニューロンの保護は,通常の刈り込みよりも有意に効果的であることを示す。
• 参考スコア（独自算出の注目度）: 58.62658787723896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There have been many studies on analyzing self-supervised speech Transformers, in particular, with layer-wise analysis. It is, however, desirable to have an approach that can pinpoint exactly a subset of neurons that is responsible for a particular property of speech, being amenable to model pruning and model editing. In this work, we identify a set of property neurons in the feedforward layers of Transformers to study how speech-related properties, such as phones, gender, and pitch, are stored. When removing neurons of a particular property (a simple form of model editing), the respective downstream performance significantly degrades, showing the importance of the property neurons. We apply this approach to pruning the feedforward layers in Transformers, where most of the model parameters are. We show that protecting property neurons during pruning is significantly more effective than norm-based pruning.
• Abstract（参考訳）: 自己教師型音声変換器,特にレイヤワイド分析の分野では,多くの研究がなされている。 しかしながら、特定の言語特性に責任を持つニューロンのサブセットを正確に特定し、プルーニングやモデル編集をモデル化できるアプローチが望ましい。 本研究では,トランスフォーマーのフィードフォワード層における特性ニューロンの集合を同定し,携帯電話,ジェンダー,ピッチなどの音声関連特性がどのように記憶されているかを検討する。 特定の特性のニューロンを除去する(モデル編集の簡単な形式)と、各下流性能は著しく低下し、特性ニューロンの重要性が示される。 モデルパラメータのほとんどが存在するトランスフォーマーでフィードフォワード層をプルーニングするために、このアプローチを適用します。 刈り込み時の特性ニューロンの保護は,通常の刈り込みよりも有意に効果的であることを示す。

関連論文リスト

• How Redundant Is the Transformer Stack in Speech Representation Models? [1.3873323883842132]
  自己教師付き音声表現モデルは、音声認識、話者識別、感情検出など様々なタスクにおいて顕著な性能を示した。 近年, 変圧器モデルの研究により, 層間に高い冗長性と, 重要な刈り取りの可能性が確認されている。 後処理を必要とせず,変換器を用いた音声表現モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-10T11:00:24Z)
• Modularity in Transformers: Investigating Neuron Separability & Specialization [0.0]
  トランスフォーマーモデルは様々なアプリケーションでますます普及していますが、内部動作に対する我々の理解は限定的です。 本稿では、視覚(ViT)モデルと言語(Mistral 7B)モデルの両方に着目し、トランスフォーマーアーキテクチャ内のニューロンのモジュラリティとタスクの特殊化について検討する。 選択的プルーニングとMoEficationクラスタリングの組み合わせを用いて、異なるタスクやデータサブセットにわたるニューロンの重複と特殊化を分析する。
  論文  参考訳（メタデータ） (2024-08-30T14:35:01Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Mitigating Over-smoothing in Transformers via Regularized Nonlocal Functionals [31.328766460487355]
  変圧器の自己保持層は, 平滑化を促進する機能を最小限に抑え, トークンの均一性をもたらすことを示す。 本稿では, 自己注意からのスムーズな出力トークンと入力トークンとの差分を正規化して, トークンの忠実性を維持するための新たな正規化器を提案する。 我々は,トークン表現の過度な平滑化を低減するために,ベースライントランスフォーマーと最先端手法に対するNeuTRENOの利点を実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-01T17:52:47Z)
• WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
  ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。 本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
  論文  参考訳（メタデータ） (2023-10-25T20:34:08Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Parameter efficient dendritic-tree neurons outperform perceptrons [1.4502611532302039]
  入力の分岐要素の追加と調整と、入力のドロップアウトの影響について検討する。 既存のアーキテクチャにおける多層パーセプトロン層を置き換えるためのPyTorchモジュールを提案する。
  論文  参考訳（メタデータ） (2022-07-02T01:22:39Z)
• DFA-NeRF: Personalized Talking Head Generation via Disentangled Face Attributes Neural Rendering [69.9557427451339]
  本稿では,高忠実度音声ヘッド生成のためのニューラルラジアンス場に基づくフレームワークを提案する。 具体的には、神経放射野は唇運動の特徴とパーソナライズされた属性を2つの不絡状態として捉えている。 本手法は最先端の手法よりもはるかに優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-01-03T18:23:38Z)
• On Neurons Invariant to Sentence Structural Changes in Neural Machine Translation [35.32217580058933]
  我々は、英語で制御された構文的パラフレーズのデータセットを、その参照ドイツ語翻訳でコンパイルする。 パラフレーズ間で相関するニューロンを同定し、観察された相関関係を推定し、起こりうる相同点に分解する。 我々は、特定の構文形式への翻訳に影響を与えるためにニューロンの活性化を操作する。
  論文  参考訳（メタデータ） (2021-10-06T20:57:57Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。