論文の概要: On the Relationship between Skill Neurons and Robustness in Prompt Tuning

• arxiv url: http://arxiv.org/abs/2309.12263v2
• Date: Mon, 25 Mar 2024 10:52:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 03:07:37.030296
• Title: On the Relationship between Skill Neurons and Robustness in Prompt Tuning
• Title（参考訳）: プロンプトチューニングにおけるスキルニューロンとロバストネスの関係について
• Authors: Leon Ackermann, Xenia Ohmer,
• Abstract要約: 我々は、プロンプトチューニングの「スキルニューロン」との関連性について研究する。 特定のタスクに調整されたプロンプトは、同じタイプのタスクに転送可能であるが、敵データに対してあまり堅牢ではないことを示す。 我々は,高次対向ロバスト性は,モデルが関連するスキルニューロンを敵データ上で一貫して活性化する能力に関係していると結論づける。
• 参考スコア（独自算出の注目度）: 0.3069335774032178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt Tuning is a popular parameter-efficient finetuning method for pre-trained large language models (PLMs). Based on experiments with RoBERTa, it has been suggested that Prompt Tuning activates specific neurons in the transformer's feed-forward networks, that are highly predictive and selective for the given task. In this paper, we study the robustness of Prompt Tuning in relation to these "skill neurons", using RoBERTa and T5. We show that prompts tuned for a specific task are transferable to tasks of the same type but are not very robust to adversarial data. While prompts tuned for RoBERTa yield below-chance performance on adversarial data, prompts tuned for T5 are slightly more robust and retain above-chance performance in two out of three cases. At the same time, we replicate the finding that skill neurons exist in RoBERTa and further show that skill neurons also exist in T5. Interestingly, the skill neurons of T5 determined on non-adversarial data are also among the most predictive neurons on the adversarial data, which is not the case for RoBERTa. We conclude that higher adversarial robustness may be related to a model's ability to consistently activate the relevant skill neurons on adversarial data.
• Abstract（参考訳）: Prompt Tuningは、事前訓練された大規模言語モデル(PLM)のパラメータ効率の高い微調整法として人気がある。 RoBERTaの実験に基づき、Prompt Tuningはトランスフォーマーのフィードフォワードネットワーク内の特定のニューロンを活性化することが示唆されている。 本稿では、RoBERTaとT5を用いて、これらの「スキルニューロン」に関連して、Prompt Tuningのロバスト性について検討する。 特定のタスクに調整されたプロンプトは、同じタイプのタスクに転送可能であるが、敵データに対してあまり堅牢ではないことを示す。 RoBERTaで調整されたプロンプトは、敵データで出力以下のパフォーマンスを示すが、T5で調整されたプロンプトはわずかに頑丈であり、3つのケースのうち2つでオーバーチャンス性能を維持する。 同時に、RoBERTaにスキルニューロンが存在することの発見を再現し、さらにT5にもスキルニューロンが存在することを示す。 興味深いことに、非逆境データ上で決定されるT5のスキルニューロンも、RoBERTaではそうではない逆境データ上で最も予測可能なニューロンである。 我々は,高次対向ロバスト性は,モデルが関連するスキルニューロンを敵データ上で一貫して活性化する能力に関係していると結論づける。

関連論文リスト

• Co-learning synaptic delays, weights and adaptation in spiking neural networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。 スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
  論文  参考訳（メタデータ） (2023-09-12T09:13:26Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Finding Skill Neurons in Pre-trained Transformer-based Language Models [46.484656229427834]
  トランスフォーマーに基づく事前学習型言語モデルは、様々な自然言語処理タスクにおいて優れた性能を示した。 特定のタスクを即時チューニングした後、事前訓練されたトランスフォーマー内のいくつかのニューロンの活性化はタスクラベルを高い精度で予測できることが判明した。 また、ネットワークプルーニングによるトランスフォーマーの高速化や、より優れたトランスフォーマビリティインジケータの構築など、スキルニューロンの応用についても検討する。
  論文  参考訳（メタデータ） (2022-11-14T13:43:46Z)
• BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
  スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。 適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。 MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
  論文  参考訳（メタデータ） (2021-05-27T08:38:31Z)
• Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
  We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。 線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
  論文  参考訳（メタデータ） (2021-04-01T13:03:48Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。