論文の概要: Targeted Visualization of the Backbone of Encoder LLMs

• arxiv url: http://arxiv.org/abs/2403.18872v1
• Date: Tue, 26 Mar 2024 12:51:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 20:23:28.496663
• Title: Targeted Visualization of the Backbone of Encoder LLMs
• Title（参考訳）: エンコーダLLMのバックボーンの可視化
• Authors: Isaac Roberts, Alexander Schulz, Luca Hermes, Barbara Hammer,
• Abstract要約: 注意に基づく大規模言語モデル(LLMs)は、自然言語処理(NLP)における最先端技術である。 エンコーダモデルの成功にもかかわらず、私たちはこの作業に集中していますが、バイアスの問題や敵の攻撃に対する感受性など、いくつかのリスクも抱えています。 決定関数の一部を2次元のデータセットとともに視覚化するDeepViewのNLPドメインへの応用について検討する。
• 参考スコア（独自算出の注目度）: 46.453758431767724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention based Large Language Models (LLMs) are the state-of-the-art in natural language processing (NLP). The two most common architectures are encoders such as BERT, and decoders like the GPT models. Despite the success of encoder models, on which we focus in this work, they also bear several risks, including issues with bias or their susceptibility for adversarial attacks, signifying the necessity for explainable AI to detect such issues. While there does exist various local explainability methods focusing on the prediction of single inputs, global methods based on dimensionality reduction for classification inspection, which have emerged in other domains and that go further than just using t-SNE in the embedding space, are not widely spread in NLP. To reduce this gap, we investigate the application of DeepView, a method for visualizing a part of the decision function together with a data set in two dimensions, to the NLP domain. While in previous work, DeepView has been used to inspect deep image classification models, we demonstrate how to apply it to BERT-based NLP classifiers and investigate its usability in this domain, including settings with adversarially perturbed input samples and pre-trained, fine-tuned, and multi-task models.
• Abstract（参考訳）: 意図に基づく大規模言語モデル(LLMs)は、自然言語処理(NLP)における最先端技術である。 最も一般的なアーキテクチャはBERTのようなエンコーダとGPTモデルのようなデコーダである。 この研究に焦点を当てたエンコーダモデルの成功にもかかわらず、バイアスや敵攻撃に対する感受性の問題など、いくつかのリスクも抱えており、そのような問題を検出するために説明可能なAIの必要性が示されています。 単一入力の予測に焦点をあてた様々な局所的説明可能性手法が存在するが、他の領域に出現した分類検査の次元削減に基づくグローバルな手法は、埋め込み空間において単にt-SNEを使用する以上のものであるが、NLPでは広く普及していない。 このギャップを低減するために,NLP領域に2次元のデータセットとともに決定関数の一部を可視化するDeepViewの応用について検討する。 これまで、DeepViewは深層画像分類モデルの検査に用いられてきたが、BERTベースのNLP分類器に適用し、逆摂動型入力サンプルの設定や事前学習、微調整、マルチタスクモデルを含む、この領域のユーザビリティを調査する方法を実証してきた。

関連論文リスト

• Sample-agnostic Adversarial Perturbation for Vision-Language Pre-training Models [7.350203999073509]
  AIセキュリティに関する最近の研究は、画像やテキストの微妙で意図的に設計された摂動に対するビジョンランゲージ事前学習モデルの脆弱性を強調している。 私たちの知る限りでは、どんな画像にも当てはまる普遍的でサンプルに依存しない摂動の生成を探索する、マルチモーダルな決定境界による最初の研究である。
  論文  参考訳（メタデータ） (2024-08-06T06:25:39Z)
• Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection [59.41026558455904]
  具体的には,大規模ビジュアルデータセット上で事前学習されたモデルを利用した初期のマルチモーダルアプローチについて検討する。 本研究では,アダプタを微調整し,異常検出に向けたタスク指向の表現を学習するためのLSFA法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T07:30:41Z)
• Probing Representations for Document-level Event Extraction [30.523959637364484]
  この研究は、文書レベルの情報抽出で学んだ表現に探索パラダイムを適用した最初のものである。 文書レベルのイベント抽出に関連するサーフェス,セマンティクス,イベント理解機能を分析するために,8つの埋め込みプローブを設計した。 これらのモデルからトレーニングされたエンコーダは、わずかに引数の検出とラベリングを改善することができるが、イベントレベルのタスクをわずかに強化するだけである。
  論文  参考訳（メタデータ） (2023-10-23T19:33:04Z)
• Small Object Detection via Coarse-to-fine Proposal Generation and Imitation Learning [52.06176253457522]
  本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。 CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-08-18T13:13:09Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Robust Prototypical Few-Shot Organ Segmentation with Regularized Neural-ODEs [10.054960979867584]
  正規化原始型ニューラル正規微分方程式(R-PNODE)を提案する。 R-PNODEは、表現空間に近づくために同じクラスから機能をサポートし、クエリする。 R-PNODEは,これらの攻撃に対して,敵の強靭性を高めていることを示す。
  論文  参考訳（メタデータ） (2022-08-26T03:53:04Z)
• Residue-Based Natural Language Adversarial Attack Detection [1.4213973379473654]
  本研究は、逆例を識別する「レジデント」に基づく簡易な文埋め込み型検出器を提案する。 多くのタスクにおいて、移植された画像ドメイン検出器と、最先端のNLP特定検出器の状態を上回ります。
  論文  参考訳（メタデータ） (2022-04-17T17:47:47Z)
• Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
  顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。 具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。 提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T02:12:30Z)
• Multi-scale and Cross-scale Contrastive Learning for Semantic Segmentation [5.281694565226513]
  セグメンテーションネットワークによって抽出されたマルチスケール特徴の識別能力を高めるために,コントラスト学習を適用した。 まず、エンコーダのマルチスケール表現を共通の特徴空間にマッピングすることにより、教師付き局所言語制約の新しい形式をインスタンス化する。
  論文  参考訳（メタデータ） (2022-03-25T01:24:24Z)
• DAAIN: Detection of Anomalous and Adversarial Input using Normalizing Flows [52.31831255787147]
  我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。 本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。 当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2021-05-30T22:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。