論文の概要: BERTops: Studying BERT Representations under a Topological Lens
- arxiv url: http://arxiv.org/abs/2205.00953v1
- Date: Mon, 2 May 2022 14:56:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-03 16:29:14.706071
- Title: BERTops: Studying BERT Representations under a Topological Lens
- Title(参考訳): BERTops:トポロジカルレンズによるBERT表現の研究
- Authors: Jatin Chauhan, Manohar Kaul
- Abstract要約: パーシステンススコアリング関数(PSF)という新しいスコアリング関数を提案する。
PSFは、高次元隠れ表現のホモロジーを正確に捉え、幅広いデータセットのテストセット精度とよく相関する。
本研究では, BERT に関連する様々な NLP タスクにおける PSF の実用性について検討した。
- 参考スコア(独自算出の注目度): 13.452510519858995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Proposing scoring functions to effectively understand, analyze and learn
various properties of high dimensional hidden representations of large-scale
transformer models like BERT can be a challenging task. In this work, we
explore a new direction by studying the topological features of BERT hidden
representations using persistent homology (PH). We propose a novel scoring
function named "persistence scoring function (PSF)" which: (i) accurately
captures the homology of the high-dimensional hidden representations and
correlates well with the test set accuracy of a wide range of datasets and
outperforms existing scoring metrics, (ii) captures interesting post
fine-tuning "per-class" level properties from both qualitative and quantitative
viewpoints, (iii) is more stable to perturbations as compared to the baseline
functions, which makes it a very robust proxy, and (iv) finally, also serves as
a predictor of the attack success rates for a wide category of black-box and
white-box adversarial attack methods. Our extensive correlation experiments
demonstrate the practical utility of PSF on various NLP tasks relevant to BERT.
- Abstract(参考訳): BERTのような大規模変圧器モデルの高次元隠蔽表現の様々な特性を効果的に理解し、分析し、学習するためのスコアリング関数を提案することは難しい課題である。
本研究では,永続ホモロジー(PH)を用いたBERT隠れ表現のトポロジ的特徴を研究することにより,新しい方向を探索する。
そこで我々は,「パーシステンススコアリング機能(PSF)」という新しいスコアリング機能を提案する。
(i)高次元の隠れ表現のホモロジーを正確に捉え、幅広いデータセットのテストセット精度とよく相関し、既存のスコア指標を上回っています。
(ii)定性的および量的視点の両方から、微調整後の「クラスごと」レベルの興味深い特性を捉える。
(iii) はベースライン関数と比較して摂動に対してより安定であり、非常にロバストなプロキシとなっている。
(iv)最後は、ブラックボックスおよびホワイトボックスの敵対的攻撃方法の幅広いカテゴリの攻撃成功率の予測役としても機能する。
BERT に関連する様々な NLP タスクにおける PSF の実用性について検討した。
関連論文リスト
- Bayesian Estimate of Mean Proper Scores for Diversity-Enhanced Active
Learning [6.704927458661697]
期待されている損失削減(ELR)は、分類誤差の低減と、同じフレームワークに適合するより一般的なコストのベイズ推定に焦点を当てている。
本研究では,平均値スコア(BEMPS)のベイズ推定を行い,厳密なスコアの増加を推定する。
我々は,BEMPSが頑健な獲得関数とよく校正された分類器を出力し,他の試験よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-12-15T11:02:17Z) - Hierarchical Side-Tuning for Vision Transformers [34.55731467838914]
本稿では,種々の下流タスクへのVT転送を効果的に行う新しいPETL手法である階層側チューニング(HST)を提案する。
HSTを検証するために,分類,オブジェクト検出,インスタンスセグメンテーション,セマンティックセグメンテーションなど,多様な視覚的タスクを含む広範な実験を行った。
VTAB-1kでは,0.78Mパラメータを微調整しながら,最先端の平均Top-1精度76.4%を実現した。
論文 参考訳(メタデータ) (2023-10-09T04:16:35Z) - BOtied: Multi-objective Bayesian optimization with tied multivariate
ranks [49.85896045032822]
非支配解と最高多変量階との自然な関係を示し、これは合同累積分布関数(CDF)の最外層線と一致する。
我々はCDFインジケータに基づくBOtiedと呼ばれる取得関数を提案する。
論文 参考訳(メタデータ) (2023-06-01T04:50:06Z) - Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。
また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。
様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文 参考訳(メタデータ) (2023-02-22T14:50:24Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - Look-Ahead Acquisition Functions for Bernoulli Level Set Estimation [9.764638397706717]
サブレベル設定メンバーシップのルックアヘッド後部に対する解析式を導出する。
これらがLSE獲得関数のクラスに対する解析的表現にどのように寄与するかを示す。
論文 参考訳(メタデータ) (2022-03-18T05:25:35Z) - Diversity Enhanced Active Learning with Strictly Proper Scoring Rules [4.81450893955064]
テキスト分類のための能動学習(AL)のための獲得関数について検討する。
我々は、期待損失削減法(ELR)を、ログ確率や負平均二乗誤差などの(厳密な)スコアの増加を推定するために変換する。
BEMPSを用いた平均二乗誤差とログ確率を用いることで、ロバストな取得関数が得られることを示す。
論文 参考訳(メタデータ) (2021-10-27T05:02:11Z) - WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。
エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。
提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
論文 参考訳(メタデータ) (2021-05-21T11:58:50Z) - Adversarial Feature Augmentation and Normalization for Visual
Recognition [109.6834687220478]
最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。
本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。
代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
論文 参考訳(メタデータ) (2021-03-22T20:36:34Z) - Ask-n-Learn: Active Learning via Reliable Gradient Representations for
Image Classification [29.43017692274488]
深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。
Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
論文 参考訳(メタデータ) (2020-09-30T05:19:56Z) - Foreseeing the Benefits of Incidental Supervision [83.08441990812636]
本稿では,実験を行なわずに,特定の目標タスクに対して,様々な種類の偶発信号の利点を定量化できるかどうかを考察する。
本稿では,PABI(PAC-Bayesian motivated informativeness measure)を提案する。
論文 参考訳(メタデータ) (2020-06-09T20:59:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。