論文の概要: How Does Fine-tuning Affect the Geometry of Embedding Space: A Case
Study on Isotropy
- arxiv url: http://arxiv.org/abs/2109.04740v1
- Date: Fri, 10 Sep 2021 08:58:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-13 13:32:44.863009
- Title: How Does Fine-tuning Affect the Geometry of Embedding Space: A Case
Study on Isotropy
- Title(参考訳): 微調整が埋め込み空間の幾何学に及ぼす影響 : 等方性に関する事例研究
- Authors: Sara Rajaee and Mohammad Taher Pilehvar
- Abstract要約: 埋め込み空間の等方性が微調整後にどのように変化するかを分析する。
事前学習した文脈単語表現(CWR)の局所構造は、微調整中に大きく変化する。
- 参考スコア(独自算出の注目度): 18.490856440975996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is widely accepted that fine-tuning pre-trained language models usually
brings about performance improvements in downstream tasks. However, there are
limited studies on the reasons behind this effectiveness, particularly from the
viewpoint of structural changes in the embedding space. Trying to fill this
gap, in this paper, we analyze the extent to which the isotropy of the
embedding space changes after fine-tuning. We demonstrate that, even though
isotropy is a desirable geometrical property, fine-tuning does not necessarily
result in isotropy enhancements. Moreover, local structures in pre-trained
contextual word representations (CWRs), such as those encoding token types or
frequency, undergo a massive change during fine-tuning. Our experiments show
dramatic growth in the number of elongated directions in the embedding space,
which, in contrast to pre-trained CWRs, carry the essential linguistic
knowledge in the fine-tuned embedding space, making existing isotropy
enhancement methods ineffective.
- Abstract(参考訳): 微調整された事前学習言語モデルは通常、下流タスクのパフォーマンス改善をもたらすことが広く受け入れられている。
しかし、特に埋め込み空間の構造変化の観点から、この効果の背景にある理由についての研究は限られている。
本稿では, このギャップを埋めるために, 埋め込み空間の等方性が微調整後にどの程度変化するかを解析する。
我々は、等方性は望ましい幾何学的性質であるが、微調整が必ずしも等方性拡張をもたらすとは限らないことを示した。
さらに、トークンタイプや頻度を符号化するCWR(pre-trained contextual word representation)の局所構造は、微調整中に大きく変化する。
実験では,事前学習されたcwrとは対照的に,細調整された埋込み空間において言語知識が必須であり,既存の等方性強化手法が有効ではない組込み空間における長方方向数の劇的な増加を示す。
関連論文リスト
- Nothing Stands Still: A Spatiotemporal Benchmark on 3D Point Cloud
Registration Under Large Geometric and Temporal Change [86.44429778015657]
人工空間の3次元幾何学地図の構築は、基本的なコンピュータビジョンとロボット工学である。
Not Stands Still (NSS)ベンチマークは、大きな空間的および時間的変化を行う3Dシーンの時間的登録に焦点を当てている。
NSSの一環として,建設中または改修中の大規模建築屋内環境において,3次元点雲のデータセットを連続的に取得する。
論文 参考訳(メタデータ) (2023-11-15T20:09:29Z) - Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive
Learning [69.6810940330906]
高品質なグラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。
具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。
双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
論文 参考訳(メタデータ) (2023-10-27T15:31:42Z) - kHGCN: Tree-likeness Modeling via Continuous and Discrete Curvature
Learning [39.25873010585029]
本研究では,学習過程においてネットワークトポロジが伝達するメッセージを符号化することを目的として,離散構造と連続学習空間の曲率を探索する。
曲率を考慮したハイパーボリックグラフ畳み込みニューラルネットワークであるKappaHGCNを提案する。
論文 参考訳(メタデータ) (2022-12-04T10:45:42Z) - Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。
GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
論文 参考訳(メタデータ) (2022-08-25T12:33:31Z) - Analyzing the Latent Space of GAN through Local Dimension Estimation [4.688163910878411]
高忠実度画像合成におけるスタイルベースGAN(StyleGAN)は、それらの潜在空間の意味的特性を理解するために研究の動機となっている。
事前学習したGANモデルにおける任意の中間層に対する局所次元推定アルゴリズムを提案する。
提案した計量はDistortionと呼ばれ、学習された潜在空間上の内在空間の不整合を測定する。
論文 参考訳(メタデータ) (2022-05-26T06:36:06Z) - On Isotropy Calibration of Transformers [10.294618771570985]
変圧器モデルの埋め込み空間の研究は、文脈表現の分布が非常に異方性であることを示唆している。
最近の研究では、変圧器の埋め込み空間が局所等方性であることが示されており、これらのモデルは既にその埋め込み空間の表現能力を利用することができることを示唆している。
我々は, 変圧器の等方性校正のための最先端手法の実証評価を行い, モデルとタスク間で一貫した改善が得られないことを見出した。
論文 参考訳(メタデータ) (2021-09-27T18:54:10Z) - A Cluster-based Approach for Improving Isotropy in Contextual Embedding
Space [18.490856440975996]
文脈的単語表現(CWR)における表現退化問題は、埋め込み空間の表現性を損なう。
本研究では,文脈埋め込み空間における縮退問題に対処する局所クラスタベースの手法を提案する。
動詞表現の主流方向を除去することで,空間をセマンティックな応用に適合させることが可能であることを示す。
論文 参考訳(メタデータ) (2021-06-02T14:26:37Z) - A Unifying and Canonical Description of Measure-Preserving Diffusions [60.59592461429012]
ユークリッド空間における測度保存拡散の完全なレシピは、最近、いくつかのMCMCアルゴリズムを単一のフレームワークに統合した。
我々は、この構成を任意の多様体に改善し一般化する幾何学理論を開発する。
論文 参考訳(メタデータ) (2021-05-06T17:36:55Z) - APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。
適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。
言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
論文 参考訳(メタデータ) (2020-04-30T19:05:41Z) - What Happens To BERT Embeddings During Fine-tuning? [19.016185902256826]
細調整がBERTモデルの表現に与える影響について検討する。
微調整は主にBERTの上位層に影響を与えるが、タスク間で注目すべきバリエーションがある。
特に、依存関係解析はモデルのほとんどを再構成するが、SQuADとMNLIはより浅い処理を伴っているように見える。
論文 参考訳(メタデータ) (2020-04-29T19:46:26Z) - Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。
我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。
適応勾配法の一般化に関する経験的および理論的考察を示す。
論文 参考訳(メタデータ) (2020-02-26T21:42:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。