論文の概要: How Does Fine-tuning Affect the Geometry of Embedding Space: A Case Study on Isotropy

• arxiv url: http://arxiv.org/abs/2109.04740v1
• Date: Fri, 10 Sep 2021 08:58:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 13:32:44.863009
• Title: How Does Fine-tuning Affect the Geometry of Embedding Space: A Case Study on Isotropy
• Title（参考訳）: 微調整が埋め込み空間の幾何学に及ぼす影響 : 等方性に関する事例研究
• Authors: Sara Rajaee and Mohammad Taher Pilehvar
• Abstract要約: 埋め込み空間の等方性が微調整後にどのように変化するかを分析する。 事前学習した文脈単語表現(CWR)の局所構造は、微調整中に大きく変化する。
• 参考スコア（独自算出の注目度）: 18.490856440975996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is widely accepted that fine-tuning pre-trained language models usually brings about performance improvements in downstream tasks. However, there are limited studies on the reasons behind this effectiveness, particularly from the viewpoint of structural changes in the embedding space. Trying to fill this gap, in this paper, we analyze the extent to which the isotropy of the embedding space changes after fine-tuning. We demonstrate that, even though isotropy is a desirable geometrical property, fine-tuning does not necessarily result in isotropy enhancements. Moreover, local structures in pre-trained contextual word representations (CWRs), such as those encoding token types or frequency, undergo a massive change during fine-tuning. Our experiments show dramatic growth in the number of elongated directions in the embedding space, which, in contrast to pre-trained CWRs, carry the essential linguistic knowledge in the fine-tuned embedding space, making existing isotropy enhancement methods ineffective.
• Abstract（参考訳）: 微調整された事前学習言語モデルは通常、下流タスクのパフォーマンス改善をもたらすことが広く受け入れられている。 しかし、特に埋め込み空間の構造変化の観点から、この効果の背景にある理由についての研究は限られている。 本稿では, このギャップを埋めるために, 埋め込み空間の等方性が微調整後にどの程度変化するかを解析する。 我々は、等方性は望ましい幾何学的性質であるが、微調整が必ずしも等方性拡張をもたらすとは限らないことを示した。 さらに、トークンタイプや頻度を符号化するCWR(pre-trained contextual word representation)の局所構造は、微調整中に大きく変化する。 実験では,事前学習されたcwrとは対照的に,細調整された埋込み空間において言語知識が必須であり,既存の等方性強化手法が有効ではない組込み空間における長方方向数の劇的な増加を示す。

関連論文リスト

• ND-SDF: Learning Normal Deflection Fields for High-Fidelity Indoor Reconstruction [50.07671826433922]
  微妙な幾何を同時に復元し、異なる特徴を持つ領域をまたいだ滑らかさを保つことは自明ではない。 そこで我々は,ND-SDFを提案する。ND-SDFは,通常のシーンとそれ以前のシーンの角偏差を表す正規偏向場を学習する。 本手法は, 壁面や床面などのスムーズなテクスチャ構造を得るだけでなく, 複雑な構造の幾何学的詳細も保存する。
  論文  参考訳（メタデータ） (2024-08-22T17:59:01Z)
• Exploring the Impact of a Transformer's Latent Space Geometry on Downstream Task Performance [0.0]
  事前学習の利点の多くは、潜在空間表現の幾何学的特徴によって捉えられる可能性がある。 量子化セル密度の測定値と平均GLUE性能との間には強い線形関係があることが判明した。
  論文  参考訳（メタデータ） (2024-06-18T00:17:30Z)
• FLoRA: Low-Rank Core Space for N-dimension [78.39310274926535]
  さまざまな下流タスクに事前訓練された基礎モデルを適応させることは、人工知能において一般的である。 これを軽減するために、事前訓練されたモデルの重みをより資源効率の良い方法で更新するために、いくつかの微調整技術が開発されている。 本稿では,多次元パラメータ空間用に設計された一般化されたパラメータ効率きめ細調整フレームワークFLoRAを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:04:42Z)
• Gradient Projection For Continual Parameter-Efficient Tuning [42.800411328615894]
  我々は勾配投影の観点からAdapter, LoRA, Prefix-tuning, Prompt-tuningを再構成する。 大規模モデルであっても,勾配の条件は忘れることに効果的に抵抗できることを示す。 多様なデータセットを用いて,VTやCLIPを含む異なるバックボーンを用いて,本手法を広範囲に評価した。
  論文  参考訳（メタデータ） (2024-05-22T06:33:48Z)
• Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
  本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。 系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。 この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
  論文  参考訳（メタデータ） (2024-03-25T03:18:39Z)
• GeoGaussian: Geometry-aware Gaussian Splatting for Scene Rendering [83.19049705653072]
  ガウススプレイティング最適化の過程で、その構造が意図的に保存されていない場合、シーンの幾何学は徐々に悪化する。 我々はこの問題を緩和するためにGeoGaussianと呼ばれる新しいアプローチを提案する。 提案するパイプラインは、新しいビュー合成と幾何再構成において最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-03-17T20:06:41Z)
• Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive Learning [69.6810940330906]
  高品質なグラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。 具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。 双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
  論文  参考訳（メタデータ） (2023-10-27T15:31:42Z)
• Analyzing the Latent Space of GAN through Local Dimension Estimation [4.688163910878411]
  高忠実度画像合成におけるスタイルベースGAN(StyleGAN)は、それらの潜在空間の意味的特性を理解するために研究の動機となっている。 事前学習したGANモデルにおける任意の中間層に対する局所次元推定アルゴリズムを提案する。 提案した計量はDistortionと呼ばれ、学習された潜在空間上の内在空間の不整合を測定する。
  論文  参考訳（メタデータ） (2022-05-26T06:36:06Z)
• A Cluster-based Approach for Improving Isotropy in Contextual Embedding Space [18.490856440975996]
  文脈的単語表現(CWR)における表現退化問題は、埋め込み空間の表現性を損なう。 本研究では,文脈埋め込み空間における縮退問題に対処する局所クラスタベースの手法を提案する。 動詞表現の主流方向を除去することで,空間をセマンティックな応用に適合させることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-02T14:26:37Z)
• APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
  本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。 適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。 言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-30T19:05:41Z)
• What Happens To BERT Embeddings During Fine-tuning? [19.016185902256826]
  細調整がBERTモデルの表現に与える影響について検討する。 微調整は主にBERTの上位層に影響を与えるが、タスク間で注目すべきバリエーションがある。 特に、依存関係解析はモデルのほとんどを再構成するが、SQuADとMNLIはより浅い処理を伴っているように見える。
  論文  参考訳（メタデータ） (2020-04-29T19:46:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。