論文の概要: Unveiling Key Aspects of Fine-Tuning in Sentence Embeddings: A Representation Rank Analysis

• arxiv url: http://arxiv.org/abs/2405.11297v1
• Date: Sat, 18 May 2024 13:51:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 18:28:33.470048
• Title: Unveiling Key Aspects of Fine-Tuning in Sentence Embeddings: A Representation Rank Analysis
• Title（参考訳）: 文の埋め込みにおける微調整の鍵となる側面:表現ランク分析
• Authors: Euna Jung, Jaeill Kim, Jungmin Ko, Jinwoo Park, Wonjong Rhee,
• Abstract要約: 本稿では,表現ランクを分析ツールとして採用することにより,最新の文埋め込み手法を解析する。 まず、表現ランクがいつピークになるかに基づいて、ファインチューニングのフェーズ1とフェーズ2を定義する。 これらの知見に基づき,最新のCL法を迅速かつ安定した微調整を容易にするRR戦略を実験的に検討した。
• 参考スコア（独自算出の注目度）: 4.2711913023646915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The latest advancements in unsupervised learning of sentence embeddings predominantly involve employing contrastive learning-based (CL-based) fine-tuning over pre-trained language models. In this study, we analyze the latest sentence embedding methods by adopting representation rank as the primary tool of analysis. We first define Phase 1 and Phase 2 of fine-tuning based on when representation rank peaks. Utilizing these phases, we conduct a thorough analysis and obtain essential findings across key aspects, including alignment and uniformity, linguistic abilities, and correlation between performance and rank. For instance, we find that the dynamics of the key aspects can undergo significant changes as fine-tuning transitions from Phase 1 to Phase 2. Based on these findings, we experiment with a rank reduction (RR) strategy that facilitates rapid and stable fine-tuning of the latest CL-based methods. Through empirical investigations, we showcase the efficacy of RR in enhancing the performance and stability of five state-of-the-art sentence embedding methods.
• Abstract（参考訳）: 文埋め込みの教師なし学習の最新の進歩は、主に、事前訓練された言語モデルよりも対照的な学習ベース(CLベース)の微調整を採用することである。 本研究では,表現ランクを分析ツールとして採用することにより,最新の文埋め込み手法を解析する。 まず、表現ランクがいつピークになるかに基づいて、ファインチューニングのフェーズ1とフェーズ2を定義する。 これらのフェーズを利用することで、アライメントと均一性、言語能力、パフォーマンスとランクの相関など、重要な側面を網羅した分析を行い、重要な知見を得る。 例えば、第1フェーズから第2フェーズへの微調整の移行によって、重要な側面のダイナミクスが大幅に変化することを発見した。 これらの知見に基づき,最新のCL法を迅速かつ安定した微調整を容易にするRR戦略を実験的に検討した。 経験的調査を通じて,5つの最先端文埋め込み手法の性能と安定性を向上させるRRの有効性を実証した。

関連論文リスト

• The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [60.52921835351632]
  本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。 特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。 コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
  論文  参考訳（メタデータ） (2024-04-01T16:00:01Z)
• Improving Forward Compatibility in Class Incremental Learning by Increasing Representation Rank and Feature Richness [3.0620294646308754]
  本稿では,前方互換性向上を目的としたRFR法を提案する。 本研究は,破滅的忘れ込みを緩和しつつ,新規タスク性能を高めるためのアプローチの有効性を実証するものである。
  論文  参考訳（メタデータ） (2024-03-22T11:14:30Z)
• FeTrIL++: Feature Translation for Exemplar-Free Class-Incremental Learning with Hill-Climbing [3.533544633664583]
  EFCIL(Exemplar-free class-incremental Learning)は、主に破滅的な忘れが原因で大きな課題を提起する。 従来のEFCILのアプローチは、連続した微調整や安定性を通じて、プラスチックのモデルに傾くのが一般的である。 本稿では,様々なオーバーサンプリング手法と動的最適化手法の有効性を検討するための基礎的なFeTrILフレームワークを構築した。
  論文  参考訳（メタデータ） (2024-03-12T08:34:05Z)
• KOPPA: Improving Prompt-based Continual Learning with Key-Query Orthogonal Projection and Prototype-based One-Versus-All [26.506535205897443]
  本稿では,新しいキークエリ学習戦略を導入し,マッチング効率を向上し,機能変更の課題に対処する。 提案手法は,現在の最先端手法を最大20%の差で超えた結果を達成するためのモデルである。
  論文  参考訳（メタデータ） (2023-11-26T20:35:19Z)
• Beyond Imitation: Leveraging Fine-grained Quality Signals for Alignment [105.34140537748546]
  我々はFIGAという改良されたアライメント手法を提案し、従来の手法とは異なり、良質な応答と悪質な応答の対比から導出されるきめ細かい品質信号を取り込む。 まず、初期応答とそれに対応する修正データセットをペアリングする精巧なアライメントデータセットをキュレートする。 第2に,LLMの微粒な品質信号を利用してアライメントの学習を指導する新たな損失関数を考案する。
  論文  参考訳（メタデータ） (2023-11-07T15:36:40Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Balanced Supervised Contrastive Learning for Few-Shot Class-Incremental Learning [8.411863266518395]
  我々は,FSCILネットワークの各コアコンポーネントに対して,効果的な手法を統合する,シンプルで強力な学習手法を開発した。 特徴抽出学習において、我々のゴールは、現在の表示可能クラスと見えないクラスと過去のクラスの両方に利益をもたらす、バランスのとれた汎用表現を得ることである。 提案手法は,CUB200,CIFAR100,MiniImagenetデータセットにおいて,新しいタスク学習の優れた能力を示す。
  論文  参考訳（メタデータ） (2023-05-26T07:17:24Z)
• Isolation and Impartial Aggregation: A Paradigm of Incremental Learning without Interference [61.11137714507445]
  本稿では,インクリメンタルラーニングの段階におけるパフォーマンスの不均衡について論じる。 ステージアイソレーションに基づくインクリメンタルラーニングフレームワークを提案する。 提案手法を4つの大規模ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-11-29T06:57:48Z)
• An Intermediate-level Attack Framework on The Basis of Linear Regression [89.85593878754571]
  本論文はECCVにおいて,いくつかのベースライン対向例の転送性を改善するため,中間レベルアタック(中間レベルアタック)を提案し,本研究を実質的に拡張するものである。 我々は,中間レベルの相違点(対角的特徴と良性的特徴)から,対角的例の分類的損失への直接的な線形写像の確立を提唱する。 1) 様々な線形回帰モデルがマッピングを確立するために考慮可能であること,2) 最終的に得られた中間レベル差の大きさが逆転率と線形に相関していること,3) ベースラインアタックを複数回実行することで,さらなる性能向上が達成できること,などが示される。
  論文  参考訳（メタデータ） (2022-03-21T03:54:53Z)
• Finite Sample Analysis of Minimax Offline Reinforcement Learning: Completeness, Fast Rates and First-Order Efficiency [83.02999769628593]
  強化学習におけるオフ・ポリティィ・アセスメント(OPE)の理論的特徴について述べる。 ミニマックス法により、重みと品質関数の高速収束を実現することができることを示す。 非タブラル環境における1次効率を持つ最初の有限サンプル結果を示す。
  論文  参考訳（メタデータ） (2021-02-05T03:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。