論文の概要: Unified Low-Resource Sequence Labeling by Sample-Aware Dynamic Sparse Finetuning

• arxiv url: http://arxiv.org/abs/2311.03748v1
• Date: Tue, 7 Nov 2023 06:19:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 16:37:14.685551
• Title: Unified Low-Resource Sequence Labeling by Sample-Aware Dynamic Sparse Finetuning
• Title（参考訳）: サンプル認識型ダイナミックスパースファインタニングによる低リソース同時ラベリング
• Authors: Sarkar Snigdha Sarathi Das, Ranran Haoran Zhang, Peng Shi, Wenpeng Yin, Rui Zhang
• Abstract要約: FISH-DIPは、少数のパラメータに選択的にフォーカスする、サンプル対応のダイナミックスパース微調整戦略である。 FISH-DIPは、最大40%の性能改善を提供する低リソース設定でモデルをスムーズに最適化できることを実証した。
• 参考スコア（独自算出の注目度）: 24.765911297156855
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Unified Sequence Labeling that articulates different sequence labeling problems such as Named Entity Recognition, Relation Extraction, Semantic Role Labeling, etc. in a generalized sequence-to-sequence format opens up the opportunity to make the maximum utilization of large language model knowledge toward structured prediction. Unfortunately, this requires formatting them into specialized augmented format unknown to the base pretrained language model (PLMs) necessitating finetuning to the target format. This significantly bounds its usefulness in data-limited settings where finetuning large models cannot properly generalize to the target format. To address this challenge and leverage PLM knowledge effectively, we propose FISH-DIP, a sample-aware dynamic sparse finetuning strategy that selectively focuses on a fraction of parameters, informed by feedback from highly regressing examples, during the fine-tuning process. By leveraging the dynamism of sparsity, our approach mitigates the impact of well-learned samples and prioritizes underperforming instances for improvement in generalization. Across five tasks of sequence labeling, we demonstrate that FISH-DIP can smoothly optimize the model in low resource settings offering upto 40% performance improvements over full fine-tuning depending on target evaluation settings. Also, compared to in-context learning and other parameter-efficient fine-tuning approaches, FISH-DIP performs comparably or better, notably in extreme low-resource settings.
• Abstract（参考訳）: 名前付きエンティティ認識、関係抽出、セマンティックロールラベリングなどの異なるシーケンスラベリング問題を一般化されたシーケンス・ツー・シーケンス形式で表現する統一シーケンスラベリングは、構造化予測に向けて大きな言語モデル知識を最大限に活用する機会を開く。 残念ながら、これはターゲットフォーマットに微調整を必要とするベース事前訓練言語モデル(PLM)に未知の特殊な拡張フォーマットにフォーマットする必要がある。 これは、大きなモデルを微調整してもターゲットフォーマットに適切に一般化できないデータ制限設定において、その有用性を著しく制限する。 この課題に対処し,PLMの知識を効果的に活用するために,サンプル認識型動的スパース微調整戦略であるFISH-DIPを提案する。 スパーシリティのダイナミズムを活用することで,十分に学習されたサンプルの影響を緩和し,汎用性を改善するために低パフォーマンスなインスタンスを優先する手法を提案する。 シーケンスラベリングの5つのタスクを通じて,fish-dipは,ターゲット評価設定に応じて,最大40%のパフォーマンス改善を提供する低リソース設定で,モデルをスムーズに最適化できることを実証する。 また、テキスト内学習やその他のパラメータ効率のよい微調整手法と比較して、FISH-DIPは、特に極端に低リソースな設定において、可視またはより優れた性能を発揮する。

関連論文リスト

• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• Auto-GDA: Automatic Domain Adaptation for Efficient Grounding Verification in Retrieval Augmented Generation [13.120801609024147]
  検索拡張生成(RAG)は,大規模言語モデル(LLM)出力の現実性を高めることが示されている。 RAG入力は、NLIモデルのトレーニングに使用されるほとんどのデータセットよりも複雑である。 教師なしドメイン適応を実現するために自動生成ドメイン適応(Auto-GDA)を導入する。
  論文  参考訳（メタデータ） (2024-10-04T14:21:27Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• A Closer Look at the Few-Shot Adaptation of Large Vision-Language Models [19.17722702457403]
  現状のArtETLアプローチは、狭義の実験的な設定でのみ強力な性能を示すことを示す。 一般化されたラグランジアン法を適応させることにより,バランス項を最適化したCLAP(CLass-Adaptive linear Probe)の目的を提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:58:25Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• Prototypical Fine-tuning: Towards Robust Performance Under Varying Data Sizes [47.880781811936345]
  我々は、微調整事前学習言語モデル(LM)のための新しいフレームワークを提案する。 提案手法は,データポイント数やモデル固有の属性に応じて,モデルキャパシティを自動的に調整することができる。
  論文  参考訳（メタデータ） (2022-11-24T14:38:08Z)
• Partial sequence labeling with structured Gaussian Processes [8.239028141030621]
  部分列ラベリングのための構造付きガウス過程を提案する。 予測の不確実性を符号化し、モデル選択やハイパーパラメータ学習に余分な労力を要しない。 いくつかのシーケンスラベリングタスクで評価を行い,実験結果から提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-09-20T00:56:49Z)
• Fine-grained Retrieval Prompt Tuning [149.9071858259279]
  微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。 学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:04Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Feature Transformation Ensemble Model with Batch Spectral Regularization for Cross-Domain Few-Shot Classification [66.91839845347604]
  特徴抽出ネットワークの後に多様な特徴変換を行うことにより,アンサンブル予測モデルを提案する。 我々は,事前学習中に特徴行列の特異値を抑制するために,バッチスペクトル正規化項を用い,モデルの一般化能力を向上させる。 提案したモデルは、ターゲット領域で微調整して、数発の分類に対処することができる。
  論文  参考訳（メタデータ） (2020-05-18T05:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。