論文の概要: Comparative Analysis of Efficient Adapter-Based Fine-Tuning of State-of-the-Art Transformer Models

• arxiv url: http://arxiv.org/abs/2501.08271v1
• Date: Tue, 14 Jan 2025 17:37:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:27:11.939250
• Title: Comparative Analysis of Efficient Adapter-Based Fine-Tuning of State-of-the-Art Transformer Models
• Title（参考訳）: 効率の良い適応器を用いた変圧器モデルの微調整の比較解析
• Authors: Saad Mashkoor Siddiqui, Mohammad Ali Sheikh, Muhammad Aleem, Kajol R Singh,
• Abstract要約: アダプタは、トレーニング時間のごく一部で微調整と比較して、同等またはより優れたパフォーマンスを達成することができる。 本研究は,多様な自然言語処理(NLP)アプリケーションにおいて,アダプタの選択と実装のための貴重な洞察とガイドラインを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this work, we investigate the efficacy of various adapter architectures on supervised binary classification tasks from the SuperGLUE benchmark as well as a supervised multi-class news category classification task from Kaggle. Specifically, we compare classification performance and time complexity of three transformer models, namely DistilBERT, ELECTRA, and BART, using conventional fine-tuning as well as nine state-of-the-art (SoTA) adapter architectures. Our analysis reveals performance differences across adapter architectures, highlighting their ability to achieve comparable or better performance relative to fine-tuning at a fraction of the training time. Similar results are observed on the new classification task, further supporting our findings and demonstrating adapters as efficient and flexible alternatives to fine-tuning. This study provides valuable insights and guidelines for selecting and implementing adapters in diverse natural language processing (NLP) applications.
• Abstract（参考訳）: 本稿では,SuperGLUEベンチマークによる教師付きバイナリ分類タスクに対する各種アダプタアーキテクチャの有効性と,Kaggleによる教師付きマルチクラスニュースカテゴリ分類タスクについて検討する。 具体的には、従来の微調整と9つのSoTAアダプタアーキテクチャを用いて、DistilBERT、ELECTRA、BARTという3つのトランスモデルの分類性能と時間複雑性を比較した。 我々の分析では、アダプタアーキテクチャ間のパフォーマンスの違いを明らかにし、トレーニング時間のごく一部で微調整と比較して、同等またはより良いパフォーマンスを達成する能力を強調している。 新たな分類課題において同様の結果が観察され、さらなる研究結果の支持と、より効率的で柔軟な微調整代替品としてのアダプタの実証が行われた。 本研究は,多様な自然言語処理(NLP)アプリケーションにおいて,アダプタの選択と実装のための貴重な洞察とガイドラインを提供する。

関連論文リスト

• HeGraphAdapter: Tuning Multi-Modal Vision-Language Models with Heterogeneous Graph Adapter [19.557300178619382]
  本稿では,下流タスクに対するVLMのチューニングを実現するために,新しいヘテロジニアスグラフアダプタを提案する。 我々は、下流タスクの多モード構造知識を探索するために、特定の不均一グラフニューラルネットワークを用いる。 11のベンチマークデータセットの実験結果は、提案したHeGraphAdapterの有効性とメリットを示している。
  論文  参考訳（メタデータ） (2024-10-10T12:20:58Z)
• Deep Content Understanding Toward Entity and Aspect Target Sentiment Analysis on Foundation Models [0.8602553195689513]
  Entity-Aspect Sentiment Triplet extract (EASTE)は、Aspect-Based Sentiment Analysisタスクである。 本研究は,EASTEタスクにおける高性能化を目標とし,モデルサイズ,タイプ,適応技術がタスクパフォーマンスに与える影響について検討する。 最終的には、複雑な感情分析における詳細な洞察と最先端の成果を提供する。
  論文  参考訳（メタデータ） (2024-07-04T16:48:14Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• iDAT: inverse Distillation Adapter-Tuning [15.485126287621439]
  Adapter-Tuning (AT) 法では、事前訓練されたモデルを凍結し、下流の知識を得るためにトレーニング可能なアダプタモジュールを導入する。 本稿では,慎重に設計したアダプタモジュールを製作する代わりに,AT方式の蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-23T07:36:58Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)
• Adaptable Adapters [74.65986170056945]
  最先端のNLPモデルには1億から1兆のパラメータが含まれる。 適応アダプタは異なる層と異なる入力データに対して異なるアクティベーション関数を含む。 適応型アダプタは,標準アダプタアーキテクチャを用いてオンパー性能を実現する。
  論文  参考訳（メタデータ） (2022-05-03T14:59:27Z)
• Parameter-efficient Model Adaptation for Vision Transformers [45.3460867776953]
  画像分類タスクにおける視覚変換器のパラメータ効率モデル適応戦略について検討する。 本稿では,局所固有次元を測定することで,まずサブモジュールを選択するパラメータ効率のよいモデル適応フレームワークを提案する。 提案手法は,20画像分類データセット間の精度とパラメータ効率のトレードオフを最良とする。
  論文  参考訳（メタデータ） (2022-03-29T05:30:09Z)
• VL-Adapter: Parameter-Efficient Transfer Learning for Vision-and-Language Tasks [71.40656211497162]
  近年、大規模なテキストコーパスで事前訓練された微調整言語モデルにより、視覚と言語(V&L)タスクが大幅に改善されている。 本稿では,VL-BARTやVL-T5などのV&Lモデルに対して,アダプタに基づくパラメータ効率変換学習手法を提案する。 提案手法は, モデル全体の微調整性能に適合することを示した。
  論文  参考訳（メタデータ） (2021-12-13T17:35:26Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• Efficient Vision Transformers via Fine-Grained Manifold Distillation [96.50513363752836]
  視覚変換器のアーキテクチャは多くのコンピュータビジョンタスクで異常な性能を示した。 ネットワーク性能は向上するが、トランスフォーマーはより多くの計算資源を必要とすることが多い。 本稿では,教師のトランスフォーマーから,画像と分割パッチの関係を通して有用な情報を抽出することを提案する。
  論文  参考訳（メタデータ） (2021-07-03T08:28:34Z)
• Gradient-Based Adversarial Training on Transformer Networks for Detecting Check-Worthy Factual Claims [3.7543966923106438]
  本稿では,最初の逆正則変換型クレームスポッタモデルを提案する。 現在の最先端モデルよりもF1スコアが4.70ポイント向上した。 本稿では,変換器モデルに逆学習を適用する手法を提案する。
  論文  参考訳（メタデータ） (2020-02-18T16:51:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。