論文の概要: Learning for Amalgamation: A Multi-Source Transfer Learning Framework For Sentiment Classification

• arxiv url: http://arxiv.org/abs/2303.09115v1
• Date: Thu, 16 Mar 2023 07:02:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 16:24:57.392282
• Title: Learning for Amalgamation: A Multi-Source Transfer Learning Framework For Sentiment Classification
• Title（参考訳）: アマルガメーションのための学習: 感性分類のための多元変換学習フレームワーク
• Authors: Cuong V. Nguyen, Khiem H. Le, Anh M. Tran, Quang H. Pham, Binh T. Nguyen
• Abstract要約: 本研究は,1つの事前学習モデルを用いたトランスファーラーニングの一般的な実践を超越した研究である。 いくつかの事前学習モデルから統合埋め込みを学ぶためのフレームワークLIFAを提案する。 ベトナム初の大規模感情分類データベースを構築した。
• 参考スコア（独自算出の注目度）: 1.9249287163937971
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning plays an essential role in Deep Learning, which can remarkably improve the performance of the target domain, whose training data is not sufficient. Our work explores beyond the common practice of transfer learning with a single pre-trained model. We focus on the task of Vietnamese sentiment classification and propose LIFA, a framework to learn a unified embedding from several pre-trained models. We further propose two more LIFA variants that encourage the pre-trained models to either cooperate or compete with one another. Studying these variants sheds light on the success of LIFA by showing that sharing knowledge among the models is more beneficial for transfer learning. Moreover, we construct the AISIA-VN-Review-F dataset, the first large-scale Vietnamese sentiment classification database. We conduct extensive experiments on the AISIA-VN-Review-F and existing benchmarks to demonstrate the efficacy of LIFA compared to other techniques. To contribute to the Vietnamese NLP research, we publish our source code and datasets to the research community upon acceptance.
• Abstract（参考訳）: トランスファー学習はディープラーニングにおいて重要な役割を担っており、トレーニングデータが不十分なターゲットドメインのパフォーマンスを著しく向上させることができる。 本研究は,1つの事前学習モデルを用いて,伝達学習の一般的な実践を越えて検討する。 ベトナムの感情分類の課題に注目し,いくつかの事前学習モデルから統一埋め込みを学ぶためのフレームワークであるlifaを提案する。 さらに、事前訓練されたモデルが互いに協力するか、競合するかを奨励する2つのLIFA変種を提案する。 これらの変種の研究は、モデル間の知識の共有が転校学習にとってより有益であることを示すことによって、lifaの成功に光を当てている。 さらに,ベトナム初の感情分類データベースであるaisia-vn-review-fデータセットを構築した。 AISIA-VN-Review-Fおよび既存のベンチマークにおいて、他の手法と比較してLIFAの有効性を実証するための広範な実験を行った。 ベトナムのnlp研究に貢献するために、我々はソースコードとデータセットを研究コミュニティに公開します。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• An Active Learning Framework for Inclusive Generation by Large Language Models [32.16984263644299]
  大規模言語モデル(LLM)は、多様なサブ集団を表すテキストを生成する。 本稿では,知識蒸留により強化されたクラスタリングに基づくアクティブラーニングフレームワークを提案する。 2つの新しいデータセットをモデルトレーニングと組み合わせて構築し、ベースラインモデルよりも2%-10%の性能向上を示した。
  論文  参考訳（メタデータ） (2024-10-17T15:09:35Z)
• High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
  基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。 具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-10T08:04:11Z)
• UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
  フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。 本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。 この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-09-16T11:30:29Z)
• Collaborating Heterogeneous Natural Language Processing Tasks via Federated Learning [55.99444047920231]
  提案するATCフレームワークは, 各種ベースライン手法と比較して, 大幅な改善を実現している。 自然言語理解(NLU)タスクと自然言語生成(NLG)タスクを対象とする,広く使用されている6つのデータセットについて,広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-12T09:27:50Z)
• Leveraging Different Learning Styles for Improved Knowledge Distillation in Biomedical Imaging [0.9208007322096533]
  我々の研究は知識多様化の概念を活用して、知識蒸留(KD)や相互学習(ML)といったモデル圧縮技術の性能を向上させる。 我々は,教師から学生(KD)への知識伝達を可能にすると同時に,学生(ML)間の協調学習を促進する統一的な枠組みで,一教師と二学生のネットワークを利用する。 教師が学生ネットワークと予測や特徴表現の形で同じ知識を共有する従来の手法とは異なり,提案手法では,教師の予測と特徴マップの学習により,より多様化した戦略を採用する。
  論文  参考訳（メタデータ） (2022-12-06T12:40:45Z)
• Leveraging Transfer Learning for Reliable Intelligence Identification on Vietnamese SNSs (ReINTEL) [0.8602553195689513]
  単言語モデルと多言語事前学習モデルの両方を利用する。 我々のチームはプライベートテストセットのROC-AUC測定値で0.9378を達成しました。
  論文  参考訳（メタデータ） (2020-12-10T15:43:50Z)
• Self-supervised Co-training for Video Representation Learning [103.69904379356413]
  実例に基づく情報ノイズコントラスト推定訓練に意味クラス正の付加を施すことの利点について検討する。 本稿では,インフォネッションNCEの損失を改善するための,自己指導型協調学習手法を提案する。 本研究では,2つの下流タスク(行動認識とビデオ検索)における学習表現の質を評価する。
  論文  参考訳（メタデータ） (2020-10-19T17:59:01Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。