論文の概要: Enhancing BERT Fine-Tuning for Sentiment Analysis in Lower-Resourced Languages

• arxiv url: http://arxiv.org/abs/2512.01460v1
• Date: Mon, 01 Dec 2025 09:45:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.785505
• Title: Enhancing BERT Fine-Tuning for Sentiment Analysis in Lower-Resourced Languages
• Title（参考訳）: 低音源言語における感性分析のためのBERTファインチューニングの強化
• Authors: Jozef Kubík, Marek Šuppa, Martin Takáč,
• Abstract要約: 低リソース言語のための制限されたデータは、典型的には弱い言語モデル(LM)を生み出す。 事前学習は計算集約的であるため、微調整時の改善を目標とする方が現実的である。 本稿では,AL,クラスタリング,動的データ選択スケジューラを体系的に組み合わせたファインチューニングパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 1.0535472555708638
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Limited data for low-resource languages typically yield weaker language models (LMs). Since pre-training is compute-intensive, it is more pragmatic to target improvements during fine-tuning. In this work, we examine the use of Active Learning (AL) methods augmented by structured data selection strategies which we term 'Active Learning schedulers', to boost the fine-tuning process with a limited amount of training data. We connect the AL to data clustering and propose an integrated fine-tuning pipeline that systematically combines AL, clustering, and dynamic data selection schedulers to enhance model's performance. Experiments in the Slovak, Maltese, Icelandic and Turkish languages show that the use of clustering during the fine-tuning phase together with AL scheduling can simultaneously produce annotation savings up to 30% and performance improvements up to four F1 score points, while also providing better fine-tuning stability.
• Abstract（参考訳）: 低リソース言語のための制限されたデータは、典型的には弱い言語モデル(LM)をもたらす。 事前学習は計算集約的であるため、微調整時の改善を目標とする方が現実的である。 本研究では,「アクティブラーニングスケジューラ」と呼ぶ構造化データ選択戦略によって強化されたアクティブラーニング(AL)手法を用いて,限られたトレーニングデータ量で微調整プロセスを促進させる。 我々は、ALをデータクラスタリングに接続し、AL、クラスタリング、動的データ選択スケジューラを体系的に組み合わせてモデルの性能を向上させる、統合された微調整パイプラインを提案する。 スロバキア語、マルタ語、アイスランド語、トルコ語の実験では、ALスケジューリングと共に微調整フェーズでクラスタリングを使用することで、アノテーションの保存を最大30%、パフォーマンスの改善を最大4つのF1スコアまで同時に生成でき、微調整の安定性も向上している。

関連論文リスト

• Dynamic Jointly Batch Selection for Data Efficient Machine Translation Fine-Tuning [2.016758225924076]
  本稿では,細調整機械翻訳システムに特化して設計されたデータ選択手法を提案する。 学習可能性スコアを定義することにより,本手法は訓練用データポイントの有用性を体系的に評価する。 CCMatrixデータセットに微調整したmBARTモデルを用いて,英語とペルシャ語と他の言語対の実験を行い,本手法がデータ効率を最大5倍改善できることを実証した。
  論文  参考訳（メタデータ） (2025-11-06T14:33:29Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Enhancing SLM via ChatGPT and Dataset Augmentation [0.3844771221441211]
  我々は,大言語モデル (LLMs) と小言語モデル (SLMs) のパフォーマンスギャップを埋めるために,知識蒸留技術と合成データセット拡張を用いている。 提案手法は,情報抽出と情報推論という2種類の理性生成を伴い,ANLIデータセットを充実させる。 その結果, 合成合理化によって自然言語の理解能力が向上し, ANLIデータセット上での分類精度が1.3%, 2.3%向上することが判明した。
  論文  参考訳（メタデータ） (2024-09-19T09:24:36Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Bridging the Bosphorus: Advancing Turkish Large Language Models through Strategies for Low-Resource Language Adaptation and Benchmarking [1.3716808114696444]
  大規模言語モデル(LLM)は様々な分野において重要になってきており、表現不足の言語における高品質なモデルの緊急性を強調している。 本研究では、データ不足、モデル選択、評価、計算制限など、低リソース言語が直面する固有の課題について検討する。
  論文  参考訳（メタデータ） (2024-05-07T21:58:45Z)
• L3 Ensembles: Lifelong Learning Approach for Ensemble of Foundational Language Models [15.726224465017596]
  本稿では、未知のデータから意味のある表現を抽出し、構造化知識ベースを構築することに焦点を当てたアプローチを提案する。 我々は,GLUE や SuperGLUE などのベンチマークを含む様々な NLP タスクの有効性を検証する実験を行った。 提案したL3アンサンブル法は、細調整されたFLMと比較してモデル精度を4%36%向上させる。
  論文  参考訳（メタデータ） (2023-11-11T06:59:50Z)
• Offline RL for Natural Language Generation with Implicit Language Q Learning [87.76695816348027]
  ユーザ指定タスクの完了に関して、大きな言語モデルは矛盾する可能性がある。 本稿では,RLのフレキシブル・ユーティリティ・フレームワークと教師あり学習能力を組み合わせた新しいRL手法を提案する。 ILQLの実証的な検証に加えて、オフラインRLが自然言語生成設定で有用となるような、詳細な経験的分析状況も提示する。
  論文  参考訳（メタデータ） (2022-06-05T18:38:42Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning [30.5853328612593]
  本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。 実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。 我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
  論文  参考訳（メタデータ） (2020-12-04T08:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。