論文の概要: Efficient Fine-Tuning Methods for Portuguese Question Answering: A Comparative Study of PEFT on BERTimbau and Exploratory Evaluation of Generative LLMs

• arxiv url: http://arxiv.org/abs/2603.21418v1
• Date: Sun, 22 Mar 2026 21:56:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.407168
• Title: Efficient Fine-Tuning Methods for Portuguese Question Answering: A Comparative Study of PEFT on BERTimbau and Exploratory Evaluation of Generative LLMs
• Title（参考訳）: ポルトガル語質問応答のための効率的な微調整法:BERTimbauにおけるPEFTの比較と生成LDMの探索的評価
• Authors: Mariela M. Nina, Caio Veloso Costa, Lilian Berton, Didier A. Vega-Oliveros,
• Abstract要約: 本研究は,ブラジルポルトガル語のSQuAD v1翻訳であるSQuAD-BRにおける質問回答のためのBERTimbauの体系的評価を提示する。 エンコーダをベースとしたモデルは,ブラジルの抽出ポルトガル語QAに対して,大規模な生成LDMよりも計算コストが大幅に低く,効率よく微調整できることを示す。
• 参考スコア（独自算出の注目度）: 1.5049442691806052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although large language models have transformed natural language processing, their computational costs create accessibility barriers for low-resource languages such as Brazilian Portuguese. This work presents a systematic evaluation of Parameter-Efficient Fine-Tuning (PEFT) and quantization techniques applied to BERTimbau for Question Answering on SQuAD-BR, the Brazilian Portuguese translation of SQuAD v1. We evaluate 40 configurations combining four PEFT methods (LoRA, DoRA, QLoRA, QDoRA) across two model sizes (Base: 110M, Large: 335M parameters). Our findings reveal three critical insights: (1) LoRA achieves 95.8\% of baseline performance on BERTimbau-Large while reducing training time by 73.5\% (F1=81.32 vs 84.86); (2) higher learning rates (2e-4) substantially improve PEFT performance, with F1 gains of up to +19.71 points over standard rates; and (3) larger models show twice the quantization resilience (loss of 4.83 vs 9.56 F1 points). These results demonstrate that encoder-based models can be efficiently fine-tuned for extractive Brazilian Portuguese QA with substantially lower computational cost than large generative LLMs, promoting more sustainable approaches aligned with \textit{Green AI} principles. An exploratory evaluation of Tucano and Sabiá on the same extractive QA benchmark shows that while generative models can reach competitive F1 scores with LoRA fine-tuning, they require up to 4.2$\times$ more GPU memory and 3$\times$ more training time than BERTimbau-Base, reinforcing the efficiency advantage of smaller encoder-based architectures for this task.
• Abstract（参考訳）: 大規模言語モデルは自然言語処理に変化をもたらしたが、その計算コストはブラジルポルトガル語のような低リソース言語へのアクセシビリティ障壁を生み出している。 本研究は,ブラジルポルトガル語のSQuAD v1翻訳であるSQuAD-BR上での質問応答に対して,PEFTとBERTimbauに適用した量子化手法の体系的評価を示す。 4つのPEFT法(LoRA, DoRA, QLoRA, QDoRA)と2つのモデルサイズ(Base:110M, Large:335Mパラメータ)を組み合わせた40の構成を評価する。 その結果,(1) BERTimbau-Largeのベースライン性能は95.8 %,(2) 学習時間73.5 % (F1=81.32 vs 84.86) ,(2) 高学習率(2e-4) はPEFTの性能を大幅に向上し,F1 は標準速度+19.71 ポイントまで向上し,(3) より大きなモデルでは量子化レジリエンス(4.83 対 9.56 F1 ポイント)が2倍に向上した。 これらの結果から,エンコーダをベースとしたモデルは,大規模なジェネレーティブ LLM よりも計算コストが大幅に低いブラジルの抽出ポルトガル語 QA に対して,効率よく微調整が可能であることが示唆された。 同じQAベンチマークでTucanoとSabiáを探索的に評価したところ、生成モデルはLoRAの微調整で競合するF1スコアに到達できるが、最大4.2$\times$GPUメモリと3$\times$BERTimbau-Baseよりもトレーニング時間が多いため、このタスクのエンコーダベースのより小さなアーキテクチャの効率性が向上している。

関連論文リスト

• Bielik-Q2-Sharp: A Comparative Study of Extreme 2-bit Quantization Methods for a Polish 11B Language Model [0.0]
  ポーランド語大言語モデルに適用された極端2ビット量子化の最初の体系的学術評価であるBielik-Q2-Sharpを提案する。 我々は、QuIP#、SpinQuant+GPTQ、ButterflyQuant、QTIP、VPTQ、AQLMの6つの最先端のポストトレーニング量子化手法を比較した。 私たちのベストバリアント(QuIP# E8P12)は22のポーランドのベンチマークで71.92%、IQ2_XXSベースラインでは72.07%を達成しています。
  論文  参考訳（メタデータ） (2026-03-04T15:19:35Z)
• Scaling Trends for Multi-Hop Contextual Reasoning in Mid-Scale Language Models [0.0]
  大規模言語モデルにおけるマルチホップ文脈推論の制御に関する研究について述べる。 マルチエージェントシステムは逆パターンを示し、ルールベースのメソッドが失敗する推論タスクを最大80%達成する。
  論文  参考訳（メタデータ） (2026-01-06T20:18:55Z)
• Efficient Hate Speech Detection: A Three-Layer LoRA-Tuned BERTweet Framework [0.0]
  本稿では,計算効率のよいヘイトスピーチ検出システムを開発する上での課題について述べる。 ルールベースの事前フィルタリングとパラメータ効率の高いLoRA調整BERTweetモデルを組み合わせた新しい3層フレームワークを提案する。 我々の手法はSafePhiのような最先端の大規模言語モデルの性能の94%を達成している。
  論文  参考訳（メタデータ） (2025-11-08T15:47:18Z)
• Teaching LLM to Reason: Reinforcement Learning from Algorithmic Problems without Code [76.80306464249217]
  本稿では,LLMにより良い理性を教えることを目的としたTeaRを提案する。 TeaRは、注意深いデータキュレーションと強化学習を活用して、コード関連のタスクを通じて最適な推論パスを発見するモデルをガイドする。 我々は、2つのベースモデルと3つの長いCoT蒸留モデルを用いて広範な実験を行い、モデルのサイズは15億から32億のパラメータから、Math、Knowledge、Code、Logical Reasoningにまたがる17のベンチマークにまたがる。
  論文  参考訳（メタデータ） (2025-07-10T07:34:05Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• Unlocking Parameter-Efficient Fine-Tuning for Low-Resource Language Translation [3.558269947618352]
  SacreBLEUスコアを用いて,合計15のアーキテクチャを用いた8 PEFT法の性能評価を行った。 その結果、6つのPEFTアーキテクチャがドメイン内テストとドメイン外テストの両方のベースラインを上回っていることがわかった。 Houlsby+Inversionアダプタは、PEFT法の有効性を証明し、全体として最高の性能を持つ。
  論文  参考訳（メタデータ） (2024-04-05T16:42:28Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。