論文の概要: Improving QA Efficiency with DistilBERT: Fine-Tuning and Inference on mobile Intel CPUs

• arxiv url: http://arxiv.org/abs/2505.22937v1
• Date: Wed, 28 May 2025 23:38:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.582799
• Title: Improving QA Efficiency with DistilBERT: Fine-Tuning and Inference on mobile Intel CPUs
• Title（参考訳）: DistilBERTによるQA効率の向上 - モバイルIntel CPUの微細チューニングと推論
• Authors: Ngeyen Yinkfu,
• Abstract要約: 本研究は,第13世代Intel i7-1355U CPU上での展開に最適化された,効率的なトランスフォーマーベースの質問応答モデルを提案する。 このモデルは、平均推定時間1問あたり0.1208秒のバリデーションF1スコア0.6536を達成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study presents an efficient transformer-based question-answering (QA) model optimized for deployment on a 13th Gen Intel i7-1355U CPU, using the Stanford Question Answering Dataset (SQuAD) v1.1. Leveraging exploratory data analysis, data augmentation, and fine-tuning of a DistilBERT architecture, the model achieves a validation F1 score of 0.6536 with an average inference time of 0.1208 seconds per question. Compared to a rule-based baseline (F1: 0.3124) and full BERT-based models, our approach offers a favorable trade-off between accuracy and computational efficiency. This makes it well-suited for real-time applications on resource-constrained systems. The study includes systematic evaluation of data augmentation strategies and hyperparameter configurations, providing practical insights into optimizing transformer models for CPU-based inference.
• Abstract（参考訳）: 本研究では,第13世代Intel i7-1355U CPU上での配置に最適化された効率的なトランスフォーマーベースのQAモデルについて,SQuAD(Stanford Question Answering Dataset) v1.1を用いて提案する。 DistilBERTアーキテクチャの探索的データ解析、データ拡張、微調整を活用して、平均推定時間0.1208秒の検証F1スコア0.6536を達成する。 ルールベースベースライン(F1: 0.3124)と完全なBERTベースモデルと比較すると,提案手法は精度と計算効率のトレードオフが良好である。 これにより、リソース制約のあるシステム上でのリアルタイムアプリケーションに適している。 この研究は、データ拡張戦略とハイパーパラメータ構成の体系的評価を含み、CPUベースの推論のためにトランスフォーマーモデルを最適化するための実践的な洞察を提供する。

関連論文リスト

• ReasoningV: Efficient Verilog Code Generation with Adaptive Hybrid Reasoning Model [7.798551697095774]
  ReasoningVは、訓練された内在能力と動的推論適応を統合した、Verilogコード生成のための新しいモデルである。 ReasoningV-5Kは5,000個の機能検証済みインスタンスの高品質なデータセットで、PiraNetサンプルの多次元フィルタリングによる推論パスを生成する。 VerilogEval- humanに対するパス@1精度57.8%のReasoningVの有効性を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2025-04-20T10:16:59Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• TD3: Tucker Decomposition Based Dataset Distillation Method for Sequential Recommendation [50.23504065567638]
  本稿では,メタラーニングフレームワークにおける textbfDataset textbfDistillation 手法である textbfTD3 を紹介する。 TD3は、オリジナルのデータから完全に表現力のある合成配列の要約を蒸留する。 拡張技術により、学習者は合成要約を忠実に適合させ、アンプループでの正確な更新を確実にすることができる。
  論文  参考訳（メタデータ） (2025-02-05T03:13:25Z)
• Transformer^-1: Input-Adaptive Computation for Resource-Constrained Deployment [3.6219999155937113]
  本稿では,動的シナリオ下でのディープラーニングモデルにおける固定計算パラダイムによる資源無駄に対処するためのTransformer$-1$アーキテクチャを提案する。 ベンチマークテストでは,標準的なTransformerと比較してFLOPを42.7%削減し,ピークメモリ使用率を3%削減した。 また,いくつかの自然言語処理タスクの実験を行い,資源効率の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2025-01-26T15:31:45Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• AutoFT: Learning an Objective for Robust Fine-Tuning [60.641186718253735]
  ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。 手作り正則化技術を用いた頑健な微調整への最近のアプローチ 我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
  論文  参考訳（メタデータ） (2024-01-18T18:58:49Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Parameter-Efficient Abstractive Question Answering over Tables or Text [60.86457030988444]
  QAシステムを求める情報の長期的な野望は、マルチモーダルなコンテキストを推論し、ユーザクエリに対する自然な回答を生成することである。 メモリ集約型事前学習言語モデルは、構造化されていないテキストや構造化テーブルのような特定のモードでQAデータ上のモデルを微調整することで、QAのような下流タスクに適応する。 パラメータ効率の良いアダプタは、トランス層間の小さなタスク固有のボトルネック層を加算し、訓練する。
  論文  参考訳（メタデータ） (2022-04-07T10:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。