論文の概要: Efficient Multi-Task Inferencing with a Shared Backbone and Lightweight Task-Specific Adapters for Automatic Scoring

• arxiv url: http://arxiv.org/abs/2412.21065v1
• Date: Mon, 30 Dec 2024 16:34:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:01:11.229758
• Title: Efficient Multi-Task Inferencing with a Shared Backbone and Lightweight Task-Specific Adapters for Automatic Scoring
• Title（参考訳）: 共有バックボーンと軽量タスク特化アダプタを併用したマルチタスク推論の高速化
• Authors: Ehsan Latif, Xiaoming Zhai,
• Abstract要約: 本稿では,タスク固有の微調整のための軽量なLoRAアダプタにより拡張された共有バックボーンモデルアーキテクチャを提案する。 相互排他的タスク27の学生回答の自動スコアリングを目標としている。
• 参考スコア（独自算出の注目度）: 1.2556373621040728
• License:
• Abstract: The integration of Artificial Intelligence (AI) in education requires scalable and efficient frameworks that balance performance, adaptability, and cost. This paper addresses these needs by proposing a shared backbone model architecture enhanced with lightweight LoRA adapters for task-specific fine-tuning, targeting the automated scoring of student responses across 27 mutually exclusive tasks. By achieving competitive performance (average QWK of 0.848 compared to 0.888 for fully fine-tuned models) while reducing GPU memory consumption by 60% and inference latency by 40%, the framework demonstrates significant efficiency gains. This approach aligns with the workshops' focus on improving language models for educational tasks, creating responsible innovations for cost-sensitive deployment, and supporting educators by streamlining assessment workflows. The findings underscore the potential of scalable AI to enhance learning outcomes while maintaining fairness and transparency in automated scoring systems.
• Abstract（参考訳）: 教育における人工知能(AI)の統合には、パフォーマンス、適応性、コストのバランスをとるスケーラブルで効率的なフレームワークが必要である。 本稿では,タスク固有の微調整のための軽量なLoRAアダプタを内蔵した共有バックボーンモデルアーキテクチャを提案する。 競合性能(完全微調整モデルでは0.888に対して0.848のQWK)を達成すると同時に、GPUメモリの消費を60%削減し、推論遅延を40%削減することで、このフレームワークは大幅な効率向上を示す。 このアプローチは、教育タスクのための言語モデルの改善、コストに敏感なデプロイメントのための責任あるイノベーションの作成、アセスメントワークフローの合理化による教育者のサポートといったワークショップの焦点と一致している。 この結果は、自動スコアリングシステムにおける公正性と透明性を維持しながら、学習結果を向上するスケーラブルなAIの可能性を強調している。

関連論文リスト

• Satisfaction-Aware Incentive Scheme for Federated Learning in Industrial Metaverse: DRL-Based Stackbelberg Game Approach [52.79672516203574]
  Industrial Metaverseはフェデレーション学習とメタコンピューティングを使用して、データのプライバシを確保しながら、モデルを分散的にトレーニングする。 本稿では、データサイズ、年齢情報(AoI)、学習遅延を考慮に入れた満足度関数を設計する。 満足度関数は、モデルトレーニングにおけるノード参加を動機付けるユーティリティ関数に組み込まれる。
  論文  参考訳（メタデータ） (2025-02-10T03:33:36Z)
• Heterogeneity-aware Personalized Federated Learning via Adaptive Dual-Agent Reinforcement Learning [15.61141633436468]
  フェデレートラーニング(FL)は、複数のクライアントに対して、ローカルデータを共有せずに機械学習モデルを協調的にトレーニングする権限を与える。 本稿では,多段階強化学習(RL)機構を用いて,HAPFLと呼ばれる新しい異種性を考慮した個人化フェデレーション学習手法を提案する。 複数のベンチマークデータセットに対する実験結果によると、HAPFLは高い精度を達成するだけでなく、トレーニング全体の時間を20.9%から40.4%短縮する。
  論文  参考訳（メタデータ） (2025-01-28T14:08:57Z)
• Enhancing IoT Network Security through Adaptive Curriculum Learning and XAI [0.3958317527488535]
  本研究では、LIMEを含む説明可能なAI(XAI)技術で強化されたスケーラブルで軽量なカリキュラム学習フレームワークを提案する。 提案モデルでは,Curriculum Learningの各段階で使用されるニューラルネットワークアーキテクチャを用いて,短期的および長期的両方の依存関係を効率的に捕捉し,集中する。 実験結果は、CIC-IoV-2024とCIC-APT-IIoT-2024データセットで98%、EDGE-IIoTで97%の精度を示している。
  論文  参考訳（メタデータ） (2025-01-20T17:32:01Z)
• Semantic Knowledge Distillation for Onboard Satellite Earth Observation Image Classification [28.08042498882207]
  本研究では,資源制約条件下での効率的な地球観測(EO)画像分類(IC)に適した動的加重知識蒸留(KD)フレームワークを提案する。 我々のフレームワークは,信頼性の高い分類作業に必要な厳密な信頼しきい値に固執することにより,軽量な学生モデルの精度,精度,リコールを90%以上越えることを可能にする。 ResNet8は97.5%のパラメータの削減、96.7%のFLOPの削減、86.2%の消費電力削減、63.5%のMobileViTの推論速度向上など、大幅な効率向上を実現している。
  論文  参考訳（メタデータ） (2024-10-31T21:13:40Z)
• CodeACT: Code Adaptive Compute-efficient Tuning Framework for Code LLMs [30.441431693349866]
  既存の方法は、微調整のための膨大な量の合成データを生成し、訓練の効率を損なう。 CodeACTはCDAS(Complexity and Diversity Aware Smpling)メソッドを導入し、高品質なトレーニングデータを選択する。 CodeACTはHumanEvalのパフォーマンスが8.6%向上し、トレーニング時間を78%削減し、ピーク時のGPUメモリ使用量を27%削減した。
  論文  参考訳（メタデータ） (2024-08-05T02:38:48Z)
• GKT: A Novel Guidance-Based Knowledge Transfer Framework For Efficient Cloud-edge Collaboration LLM Deployment [74.40196814292426]
  本稿では,新規かつ直感的なガイダンスベース知識伝達(GKT)フレームワークを提案する。 GKTは'teacher'として大きな言語モデルを使用し、ガイダンスプロンプトを生成し、より小さな'student'モデルと組み合わせて応答を確定する。 GSM8Kの最大精度は14.18%、GSM8Kの10.72倍、精度は14.00%、CSQAの7.73倍である。
  論文  参考訳（メタデータ） (2024-05-30T02:37:35Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• GAT: Guided Adversarial Training with Pareto-optimal Auxiliary Tasks [73.88590165742721]
  本稿では,限られた訓練データの下で補助的なタスクを活用する新しい対人訓練手法を提案する。 本手法は, 対戦学習の最小値最適化において, シングルタスクモデルをマルチタスクモデルに拡張する。 我々は、ガイド付きマルチタスク学習が、モデルロバスト性の境界をさらに推し進めるために、実践的で有望な方法であることを実証する。
  論文  参考訳（メタデータ） (2023-02-06T16:23:24Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• AttentionLite: Towards Efficient Self-Attention Models for Vision [9.957033392865982]
  本稿では,リソース制約のあるアプリケーションに対して,パラメータのクラスを生成・計算するための新しいフレームワークである attentionliteable を提案する。 計算量の多い教師から知識を同時蒸留でき、同時に学生モデルを1回の訓練パスで刈り取ることができる。
  論文  参考訳（メタデータ） (2020-12-21T17:54:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。