論文の概要: Grammar Concept Annotation at Scale: Deployed Fine-Tuned Small Language Models Outperform Prompted Frontier Models

• arxiv url: http://arxiv.org/abs/2610.10827v2
• Date: Sun, 11 Oct 2026 09:43:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:49.610228
• Title: Grammar Concept Annotation at Scale: Deployed Fine-Tuned Small Language Models Outperform Prompted Frontier Models
• Title（参考訳）: スケールでの文法概念アノテーション: 展開された微調整された小言語モデルによるプロンプテッドフロンティアモデルの性能向上
• Abstract要約: 訂正的フィードバックは、第二言語買収の最良の要因のひとつだ。 プロンプテッドフロンティアモデルは、学習者からのこのようなビューを提供することができる。 このギャップを,教師が生成した教師の監督をフィルタし再バランスする上で,Qwen3.5小言語モデル(SLM)を微調整することで埋める。
• 参考スコア（独自算出の注目度）: 0.8411385346896413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Corrective feedback is among the best-evidenced drivers of second-language acquisition, yet corrections delivered during lessons rarely accumulate into an actionable view of grammar mastery. Prompted frontier models can provide such a view from learner--tutor lesson transcripts, but they are costly at scale. We close this gap by fine-tuning Qwen3.5 small language models (SLMs) on filtered and rebalanced teacher-generated supervision, then deploying an efficient 0.8B model in an end-to-end grammar mastery tracker for all English learners on our platform. Internalizing the annotation contract into adapter weights enables pairing the 0.8B model with a compact matched prompt rather than verbose instructions. On two human-curated benchmarks, both the deployed 0.8B model and a 4B reference comparator outperform prompted GPT-5.4 and GPT-5.6 Sol in precision and recall under nested matching criteria of increasing strictness: concept, evidence span, and correctness. The deployed 0.8B SLM reduces serving cost by approximately 16$\times$. A feature-level online experiment shows significant gains in learner engagement ($+15.8\%$) and key business metrics, including scheduled hours ($+2.1\%$) and GMV from new lessons ($+13.2\%$).
• Abstract（参考訳）: 訂正的フィードバックは第2言語習得の最良の動機のひとつだが、授業中に行われる修正は、文法習得の実行可能な視点に蓄積されることは滅多にない。 プロンプテッドフロンティアモデルは、学習者からのこのようなビューを提供することができる。 このギャップを埋めるには、教師が生成した教師の監督をフィルターで調整したQwen3.5小言語モデル(SLM)を微調整し、学習者全員のためのエンドツーエンドの文法マイリートラッカーに効率の良い0.8Bモデルを配置する。 アノテーションコントラクトをアダプタウェイトに内部化することで、冗長な命令ではなく、コンパクトにマッチしたプロンプトと0.8Bモデルをペアリングすることができる。 2つの人為的なベンチマークでは、デプロイされた0.8Bモデルと4B参照コンパレータの両方が優れた性能を示し、GPT-5.4とGPT-5.6は厳密さを増すというネストされた基準の下で精度とリコールを行った。 デプロイされた0.8B SLMは、サービスコストを約16$\times$に削減する。 機能レベルのオンライン実験では、学習者のエンゲージメント(+15.8\%$)と、スケジュール時間(+2.1\%$)、新しいレッスン(+13.2\%$)など、主要なビジネス指標が大幅に向上している。

関連論文リスト

• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• Benchmarking Cross-Lingual Semantic Alignment in Multilingual Embeddings [0.0]
  タスク駆動ベンチマーク(MTEB)は基本的なアライメントの欠点を隠蔽する可能性がある。 意味的親和性 (Semantic Affinity, SA) は, 言語間比と言語内拡散比の有界(0, 1)の測定値である。 4つのデータセット(52の実験)に13のモデルをベンチマークすると、3層構造が明らかになる。
  論文  参考訳（メタデータ） (2025-12-29T14:32:57Z)
• Adapting Multilingual Models to Code-Mixed Tasks via Model Merging [9.620539727633274]
  我々は,コード混合NLPの従来の適応戦略の代替として,モデルマージについて検討した。 我々は,XLM-RとLlama-3.2-1Bモデルを用いて,英語・ヒンディー語(En-Hi)と英語・スペイン語(En-Es)の文分類(センチメントとヘイトスピーチ)課題に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-10-22T17:16:23Z)
• Evaluating Prompting Strategies and Large Language Models in Systematic Literature Review Screening: Relevance and Task-Stage Classification [1.2234742322758418]
  本研究では,大規模言語モデル (LLM) と戦略がどう相互作用するかを定量化し,体系的な文献レビューのスクリーニング段階を自動化する。 GPT-4o, GPT-4o-mini, DeepSeek-Chat-V3, Gemini-2.5-Flash, Claude-3.5-Haiku, Llama-4-Maverickの6種類のLCMを5種類のプロンプト型で評価した。 CoT-Few-shotは、最も信頼性の高い精度とリコールのバランス、ゼロショットは高感度パスのリコールを最大化し、自己反射はモデル全体の過度な傾きと不安定さによって不利益となる。
  論文  参考訳（メタデータ） (2025-10-17T16:53:09Z)
• The Surprising Effectiveness of Test-Time Training for Few-Shot Learning [59.309477460893916]
  言語モデル(LM)は、トレーニングディストリビューション内のタスクにおいて印象的なパフォーマンスを示しているが、しばしば構造的に新しいタスクで苦労している。 LMの推論と少数ショット学習能力を改善するメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。 本研究は,新しいタスクにおける文脈内学習の限界を強調し,言語モデルの適応性を高めるためのテストタイムトレーニングの可能性を示した。
  論文  参考訳（メタデータ） (2024-11-11T18:59:45Z)
• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• Generative Adapter: Contextualizing Language Models in Parameters with A Single Forward Pass [109.34230156454574]
  大規模言語モデル(LM)は一般的に、新しい文脈におけるパフォーマンスを改善するために適応される。 微調整によってトレーニングコストが大幅に増加し、推論オーバーヘッドが増加する。 我々は、新しいコンテキストを低ランクLMアダプタに直接マッピングする効率的で効率的な適応手法である$GenerativeAdapter$を紹介した。
  論文  参考訳（メタデータ） (2024-11-08T00:42:47Z)
• Detection of Conspiracy Theories Beyond Keyword Bias in German-Language Telegram Using Large Language Models [0.0]
  この研究は、ドイツのテレグラムメッセージにおける陰謀論を検出するという課題に対処する。 BERT型モデルを用いた教師付き微調整手法とプロンプトベース手法の比較を行った。 教師付き微調整では、正のクラスに対して$sim! 0.8$のF1スコアを報告します。
  論文  参考訳（メタデータ） (2024-04-27T19:17:31Z)
• Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks [77.90900650816046]
  ゼロショットセミパラメトリック言語モデルである$textZemi$を紹介します。 私たちは、新しいセミパラメトリックマルチタスクによるトレーニングパラダイムで、textZemi$をトレーニングします。 具体的には、大規模タスクに依存しない未ラベルコーパスからの検索により、マルチタスクトレーニングとゼロショット評価を強化する。
  論文  参考訳（メタデータ） (2022-10-01T04:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。