論文の概要: How Far Can Sub-3B Open Language Models Go in Zero-Shot Essay Scoring on an 8 GB Consumer GPU?

• arxiv url: http://arxiv.org/abs/2609.20250v1
• Date: Wed, 29 Jul 2026 02:35:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.643954
• Title: How Far Can Sub-3B Open Language Models Go in Zero-Shot Essay Scoring on an 8 GB Consumer GPU?
• Title（参考訳）: 8GBの消費者向けGPUで、Sub-3Bのオープン言語モデルがゼロショットエッセイでどこまで使えるのか?
• Abstract要約: モデルがFP16で完全にローカルで動作するサブ3Bオープンモデルでなければならない場合、どの程度の能力が存続するかを問う。 我々は,8つのASAP-AESプロンプトに対して,4つの命令調整モデル(Qwen2.5 at 0.5B/1.5B/3B,SmolLM2 at 1.7B)について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot essay scoring with large language models is usually demonstrated with proprietary API models, yet the settings where automated scoring is most needed, such as public schools grading thousands of essays under strict privacy rules, are often those where sending student writing to a third-party API is unacceptable. We ask how much capability survives when the model must be a sub-3B open model running fully locally in FP16, with a controlled study of four instruction-tuned models from two families (Qwen2.5 at 0.5B/1.5B/3B, SmolLM2 at 1.7B) on all eight ASAP-AES prompts on a single 8 GB consumer GPU, with bootstrap confidence intervals, Holm-corrected paired tests, and deployment-realistic variants of the key design choices. Three findings emerge. (i) Rubric-decomposed prompting beats holistic prompting for every model under batch min-max aggregation (though Qwen2.5-3B drops significantly on one prompt), and under mean aggregation two unrelated families land within 0.01 at the 1.5-1.7B scale. (ii) Mapping trait scores into the prompt range is fragile to grader calibration: one model compresses traits into a narrow low band (2-4 on 0-10) and naive mean aggregation collapses, while the min-max normalization of Multi-Trait Specialization repairs it (macro QWK 0.204 to 0.388) and stays within 0.03 when its statistics are frozen on 30 held-out essays. (iii) Signed error falls with essay length in eleven of twelve configurations, opposite to the verbosity bias reported for large LLM judges; normalized rubric decomposition largely flattens this slope for well-calibrated models. We anchor results honestly: the best local configuration (0.388) remains far below both the human inter-rater ceiling (0.769) and a length-only baseline (0.523), so we position sub-3B local models strictly for formative, human-supervised feedback.
• Abstract（参考訳）: 大規模な言語モデルで評価されるゼロショットエッセイは、通常プロプライエタリなAPIモデルで実証されるが、公立学校のような、厳格なプライバシールールの下で数千のエッセイを格付けするなど、自動スコアリングが最も必要となる設定は、しばしば、サードパーティのAPIに学生の書き込みを送信することが受け入れられないものである。 このモデルがFP16で完全にローカルで動作するサブ3Bオープンモデルでなければならない場合、単一8GBのコンシューマGPU上での8つのASAP-AESプロンプト上の2つのファミリー(Qwen2.5 at 0.5B/1.5B/3B、SmolLM2 at 1.7B)の4つの命令調整モデル(ブートストラップの信頼区間、ホルム補正ペアテスト、キーデザイン選択の展開-現実的なバリエーション)について、どの程度の能力が残っているかを問う。 3つの発見がある。 (i) ゴム分解促進剤は, バッチミンマックス凝集(Qwen2.5-3Bは1つのプロンプトで顕著に低下するが) と, 1.5-1.7Bスケールで0.01未満の非関係な2つの家族を平均的に集約する。 2) 特性スコアをプロンプト範囲にマッピングすることは、フレキシブル〜グレーダ校正であり、一方のモデルでは、特性スコアを狭い低帯域(2-4 on 0-10)に圧縮し、平均アグリゲーションが崩壊し、一方、Multi-Trait Specializationのmin-max正規化は、それを修復する(macro QWK 0.204〜0.388)。 三 符号付き誤差は、大LLM審査員が報告した冗長性バイアスとは対照的に、12の構成のうち11のエッセイの長さで減少し、正規化されたルーリック分解は、よく校正されたモデルにおいて、この勾配を平坦化する。 最適なローカル構成 (0.388) は、人間のインターラター天井 (0.769) と長さのみのベースライン (0.523) の両方よりはるかに低い位置にあるので、フォーマティブで人間に指示されたフィードバックのために、厳密にサブ3Bのローカルモデルを配置する。

関連論文リスト

• Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models [73.50370994588927]
  ブラックボックスAPIモデルから応答の正しさを推定する外部キャリブレータであるPinocchioを紹介する。 我々のモデルは、不確実な推定を生成するために1つのフォワードパスしか必要とせず、ターゲットモデルのロジット、重み、または内部状態へのアクセスを必要としない。
  論文  参考訳（メタデータ） (2026-09-21T16:48:50Z)
• On-Policy Self-Distillation without Any Supervision [47.315224514076334]
  我々は、内部整合性を通して、モデル自身の世代のみを用いて、政治上の自己蒸留を実現することができることを示す。 教師なしの政治自己蒸留(U-OPSD)を提案する。
  論文  参考訳（メタデータ） (2026-08-06T17:18:23Z)
• When Does Few-Shot Prompting Help? A Systematic Empirical Study of Shot-Count Effects Across Model Scale, Architecture, and Output Parsing Robustness [0.0]
  少数のインプット・アウトプット・デモペアをクエリにプリプロンプトして大きな言語モデルに提示する手法であるFew-shot promptingは、NLPで広く採用されている。 しかし、分類性能において、ショットカウントがモデルスケール、アーキテクチャ、出力フォーマットのコンプライアンスとどのように相互作用するかについて、体系的な研究はほとんど行われていない。
  論文  参考訳（メタデータ） (2026-07-25T00:31:40Z)
• ConfidenceBench: Evaluating Confidence Calibration in Large Language Models [14.831793255747181]
  ConfidenceBenchは、大規模言語モデルのキャリブレーションベンチマークである。 15のフロンティア大言語モデルにおいて、言語化された信頼度の評価を行う。 信頼性はプロンプトを通じて引き起こされ、モデルロジットへのアクセスは不要である。
  論文  参考訳（メタデータ） (2026-07-10T01:56:30Z)
• Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
  通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。 我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。 ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
  論文  参考訳（メタデータ） (2026-07-07T10:10:00Z)
• Sub-Billion, Super-Frontier: Small Language Models Rival Zero-Shot Frontier LLMs on General and Literary Relation Extraction [5.070542698701158]
  大言語モデル(LLM)は強い関係抽出(RE)を実現する 本研究では,小言語モデル(SLM)が汎用ドメインと文学テキスト間のギャップをいかに埋めるかを考察する。
  論文  参考訳（メタデータ） (2026-06-21T17:24:31Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Quantization Undoes Alignment: Bias Emergence in Compressed LLMs Across Models and Precision Levels [0.0]
  大規模言語モデルは、クラウドおよびエッジデプロイメントの推論コストとメモリフットプリントを低減するために、トレーニング後の量子化を通じて定期的に圧縮される。 既存の研究は通常、2つの条件のみを比較し、集約バイアスメトリクスに依存し、単一のモデルファミリを評価する。 12,148 BBQ バイアスベンチマーク項目の5つの精度レベル (BF16 - 3-bit) における3つの命令調整モデルの制御実験を行った。
  論文  参考訳（メタデータ） (2026-05-02T05:41:47Z)
• Benchmarking Linguistic Adaptation in Comparable-Sized LLMs: A Study of Llama-3.1-8B, Mistral-7B-v0.1, and Qwen3-8B on Romanized Nepali [0.0]
  ネパール語はラテン文字で書かれたネパール語であり、ネパールにおける非公式なデジタルコミュニケーションの主流となっている。 本研究では、3つの同等サイズのオープンウェイトモデルにまたがる言語適応の系統的ベンチマークを示す。
  論文  参考訳（メタデータ） (2026-03-25T07:02:51Z)
• TinyGSM: achieving >80% on GSM8k with small language models [49.21136294791747]
  小型モデルは様々な計算上の利点を提供するが、どの程度の大きさが問題解決能力にとって重要なのかは未解決のままである。 特に小学校の数学を解くために、GSM8Kベンチマークの80%の障壁を破るために必要なモデルサイズは、まだ34Bである。 我々の研究は、数学的な推論を得るための小さな言語モデルにとって、高品質なデータセットがどのように鍵となるかを研究する。
  論文  参考訳（メタデータ） (2023-12-14T18:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。