論文の概要: Student-Guided Teacher Distillation for Efficient LLM Task Routing: Positioning Against Jev-Style System-1 Classifiers

• arxiv url: http://arxiv.org/abs/2610.02516v1
• Date: Thu, 01 Oct 2026 21:38:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.09501
• Title: Student-Guided Teacher Distillation for Efficient LLM Task Routing: Positioning Against Jev-Style System-1 Classifiers
• Title（参考訳）: 効率的なLCMタスクルーティングのための学生指導型教師蒸留:Jev-Style System-1分類に対する位置決め
• Abstract要約: 本研究では,60 LLMタスクカテゴリーの定型分類のための学生指導型蒸留パイプラインについて検討した。 コンパクトなModernBERT分類器は、1つのフォワードパスにおける全カテゴリ分布を予測し、小さなトップk候補セットを検索する。 より大きなDeBERTa-v3ゼロショットのNLI分類器は、60ラベルすべてではなく、これらの候補のみをリランクする。
• 参考スコア（独自算出の注目度）: 8.930854893959594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot classifiers are useful for routing user requests to specialized LLM tasks, but scoring every request against a large candidate set is expensive: a zero-shot NLI classifier must evaluate one premise-hypothesis pair per label, so cost scales linearly with taxonomy size. We study a student-guided teacher distillation pipeline for a fixed taxonomy of 60 LLM task categories: a compact ModernBERT classifier predicts the full category distribution in one forward pass and retrieves a small top-k candidate set, and a larger DeBERTa-v3 zero-shot NLI classifier reranks only those candidates rather than all 60 labels; the resulting teacher labels iteratively improve the student, which produces sharper candidates for the next round. Unlike generic embedding retrieval or clustering-derived shortlists used in extreme multi-label classification, our candidate generator is trained end-to-end on the target taxonomy and is the same model serving production traffic, distinguishing it from LLM-routing work that routes between candidate models, and from concurrent System-1 encoder-classifier proposals (e.g. TypeSafe AI's Jev and the open-source Laya project) whose training methodology is undocumented or RL-based. Our best student checkpoint reaches 77.5% teacher agreement on a 200-example evaluation set, and preliminary coverage measurements show Coverage@16 of 91-100%, suggesting top-k sets retain most of the teacher's decision-relevant information. We further show truncated top-k teacher scores should not be treated as full 60-class soft targets for KL distillation: zeroing untruncated classes destroys the dark knowledge soft-label distillation depends on, introducing systematic bias rather than a harmless sparse approximation. A complete evaluation, including coverage at multiple k on a held-out set, an embedding-retrieval baseline, and a larger human-reviewed test set, remains in progress.
• Abstract（参考訳）: ゼロショット分類器は、特定のLCMタスクにユーザーリクエストをルーティングするのに有用であるが、大きな候補セットに対して全てのリクエストをスコア付けするにはコストがかかる。 我々は,60 LLMタスクカテゴリの固定分類のための生徒誘導型教師蒸留パイプラインについて検討する:コンパクトなModernBERT分類器は,1つの前列パスにおける全カテゴリ分布を予測し,小さなトップk候補セットを検索し,より大きなDeBERTa-v3ゼロショットNLI分類器は,60ラベルすべてではなくこれらの候補のみをリランクし,結果として得られた教師ラベルは,次のラウンドにおいてよりシャープな候補を生成する。 極端なマルチラベル分類で使用される一般的な埋め込み検索やクラスタリング由来のショートリストとは異なり、我々の候補ジェネレータは、ターゲットの分類でエンドツーエンドにトレーニングされており、候補モデル間のルートをLLMルーティングする作業と、トレーニング方法論が文書化されていないり、RLベースであるSystem-1エンコーダ分類の提案とを区別する。 学生のベストチェックポイントは,200項目評価セットで77.5%の教師合意に達し,予備調査では91～100%のCoverage@16が示され,トップkは教師の意思決定関連情報をほとんど保持していることが示唆された。 さらに,KL蒸留の60級ソフトターゲットとして扱うべきではないことを示し,無作為なクラスがダークナレッジのソフトラベル蒸留を破壊し,無害なスパース近似ではなく体系的バイアスを導入する。 ホールドアウトセット上の複数kでのカバレッジ、埋め込み検索ベースライン、より大規模な人間レビューテストセットを含む、完全な評価は、まだ進行中である。

関連論文リスト

• Agentic AI for Human Resources: LLM-Driven Candidate Assessment [4.271562161453985]
  本稿では,Large Language Models (LLMs) を用いて,採用における候補評価を自動化するモジュール型・解釈可能なフレームワークを提案する。 このシステムは、ジョブ記述、CV、面接書、人事フィードバックなど様々なソースを統合し、専門家の判断を反映した構造化された評価レポートを生成する。 このフレームワークは、詳細なアセスメントレポート、候補比較、および、透明で監査可能で、実際の雇用に適したランク付けされたレコメンデーションを出力する。
  論文  参考訳（メタデータ） (2026-03-17T21:32:08Z)
• GLiClass: Generalist Lightweight Model for Sequence Classification Tasks [49.2639069781367]
  本稿では,シーケンス分類タスクにGLiNERアーキテクチャを適用する新しい手法であるGLiClassを提案する。 提案手法は,ゼロショットおよび少数ショット学習シナリオに必要な柔軟性を維持しつつ,埋め込み方式に匹敵する高い精度と効率を実現する。
  論文  参考訳（メタデータ） (2025-08-11T06:22:25Z)
• Prompt Candidates, then Distill: A Teacher-Student Framework for LLM-driven Data Annotation [35.1208076670736]
  本稿では,大言語モデルにおいて不確実性発生時に可能なラベルを全て出力することを推奨する新しい候補アノテーションパラダイムを提案する。 下流タスクにユニークなラベルを提供することを保証するため,小言語モデルを用いて候補アノテーションを蒸留する教師学習フレームワークCanDistを開発した。
  論文  参考訳（メタデータ） (2025-06-04T11:42:37Z)
• Large Language Model-guided Document Selection [23.673690115025913]
  大規模言語モデル(LLM)の事前学習は、ますます増加する計算予算を消費する。 近年の研究では、ドキュメントの選択がFLOPのごく一部で同等のモデル品質を実現することが実証されている。 拡張性のある汎用ドメイン文書選択のための有望な方向を探究する。
  論文  参考訳（メタデータ） (2024-06-07T04:52:46Z)
• BYOC: Personalized Few-Shot Classification with Co-Authored Class Descriptions [2.076173115539025]
  LLMを用いた少数ショットテキスト分類のための新しい手法を提案する。 わずかな例ではなく、LLMは各クラスの健全な特徴を記述して誘導される。 例、質問、回答は、分類プロンプトを形成するために要約される。
  論文  参考訳（メタデータ） (2023-10-09T19:37:38Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• Self-Adaptive Label Augmentation for Semi-supervised Few-shot Classification [121.63992191386502]
  Few-shotの分類は、ラベル付きサンプルがわずかにあれば、新しいタスクをうまく一般化できるモデルを学ぶことを目的としている。 そこで本研究では,手動で定義した指標を用いて,ラベルのない各サンプルに適切なラベルを割り当てる半教師付き小ショット分類手法を提案する。 SALAの目新しいところは、タスク適応計量であり、エンドツーエンドの方法で異なるタスクに対するメトリックを適応的に学習することができる。
  論文  参考訳（メタデータ） (2022-06-16T13:14:03Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Binary Classification from Multiple Unlabeled Datasets via Surrogate Set Classification [94.55805516167369]
  我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。 我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
  論文  参考訳（メタデータ） (2021-02-01T07:36:38Z)
• Global Multiclass Classification and Dataset Construction via Heterogeneous Local Experts [37.27708297562079]
  得られたデータセットの信頼性を確保しながら、ラベルの数を最小化する方法を示す。 MNISTとCIFAR-10データセットを用いた実験では、アグリゲーション方式の良好な精度が示されている。
  論文  参考訳（メタデータ） (2020-05-21T18:07:42Z)
• Federated Learning with Only Positive Labels [71.63836379169315]
  FedAwS(Federated Averaging with Spreadout)という,正のラベルのみを用いたトレーニングのための汎用フレームワークを提案する。 理論的にも経験的にも、FedAwSは、ユーザが負のラベルにアクセス可能な従来の学習のパフォーマンスとほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2020-04-21T23:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。