論文の概要: Universal Textual Teaching for LLMs

• arxiv url: http://arxiv.org/abs/2610.12114v1
• Date: Thu, 08 Oct 2026 15:11:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.109576
• Title: Universal Textual Teaching for LLMs
• Title（参考訳）: LLMのためのユニバーサルテキスト教育
• Abstract要約: 本稿では,大規模言語モデル(LLM)の知識伝達について検討する。 我々は,教師と学生の知識ギャップをテキスト,解釈可能,再利用可能な自然言語アーティファクトであるPrimerに蒸留する,パラメータ更新不要なフレームワークであるUniversal Textual Teaching (UTT)を紹介した。
• 参考スコア（独自算出の注目度）: 5.864475030577771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) transfers knowledge from stronger Teacher models to weaker Student models, but most methods require training the Student parameters, thereby binding the distilled knowledge to a specific architecture and checkpoint. This implicit representation is difficult to interpret or reuse across models and limits KD for API-only or costly-to-train models. This paper studies knowledge transfer for large language models (LLMs). We introduce Universal Textual Teaching (UTT), a parameter-update-free framework that distills observed Teacher-Student knowledge gaps into a textual, interpretable, and reusable natural-language artifact called Primer. Specifically, UTT first identifies representative gap cases through paired evaluations, and iteratively updates the Primer via multi-role interactions: the Student attempts each task, the Prompter turns evaluation feedback into a teaching instruction, the Teacher provides a targeted demonstration, and the Synthesizer consolidates validated lessons. Empirically, on the challenging math (Omni-MATH-2) and code generation (KernelBench) tasks, extensive results confirm the effectiveness of the method: UTT remarkably raises the Student's accuracy from 9.4% to 48.6% and Fast1 accuracy from 9% to 35% on KernelBench, while increasing mathematical reasoning accuracy from 27.6% to 51.7%. UTT also performs better than representative prompt engineering and parameter-based KD methods. Of note, UTT is shown to be generalizable across different Teachers and Students: a Primer synthesized for one Teacher-Student pair can generalize to other Students that do not participate in the synthesis.
• Abstract（参考訳）: 知識蒸留(KD)は、より強力な教師モデルからより弱い学生モデルに知識を伝達するが、ほとんどの方法は学生パラメータを訓練する必要があるため、蒸留された知識を特定のアーキテクチャとチェックポイントに結びつける。 この暗黙の表現は、モデルをまたいだ解釈や再利用が困難で、APIのみまたはコストがかかるモデルのKDを制限する。 本稿では,大規模言語モデル(LLM)の知識伝達について検討する。 我々は,教師と学生の知識ギャップをテキスト,解釈可能,再利用可能な自然言語アーティファクトであるPrimerに蒸留する,パラメータ更新不要なフレームワークであるUniversal Textual Teaching (UTT)を紹介した。 具体的には、UTTはまずペア評価を通じて代表的ギャップケースを識別し、学生が各タスクを試み、Prompterが評価フィードバックを教育指導に変換し、教師が目標とするデモを行い、Synthesizerは検証済みのレッスンを統合する。 UTTは学生の精度を9.4%から48.6%に、Fast1の精度を9%から35%に引き上げ、数学的推論の精度を27.6%から51.7%に引き上げます。 また、UTTはプロンプト工学やパラメータベースのKD法よりも優れた性能を発揮する。 なお、UTTは様々な教師や学生の間で一般化可能であることが示されており、教師と学生のペアで合成されたプライマーは、合成に参加していない他の学生に一般化することができる。

関連論文リスト

• GRADE: Generalizable Reasoning-Aware Dialogue Evaluation for AI Tutors [5.831342304669597]
  GRADEは、学生-教師対話における教育能力評価のためのオープンソースモデルの体系的研究である。 ゼロショット推論, LoRAファインチューニング, 合成拡張, CoT+Reasoning, シングルタスク対マルチタスクの定式化など, 5つの言語モデルにわたる120の構成を評価した。
  論文  参考訳（メタデータ） (2026-05-27T02:26:55Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• Teaching-Assistant-in-the-Loop: Improving Knowledge Distillation from Imperfect Teacher Models in Low-Budget Scenarios [3.818273633647809]
  3種類の信号型を利用した3成分フレームワークを提案する。 最初の信号は学生の自己整合性(学生の複数の出力の整合性)であり、学生の自信の代用となる。 提案した2段階フレームワークは,データセット間の信号を持たない微調整と比較して,20.79%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2024-06-08T02:17:43Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Teaching What You Should Teach: A Data-Based Distillation Method [20.595460553747163]
  知識蒸留フレームワークに「教えるべきものを教える」戦略を導入する。 本稿では,より効率的かつ合理的な蒸留を支援するために,望まれる増補サンプルを探索するデータベース蒸留手法"TST"を提案する。 具体的には,教師の強みと生徒の弱みを補うことを支援する,優先バイアス付きニューラルネットワークベースのデータ拡張モジュールを設計する。
  論文  参考訳（メタデータ） (2022-12-11T06:22:14Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Learning to Teach with Student Feedback [67.41261090761834]
  対話的知識蒸留 (Interactive Knowledge Distillation, IKD) は、教師が生徒のフィードバックから教えることを学ぶことを可能にする。 IKDは教師モデルを訓練し、特定の学生のトレーニングステップごとに特定のソフトターゲットを生成する。 教師と生徒の協調的な最適化は2つの反復的なステップによって達成される。
  論文  参考訳（メタデータ） (2021-09-10T03:01:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。