論文の概要: Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics

• arxiv url: http://arxiv.org/abs/2608.21165v1
• Date: Fri, 21 Aug 2026 14:36:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.584334
• Title: Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics
• Title（参考訳）: 学習分析のための小さな自己記述型言語モデルへのブラックボックス機械学習の蒸留
• Abstract要約: 本研究では,ブラックボックス推定器とポストホック解釈(メンター)を小型でオープンウェイトな大言語モデル(LLM)に蒸留する2段階の微調整パイプラインを提案する。 設計は推定器に依存しず、忠実度優先評価フレームワークと組み合わせて、記述する属性に対してすべてのナレーションを監査する。 ナレーション品質は信号品質とは無関係であり, 決定品質は, 極めて不均衡な環境での多数行動に対して崩壊するので, 流布は正確性を示す証拠ではない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning analytics increasingly relies on flexible machine learning (ML), but the model opacity and the burden of deployment prevent these tools from reaching educational practice. We propose a two-stage fine-tuning pipeline that distills a fitted black-box estimator and its post hoc interpretation (the mentor) into a small, open-weight large language model (LLM; the mentee) that returns an individual-level estimate and explains in natural language. The design is estimator-agnostic and paired with a faithfulness-first evaluation framework that audits every narration against the attribution it claims to describe. We design a simulation study that separates distillation loss from estimator loss by comparing an oracle mentor with a realistic ML mentor. Given an oracle signal, distillation with a two-billion-parameter LLM model is nearly lossless in recovering the effect surface (r > .90), perfectly ranking the important variables, and citing no spurious covariate. Under a realistic estimator, almost all remaining error originates upstream. We find that fluency is no evidence of correctness since narration quality is independent of signal quality, and decision quality collapses toward the majority action in severely imbalanced settings. Applied to a nationally representative dataset, the pipeline recovers the finding that advanced mathematics coursework benefits students least likely to enroll in four-year college the most, with 98.8% of narrations passing the audit and no fabricated quantities. The result is a single fine-tuned LLM that predicts and explains offline on a commodity laptop, so student records never leave the machine.
• Abstract（参考訳）: 学習分析はフレキシブル機械学習(ML)にますます依存しているが、モデルの不透明さとデプロイメントの負担により、これらのツールが教育実践に到達するのを防いでいる。 本研究では,ブラックボックス推定器とポストホック解釈(メンター)を混合した2段階の微調整パイプラインを,個別レベルの推定値を返却し,自然言語で説明する小型オープンウェイトな大規模言語モデル (LLM; the mentee) に蒸留する。 設計は推定器に依存しず、忠実度優先評価フレームワークと組み合わせて、記述する属性に対してすべてのナレーションを監査する。 そこで本研究では,本研究では,託宣師と現実的なML師とを比較して,蒸留損失と推定者の損失とを分離するシミュレーション研究を設計する。 オラクル信号が与えられた場合、2ビリオンパラメタモデルによる蒸留は、効果表面(r > .90)の回復にほとんど損失がなく、重要な変数を完全にランク付けし、急激な共変を引用しない。 現実的な推定器の下では、残されるほとんど全てのエラーは上流に発生する。 ナレーション品質は信号品質とは無関係であり, 決定品質は, 極めて不均衡な環境での多数行動に対して崩壊するので, 流布は正確性を示す証拠ではない。 全国的に代表されるデータセットに適用されたパイプラインは、先進的な数学のコースワークが4年制の大学に入学する確率が最も低いという発見を回復し、98.8%のナレーションが監査に合格し、製造量がない。 その結果は、1つの微調整されたLCMで、コモディティラップトップでオフラインで予測し、説明するので、学生の記録はマシンを離れることはない。

関連論文リスト

• A Survey of On-Policy Distillation for Large Language Models [19.95776080082138]
  この調査は、大規模言語モデル(LLM)のオン・ポリシィ蒸留に関する最初の包括的概要を提供する。 オンラインのサンプルに対して$f$-divergenceフレームワークを導入し,emphfeedbackシグナル(ログベース,結果ベース,自己プレイ),emphteacherアクセス(ホワイトボックス,ブラックボックス,教師フリー),emphloss最小化(トケンレベル,シーケンスレベル,ハイブリッド)の3つの次元に沿ってランドスケープを整理する。
  論文  参考訳（メタデータ） (2026-04-01T08:32:34Z)
• Anatomy of Unlearning: The Dual Impact of Fact Salience and Model Fine-Tuning [59.19460954480119]
  忘れられた知識が事前学習や教師付き微調整に由来するかどうかを考察する。 実験の結果,事前学習モデルとSFTモデルは未学習に対して異なる反応を示した。
  論文  参考訳（メタデータ） (2026-02-23T08:58:48Z)
• Distillation Robustifies Unlearning [36.27570321651185]
  モデルのトレーニングは、基礎となる機能をそのまま残しながら、インプット・アウトプットの動作を大幅に変更できることを示す。 本研究では,未学習のモデルを自身のノイズコピーに蒸留するスケーラブルな手法であるUnlearn-Noise-Distill-on-Outputs (UNDO)を提案する。
  論文  参考訳（メタデータ） (2025-06-06T17:58:54Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Can Small Language Models Help Large Language Models Reason Better?: LM-Guided Chain-of-Thought [51.240387516059535]
  タスク推論において,ブラックボックスの大きな (>10B) LMを導くために,軽量 (すなわち 1B) 言語モデル (LM) を利用する新しいフレームワーク LM-Guided CoT を導入する。 1)知識蒸留と2)合理性指向とタスク指向の報酬信号からの強化学習を通してモデルを最適化する。
  論文  参考訳（メタデータ） (2024-04-04T12:46:37Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• Task-Aware Machine Unlearning and Its Application in Load Forecasting [4.00606516946677]
  本稿では、すでに訓練済みの予測器に対するデータセットの一部の影響を除去するために特別に設計された機械学習の概念を紹介する。 局所モデルパラメータ変化の感度を影響関数とサンプル再重み付けを用いて評価することにより,性能認識アルゴリズムを提案する。 リアルな負荷データセットを用いて,線形,CNN,Mixerベースの負荷予測器上で,未学習アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2023-08-28T08:50:12Z)
• An Interpretability Evaluation Benchmark for Pre-trained Language Models [37.16893581395874]
  英語と中国語の両方の注釈付きデータを提供する新しい評価ベンチマークを提案する。 複数の次元(文法、意味論、知識、推論、計算など)でLMの能力をテストする。 各元のインスタンスに対する摂動インスタンスを含み、摂動の下での有理整合を忠実性の計量として使う。
  論文  参考訳（メタデータ） (2022-07-28T08:28:09Z)
• Unrolling SGD: Understanding Factors Influencing Machine Unlearning [17.6607904333012]
  機械学習は、デプロイされた機械学習モデルがトレーニングデータポイントの1つを忘れるプロセスである。 まず、近似アンラーニングのアプローチとメトリクスを分類する。 検証誤差(L2差)、すなわち、ほとんど学習されていないモデルの重みと鼻再訓練されたモデルのL2差を同定する。
  論文  参考訳（メタデータ） (2021-09-27T23:46:59Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。