論文の概要: Beyond Perplexity: A Lightweight Benchmark for Knowledge Retention in Supervised Fine-Tuning

• arxiv url: http://arxiv.org/abs/2601.03505v1
• Date: Wed, 07 Jan 2026 01:34:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.107793
• Title: Beyond Perplexity: A Lightweight Benchmark for Knowledge Retention in Supervised Fine-Tuning
• Title（参考訳）: Beyond Perplexity: 監督された微調整における知識保持のための軽量ベンチマーク
• Authors: Soheil Zibakhsh Shabgahi, Pedram Aghazadeh, Farinaz Koushanfar,
• Abstract要約: KR-Testは、事実学習と言語学を区別するために設計された、軽量でコーパスによる評価フレームワークである。 我々は、"盲対オラクル"のベースライン分析を通じて、フレームワークの完全性を検証する。 言語収束と知識保持の微粒な解離を明らかにすることで、KR-Testは微調整力学の解釈可能性を高める。
• 参考スコア（独自算出の注目度）: 11.44153219263221
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised Fine-Tuning (SFT) is a standard approach for injecting domain knowledge into Large Language Models (LLMs). However, relying on validation perplexity to monitor training is often insufficient, as it confounds stylistic mimicry with genuine factual internalization. To address this, we introduce the Knowledge Retention (KR) Test , a lightweight, corpus-grounded evaluation framework designed to distinguish factual learning from linguistics. KR-Test utilizes automatically generated contrastive examples to measure likelihood preferences for correct versus incorrect continuations, requiring no instruction tuning or generative decoding. We validate the framework's integrity through a "blind vs. oracle" baseline analysis. Furthermore, we demonstrate the diagnostic capabilities of KR-Test by analyzing the training dynamics of Low-Rank Adaptation (LoRA). By exposing the fine-grained dissociation between linguistic convergence and knowledge retention, KR-Test enhances the interpretability of fine-tuning dynamics.
• Abstract（参考訳）: Supervised Fine-Tuning (SFT) は、Large Language Models (LLM) にドメイン知識を注入するための標準的なアプローチである。 しかしながら、トレーニングの監視に検証の難易度に依存することは、実際の内在化とスタイル的模倣を相容れないことが多い。 そこで我々は,事実学習と言語学を区別する軽量なコーパスグラウンド評価フレームワークであるKRテストを紹介した。 KR-Testは、自動生成されたコントラストの例を利用して、命令チューニングや生成復号を必要とせず、正しい継続と間違った継続の確率の選好を計測する。 我々は、"盲対オラクル"のベースライン分析を通じて、フレームワークの完全性を検証する。 さらに,ローランド適応(LoRA)のトレーニング力学を解析することにより,KR-Testの診断能力を実証する。 言語収束と知識保持の微粒な解離を明らかにすることで、KR-Testは微調整力学の解釈可能性を高める。

関連論文リスト

• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Reinfier and Reintrainer: Verification and Interpretation-Driven Safe Deep Reinforcement Learning Frameworks [36.730973051834376]
  本稿では,信頼性の高いDRLモデルを開発するために,検証駆動型ループ内解釈フレームワークReintrainerを提案する。 各イテレーションにおいて、このフレームワークは、トレーニング中のモデルと事前定義されたプロパティの間のギャップをフォーマルな検証を使って測定する。 Reinfierは、簡潔な制約エンコーディング言語DRLPに関連する、ブレークポイント検索と検証駆動型解釈を備えている。
  論文  参考訳（メタデータ） (2024-10-19T15:03:26Z)
• Understanding and Mitigating Miscalibration in Prompt Tuning for Vision-Language Models [22.501089777956654]
  信頼性のキャリブレーションは、現実世界における機械学習モデルの安全なデプロイに不可欠である。 既存のプロンプトチューニング手法は、通常、ベースクラスと新しいクラスのキャリブレーションのトレードオフにつながる。 微調整後, 基本クラスと新クラスの信頼性校正を確保するために, ダイナミック・アウトレイラ正規化を導入する。
  論文  参考訳（メタデータ） (2024-10-03T17:06:21Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Learning Domain Adaptive Object Detection with Probabilistic Teacher [93.76128726257946]
  確率的教師(PT)と呼ばれる,シンプルで効果的な枠組みを提案する。 PTは、段階的に進化する教師から未ラベルの目標データの不確実性を捉え、相互に有利な方法で生徒の学習を指導することを目的としている。 また,不確実性誘導型自己学習を促進するために,新しいエントロピー・フォカル・ロス(EFL)を提案する。
  論文  参考訳（メタデータ） (2022-06-13T16:24:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。