論文の概要: Beyond Perplexity: A Lightweight Benchmark for Knowledge Retention in Supervised Fine-Tuning

• arxiv url: http://arxiv.org/abs/2601.03505v1
• Date: Wed, 07 Jan 2026 01:34:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.107793
• Title: Beyond Perplexity: A Lightweight Benchmark for Knowledge Retention in Supervised Fine-Tuning
• Title（参考訳）: Beyond Perplexity: 監督された微調整における知識保持のための軽量ベンチマーク
• Authors: Soheil Zibakhsh Shabgahi, Pedram Aghazadeh, Farinaz Koushanfar,
• Abstract要約: KR-Testは、事実学習と言語学を区別するために設計された、軽量でコーパスによる評価フレームワークである。 我々は、"盲対オラクル"のベースライン分析を通じて、フレームワークの完全性を検証する。 言語収束と知識保持の微粒な解離を明らかにすることで、KR-Testは微調整力学の解釈可能性を高める。
• 参考スコア（独自算出の注目度）: 11.44153219263221
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised Fine-Tuning (SFT) is a standard approach for injecting domain knowledge into Large Language Models (LLMs). However, relying on validation perplexity to monitor training is often insufficient, as it confounds stylistic mimicry with genuine factual internalization. To address this, we introduce the Knowledge Retention (KR) Test , a lightweight, corpus-grounded evaluation framework designed to distinguish factual learning from linguistics. KR-Test utilizes automatically generated contrastive examples to measure likelihood preferences for correct versus incorrect continuations, requiring no instruction tuning or generative decoding. We validate the framework's integrity through a "blind vs. oracle" baseline analysis. Furthermore, we demonstrate the diagnostic capabilities of KR-Test by analyzing the training dynamics of Low-Rank Adaptation (LoRA). By exposing the fine-grained dissociation between linguistic convergence and knowledge retention, KR-Test enhances the interpretability of fine-tuning dynamics.
• Abstract（参考訳）: Supervised Fine-Tuning (SFT) は、Large Language Models (LLM) にドメイン知識を注入するための標準的なアプローチである。 しかしながら、トレーニングの監視に検証の難易度に依存することは、実際の内在化とスタイル的模倣を相容れないことが多い。 そこで我々は,事実学習と言語学を区別する軽量なコーパスグラウンド評価フレームワークであるKRテストを紹介した。 KR-Testは、自動生成されたコントラストの例を利用して、命令チューニングや生成復号を必要とせず、正しい継続と間違った継続の確率の選好を計測する。 我々は、"盲対オラクル"のベースライン分析を通じて、フレームワークの完全性を検証する。 さらに,ローランド適応(LoRA)のトレーニング力学を解析することにより,KR-Testの診断能力を実証する。 言語収束と知識保持の微粒な解離を明らかにすることで、KR-Testは微調整力学の解釈可能性を高める。

関連論文リスト

• Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
  信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である 本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
  論文  参考訳（メタデータ） (2026-03-05T18:42:51Z)
• Optimizing In-Context Demonstrations for LLM-based Automated Grading [31.353360036776976]
  GUIDE(Grading Using Iteratively Designed Exemplars)は、経験的選択と改善を境界中心の最適化問題として再設計するフレームワークである。 物理, 化学, 教育的内容知識の実験において, GUIDE は標準的検索基準を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-28T04:52:38Z)
• When Does Context Help? Error Dynamics of Contextual Information in Large Language Models [64.88201012057822]
  大規模言語モデルにおける任意の文脈情報の影響を分析するための統合理論フレームワークを提案する。 本分析は,出力誤差ダイナミクスによる文脈的影響を特徴付ける。 ICL、検索拡張生成、メモリ進化に関する実験は、我々の理論を検証し、原則化された文脈選択戦略を動機づける。
  論文  参考訳（メタデータ） (2026-02-09T05:58:41Z)
• Fair Context Learning for Evidence-Balanced Test-Time Adaptation in Vision-Language Models [10.45965859391796]
  テスト時間適応(TTA)は、ラベルのないテストサンプルのみを使用して堅牢性を改善することを目的としている。 ほとんどのプロンプトベースのTTA法はエントロピーの最小化に依存している。 本研究では,共有エビデンスバイアスに明示的に対処することにより,エントロピーの最小化を回避するフェアコンテキスト学習(FCL)を提案する。
  論文  参考訳（メタデータ） (2026-02-02T16:02:50Z)
• Rethinking the Capability of Fine-Tuned Language Models for Automated Vulnerability Repair [5.847724760751716]
  微調整された言語モデルを利用する学習ベースの自動脆弱性修正(AVR)技術は、脆弱性パッチの生成を約束している。 私たちの経験的研究は、最先端のモデルはトレーニングセットに過度に適合し、相互に排他的でないトレーニング、検証、テストセットを用いて評価されることを明らかにします。 学習ベースに適したテストベースベンチマークであるL-AVRBenchを導入し、マッチングベースのメトリクスの限界を克服し、モデルの真の修復能力を検証した。
  論文  参考訳（メタデータ） (2025-12-27T16:12:43Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Reinfier and Reintrainer: Verification and Interpretation-Driven Safe Deep Reinforcement Learning Frameworks [36.730973051834376]
  本稿では,信頼性の高いDRLモデルを開発するために,検証駆動型ループ内解釈フレームワークReintrainerを提案する。 各イテレーションにおいて、このフレームワークは、トレーニング中のモデルと事前定義されたプロパティの間のギャップをフォーマルな検証を使って測定する。 Reinfierは、簡潔な制約エンコーディング言語DRLPに関連する、ブレークポイント検索と検証駆動型解釈を備えている。
  論文  参考訳（メタデータ） (2024-10-19T15:03:26Z)
• Understanding and Mitigating Miscalibration in Prompt Tuning for Vision-Language Models [22.501089777956654]
  信頼性のキャリブレーションは、現実世界における機械学習モデルの安全なデプロイに不可欠である。 既存のプロンプトチューニング手法は、通常、ベースクラスと新しいクラスのキャリブレーションのトレードオフにつながる。 微調整後, 基本クラスと新クラスの信頼性校正を確保するために, ダイナミック・アウトレイラ正規化を導入する。
  論文  参考訳（メタデータ） (2024-10-03T17:06:21Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Learning Domain Adaptive Object Detection with Probabilistic Teacher [93.76128726257946]
  確率的教師(PT)と呼ばれる,シンプルで効果的な枠組みを提案する。 PTは、段階的に進化する教師から未ラベルの目標データの不確実性を捉え、相互に有利な方法で生徒の学習を指導することを目的としている。 また,不確実性誘導型自己学習を促進するために,新しいエントロピー・フォカル・ロス(EFL)を提案する。
  論文  参考訳（メタデータ） (2022-06-13T16:24:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。