論文の概要: Robust Failure, Conservative Repair: Textual Knowledge Distillation from Cross-Model Failures

• arxiv url: http://arxiv.org/abs/2609.25400v1
• Date: Mon, 21 Sep 2026 20:41:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.115456
• Title: Robust Failure, Conservative Repair: Textual Knowledge Distillation from Cross-Model Failures
• Title（参考訳）: ロバストな失敗, 保守的修復: クロスモデル障害によるテクスチュアルな知識蒸留
• Abstract要約: 失敗に基づくテキスト知識蒸留は、そのタスクエラーを調べることによって、モデルの知識のギャップを発見することを目的としている。 我々は、ルール原子を、推論時にモデルのテキスト入力に注入されるスタンドアロンのルールと定義する。 ルールアトムは、転送可能なタスク知識や、他のモデルを混乱させる可能性のあるモデル固有の推論パッチをエンコードすることができる。
• 参考スコア（独自算出の注目度）: 19.40674480383609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Failure-based textual knowledge distillation aims to discover gaps in a model's knowledge by examining its task errors. The distilled knowledge can be useful for the reasoning of both this model ("source model") and other models. However, this transfer of knowledge may not be stable. We define a rule atom to be a standalone rule injected into a model's textual input at inference time. A rule atom can encode transferable task knowledge or model-specific reasoning patches that can confuse other models. Also, the injected rule atoms can be misapplied to unrelated cases, causing the model to incorrectly flip its answer based on irrelevant information. Building on a pipeline that distills training examples into task-specific cheat sheets that aid model reasoning, we examine when failure-derived rules can improve these cheat sheets. Our early experiment shows rule distillation from a single model's failures underperforms the baseline cheat sheet on non-source model families. This motivates Robust Failure, Conservative Repair (RFCR), a textual distillation procedure that derives rules from failures shared across models, sharpens their application boundaries using boundary cases, and abstains when no useful rule is found. On a 400-item BIG-Bench Hard task set, RFCR improves the baseline cheat sheets from 68.50% to 71.25% (+2.75 pp; 95% CI [+1.25,+4.50]) without performance degradation on previously correct cases. Ablations and cross-model diagnostics support that accuracy gains come from both new knowledge injection and strict rule-application control.
• Abstract（参考訳）: 失敗に基づくテキスト知識蒸留は、そのタスクエラーを調べることによって、モデルの知識のギャップを発見することを目的としている。 蒸留された知識は、このモデル(ソースモデル)と他のモデルの両方の推論に有用である。 しかし、この知識の移動は安定ではないかもしれない。 我々は、ルール原子を、推論時にモデルのテキスト入力に注入されるスタンドアロンのルールと定義する。 ルールアトムは、転送可能なタスク知識や、他のモデルを混乱させる可能性のあるモデル固有の推論パッチをエンコードすることができる。 また、注入された規則原子は無関係なケースに誤適用され、無関係な情報に基づいてその解答を誤って反転させる。 トレーニングサンプルをモデル推論を支援するタスク固有なチートシートに蒸留するパイプライン上に構築し、障害由来のルールがこれらのチートシートを改善するかどうかを検討する。 我々の初期の実験では、単一モデルの故障による規則の蒸留は、非ソースモデルファミリ上のベースラインの不正シートを過小評価している。 これは、モデル間で共有される障害からルールを導出し、バウンダリケースを使用してアプリケーション境界をシャープにし、有用なルールが見つからないようにする、テキスト蒸留プロセスであるロバスト障害、保守修復(RFCR)を動機付けている。 400itemのBIG-Bench Hardタスクセットでは、RFCRは、それまでの正しいケースで性能劣化を伴わずに、ベースラインのチートシートを68.50%から71.25%(+2.75 pp; 95% CI [+1.25,+4.50])に改善した。 アブレーションとクロスモデル診断は、新しい知識注入と厳格なルール適用制御の両方によって精度が向上することを支持する。

関連論文リスト

• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• Probing for Knowledge Attribution in Large Language Models [45.47366023067617]
  大規模言語モデル(LLM)は、しばしば流動的だが根拠のないクレームや幻覚を生成する。 適切な緩和は、モデルの答えがプロンプトまたは内部の重みに基づいているかどうかを知ることに依存する。 モデル隠れ表現に基づいて訓練された単純な線形分類器であるプローブは、帰納的帰属を確実に予測できることを示す。
  論文  参考訳（メタデータ） (2026-02-26T09:21:12Z)
• Is Gradient Ascent Really Necessary? Memorize to Forget for Machine Unlearning [71.96329385684395]
  勾配上昇(GA)に代わるモデル外挿法を提案する。 言い換えると、記憶モデルから参照モデルへの外挿によって、忘れモデルが得られる。 モデル外挿法の実装はシンプルで効率的であり、トレーニング全体を通して効果的に収束し、未学習のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2026-02-06T07:11:27Z)
• Extracting alignment data in open models [50.81383232591576]
  訓練後モデルから大量のアライメントトレーニングデータを抽出できることが示唆された。 このデータは、長期コンテキスト推論、安全性、命令追従、数学などの特定の機能を改善するためにモデルを操縦するのに有用である。 SFT や RL のような後トレーニングフェーズで使用されたトレーニングデータを,モデルが容易に再学習できることが判明した。
  論文  参考訳（メタデータ） (2025-10-21T12:06:00Z)
• The Geometry of Self-Verification in a Task-Specific Reasoning Model [45.669264589017665]
  我々はCountDownタスクでDeepSeek R1のレシピを使ってモデルをトレーニングする。 モデルがどのように出力を検証するかをリバースエンジニアリングするために、トップダウンおよびボトムアップの分析を行います。
  論文  参考訳（メタデータ） (2025-04-19T18:40:51Z)
• Confidence Preservation Property in Knowledge Distillation Abstractions [2.9370710299422598]
  ソーシャルメディアプラットフォームは、投稿やコメントの有害な内容を検出することによって悪意ある活動を防ぐ。 感情分析とコンテンツ理解のために、大規模なディープニューラルネットワークモデルを採用している。 BERTのようないくつかのモデルは複雑で、多くのパラメータを持ち、運用やメンテナンスに費用がかかる。 産業専門家は知識蒸留圧縮技術を用いて、蒸留されたモデルを訓練し、元のモデルの分類挙動を再現する。
  論文  参考訳（メタデータ） (2024-01-21T01:37:25Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Do Machine Learning Models Learn Statistical Rules Inferred from Data? [20.091740908154843]
  機械学習モデルは、大量のデータに容易に隠される重要なエラーを発生させることができる。 本稿では,論理に基づく手法を統計的推論と統合するフレームワークを提案する。 テスト時にモデルを適用する方法を示し、ルール違反を減らし、より一貫性のある予測を生成する。
  論文  参考訳（メタデータ） (2023-03-02T17:47:02Z)
• A Principled Approach to Failure Analysis and Model Repairment: Demonstration in Medical Imaging [12.732665048388041]
  マシンラーニングモデルは通常、デプロイ後の予期せぬ失敗を示す。 私たちは2つの重要な質問に答えることで、このプロセスの標準化と原則の導入を目指しています。 そこで本研究では,タイプ内および型間一般化の測定により,特定された障害タイプの品質を検証できることを示唆する。 我々は,以前に正しいデータの性能を維持しつつ,失敗タイプに対して高い精度を達成できた場合,モデルを修復すると考えることができると論じる。
  論文  参考訳（メタデータ） (2021-09-25T12:04:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。