論文の概要: Information-Theoretic Reliability--Safety Bounds and Finite-Alignment Dynamics in AI Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2610.38651v1
- Date: Wed, 28 Oct 2026 11:04:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:09.99554
- Title: Information-Theoretic Reliability--Safety Bounds and Finite-Alignment Dynamics in AI Knowledge Distillation
- Title（参考訳）: 情報理論の信頼性--AI知識蒸留における安全境界と有限配向ダイナミクス
- Abstract要約: 私たちは、特定のモデル形式に依存しない普遍的なトレードオフの不平等を証明します。
信頼性と安全性の2つの正確な関係を導出する。
知識蒸留では,教師の反応は学生モデルのトレードオフパラメータの再正規化を引き起こす。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The reliability and safety of artificial intelligence (AI), together with their transfer and evolution through knowledge distillation, have attracted growing attention. We establish an information-theoretic bound on the reliability--safety trade-off and characterize the dynamics of this trade-off under knowledge distillation. We first prove a universal trade-off inequality that is independent of the specific model form. Its boundary is determined solely by a single parameter Kh, which quantifies the hidden layer's ability to distinguish benign from hazardous inputs. We then develop a canonical Boltzmann-machine model of AI response behavior and derive two exact relations between reliability and safety. The trade-off curve is determined by the hazard discrimination capacity K, while the overall answer tendency controls the operating point along the curve. These relations agree well with existing experimental data. In knowledge distillation, we find that teacher responses induce a renormalization of the student model's trade-off parameters. We further use a renormalization-group approach to study multigenerational distillation, deriving exact recursion relations and the associated renormalization-group-like flows for two representative direct intergenerational distillation protocols at arbitrary teacher--student alignment strength. These flows reveal fixed-point structures, long-term dynamics, and critical behavior, yielding testable predictions for the critical transition between capability loss and stable transmission.
- Abstract（参考訳）: 人工知能(AI)の信頼性と安全性は、知識蒸留による伝達と進化とともに、注目を集めている。
我々は、信頼性-安全トレードオフに関する情報理論境界を確立し、知識蒸留におけるこのトレードオフのダイナミクスを特徴づける。
まず、特定のモデル形式に依存しない普遍的なトレードオフ不平等を証明します。
その境界は単一のパラメータ Kh によってのみ決定され、これは隠れた層が有害な入力と良性を見分ける能力の定量化である。
次に、AI応答挙動の標準ボルツマンマシンモデルを開発し、信頼性と安全性の2つの正確な関係を導出する。
トレードオフ曲線はハザード識別能力Kにより決定され、全体的な回答傾向は曲線に沿って動作点を制御する。
これらの関係は、既存の実験データとよく一致している。
知識蒸留では,教師の反応は学生モデルのトレードオフパラメータの再正規化を引き起こす。
さらに,多世代蒸留研究のための再正規化群アプローチを用いて,任意の教師の配向強度で2つの代表的直交蒸留プロトコルに対して,正確な再帰関係と関連する再正規化群様の流れを導出する。
これらの流れは、固定点構造、長期力学、臨界挙動を明らかにし、能力損失と安定した伝達の間の臨界遷移の検証可能な予測を与える。
関連論文リスト
- Identifiability of a dissipative knowledge-dynamics model: exact recovery under designed excitation, degeneration on observational data [0.0]
熟達は実践を通じて蓄積し、忘れることを通じて崩壊し、相互に依存する概念をまたいで伝播する。
これらのパラメータが実際にデータから回収できるかどうかを調査する。
モデルの定常構造にその効果を辿り、理論が期待する退化と一致していることを示す。
論文 参考訳（メタデータ） (2026-10-07T11:50:29Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳（メタデータ） (2026-07-02T14:33:07Z) - Towards Trustworthy Depression Estimation via Disentangled Evidential Learning [50.22167852149165]
EviDepはうつ病の重症度を共同で定量化する明らかな学習フレームワークである。
EviDepは、堅牢な証拠合成を保証するために厳密な情報整合性を強制する。
最先端の予測精度と優れた不確実性校正を実現し、信頼できる臨床スクリーニングのための堅牢なフェールセーフメカニズムを提供する。
論文 参考訳（メタデータ） (2026-04-17T13:27:11Z) - How Is Uncertainty Propagated in Knowledge Distillation? [7.132728938560163]
3つの代表的なモデルクラスにわたる知識蒸留を通して不確実性がいかに伝播するかを示す。
複数の教師の回答を平均化する分散対応戦略と,教師と学生の見積を組み合わせた分散重み付けという2つの戦略を導入する。
これらの結果から,教師の不確実性を反映した分散型蒸留により,より安定した学生が生まれることが示唆された。
論文 参考訳（メタデータ） (2026-01-26T19:18:50Z) - Representation-Aware Unlearning via Activation Signatures: From Suppression to Knowledge-Signature Erasure [2.0017902634527194]
本稿では,真の消去と難読化を区別する表現対応アーキテクチャであるKnowledge Immunization Framework(KIF)を紹介する。
提案手法は,主観的表現の動的抑制とパラメータ効率の適応を組み合わせ,完全モデル再学習を伴わない耐久性のある未学習を実現する。
論文 参考訳（メタデータ） (2026-01-15T16:28:14Z) - Uncertainty-preserving deep knowledge tracing with state-space models [1.3791394805787949]
知識の追跡と従来の評価の中心的な目標は、ある時点における学生の知識とスキルを定量化することである。
本稿では,変分オートエンコーダのフレキシブルな不確実性保存特性とベイズ状態空間モデルの原理的情報統合を組み合わせたモデリングパラダイムであるDynamic LENSを紹介する。
論文 参考訳（メタデータ） (2024-07-09T13:40:28Z) - Understanding, Predicting and Better Resolving Q-Value Divergence in
Offline-RL [86.0987896274354]
まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。
そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。
われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
論文 参考訳（メタデータ） (2023-10-06T17:57:44Z) - Selective Knowledge Sharing for Privacy-Preserving Federated
Distillation without A Good Teacher [52.2926020848095]
フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。
本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
論文 参考訳（メタデータ） (2023-04-04T12:04:19Z) - Disentangling Observed Causal Effects from Latent Confounders using
Method of Moments [67.27068846108047]
我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。
我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
論文 参考訳（メタデータ） (2021-01-17T07:48:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。