論文の概要: A Unified Approach to Interpreting Knowledge Distillation for Large Language Models via Interactions
- arxiv url: http://arxiv.org/abs/2607.08776v1
- Date: Tue, 05 May 2026 07:24:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:12.988306
- Title: A Unified Approach to Interpreting Knowledge Distillation for Large Language Models via Interactions
- Title（参考訳）: 対話による大規模言語モデルの知識蒸留の統一的解釈法
- Abstract要約: そこで本研究では,様々なKD手法の共通メカニズムをインタラクションを用いて探索する統一手法を提案する。
様々なKD法の基礎となる共通メカニズムが相互作用のスパース化であることがわかった。
これらの知見に触発されて,複雑な相互作用の空間性を明確に強制するために,CIP(Complex Interaction Penalty)と呼ばれるプラグアンドプレイ損失関数を提案する。
- 参考スコア（独自算出の注目度）: 6.929805474293474
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the success of knowledge distillation (KD) in Large Language Models (LLMs), the underlying mechanism behind its efficacy remains unclear. In this paper, we propose a unified approach to explore the common mechanism of various KD methods using interactions. Specifically, we decompose the output score of the LLM into the sum of numerous interactions. Each interaction represents a nonlinear relationship involving a set of input variables (e.g., words). Based on the decomposed interactions, we discover that the common mechanism underlying various KD methods is the sparsification of interactions, i.e., student models retain fewer interactions for inference while suppressing other interactions to zero effects. Furthermore, we discover that the performance variance across different KD methods arises from their capabilities in handling complex interactions. A KD method typically yields better performance if it enables the student model to achieve higher sparsity of complex interactions. Motivated by these insights, we propose a plug-and-play loss function called Complex Interaction Penalty (CIP) to explicitly enforce the sparsity of complex interactions during the distillation process. Extensive experiments demonstrate that integrating CIP consistently improves the performance of diverse KD methods on both in-domain and out-of-distribution benchmarks.
- Abstract（参考訳）: LLM(Large Language Models)における知識蒸留(KD)の成功にもかかわらず、その有効性の背後にあるメカニズムは明らかになっていない。
本稿では,インタラクションを用いた様々なKD手法の共通メカニズムを探るための統一的な手法を提案する。
具体的には、LSMの出力スコアを多数の相互作用の和に分解する。
各相互作用は、入力変数(例えば、単語)の集合を含む非線形関係を表す。
分解された相互作用に基づいて、様々なKD法の基礎となる共通メカニズムが相互作用のスパーシフィケーションであることがわかった。
さらに、複雑な相互作用を扱う能力から、異なるKDメソッド間での性能のばらつきが生じることが判明した。
KD法は、学生モデルが複雑な相互作用の空間性を高めることができれば、より優れた性能が得られるのが一般的である。
これらの知見により, 蒸留プロセスにおける複雑な相互作用の疎結合を明示するために, CIP (Complex Interaction Penalty) と呼ばれるプラグアンドプレイ損失関数を提案する。
CIPの統合は、ドメイン内およびアウト・オブ・ディストリビューションベンチマークの両方において、多様なKDメソッドの性能を一貫して改善することを示した。
関連論文リスト
- SAILS: Surrogate-based Analysis of Interactions via Local Effect Smooths [12.435976341898135]
局所効果Smooths (SAILS) による相互作用の代理ベース分析(Surrogate-based Interactions)は、相互の相互作用を分析するモデルに依存しないフレームワークである。
興味のある特徴の間隔ごとに、代理項は微分レベルで相互作用成分を分離する。
我々は,制御されたシミュレーションと実世界のタスクを通じて,このフレームワークを実証的に検証し,ペアインタラクションの有効性を実証した。
論文 参考訳（メタデータ） (2026-06-08T12:22:02Z) - Dynamic Programming Techniques for Enhancing Cognitive Representation in Knowledge Tracing [125.75923987618977]
認知表現動的プログラミングに基づく知識追跡(CRDP-KT)モデルを提案する。
質問の難易度とそれらの間の性能間隔に基づいて認知表現を最適化する動的プログラミングアルゴリズムである。
これは、その後のモデルトレーニングのためにより正確で体系的な入力機能を提供し、それによって認知状態のシミュレーションにおける歪みを最小限にする。
論文 参考訳（メタデータ） (2025-06-03T14:44:48Z) - iLOCO: Distribution-Free Inference for Feature Interactions [4.56754610152086]
我々は、ペアワイズな特徴相互作用の重要性を測定するための新しいモデルに依存しないメトリクスを開発した。
また,iLOCO距離と信頼区間を計算するためのアンサンブル学習手法を提案する。
我々は,iLOCO測定値と信頼区間を,合成データと実データの両方で検証する。
論文 参考訳（メタデータ） (2025-02-10T16:49:46Z) - Composable Interventions for Language Models [60.32695044723103]
言語モデルのテストタイム介入は、事実の正確性を高め、有害な出力を軽減し、コストのかかる再トレーニングなしにモデルの効率を向上させる。
しかし、新しい手法の洪水にもかかわらず、様々な種類の介入が独立して発展している。
複数の介入が同じ言語モデルに与える影響を研究するためのフレームワークである構成可能な介入を導入する。
論文 参考訳（メタデータ） (2024-07-09T01:17:44Z) - AntEval: Evaluation of Social Interaction Competencies in LLM-Driven
Agents [65.16893197330589]
大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。
しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。
本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
論文 参考訳（メタデータ） (2024-01-12T11:18:00Z) - MMoE: Enhancing Multimodal Models with Mixtures of Multimodal Interaction Experts [92.76662894585809]
MMOE(Multimodal Mixtures of Experts)と呼ばれるマルチモーダルモデルの拡張手法を導入する。
MMoEは様々な種類のモデルに適用でき、改善できる。
論文 参考訳（メタデータ） (2023-11-16T05:31:21Z) - Re-mine, Learn and Reason: Exploring the Cross-modal Semantic
Correlations for Language-guided HOI detection [57.13665112065285]
ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。
本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-25T14:20:52Z) - Learning Interaction Variables and Kernels from Observations of
Agent-Based Systems [14.240266845551488]
本稿では,エージェントの軌道に沿った状態や速度の観測を前提として,相互作用カーネルが依存する変数と相互作用カーネル自体を両立させる学習手法を提案する。
これにより、高次元観測データから次元性の呪いを避ける効果的な次元削減が得られる。
我々は,本手法の学習能力を,様々な一階対話システムに示す。
論文 参考訳（メタデータ） (2022-08-04T16:31:01Z) - Coarse-to-Fine Knowledge-Enhanced Multi-Interest Learning Framework for
Multi-Behavior Recommendation [52.89816309759537]
マルチタイプの行動(例えば、クリック、カートの追加、購入など)は、ほとんどの現実世界のレコメンデーションシナリオに広く存在する。
最先端のマルチ振る舞いモデルは、すべての歴史的相互作用を入力として区別しない振る舞い依存を学習する。
本稿では,多様な行動に対する共有的・行動特異的な関心を学習するための,多目的学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-08-03T05:28:14Z) - Interaction Pattern Disentangling for Multi-Agent Reinforcement Learning [39.4394389642761]
本稿では,対話型対話を対話型プロトタイプに切り離すための新しい対話型On Pattern DisenTangling (OPT) 手法を提案する。
OPTは無関係な実体間のノイズの相互作用をフィルタリングしやすくし、一般化可能性や解釈可能性を大幅に向上させる。
単一タスク,マルチタスク,ゼロショットのベンチマーク実験により,提案手法が最先端のベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-07-08T13:42:54Z) - REPID: Regional Effect Plots with implicit Interaction Detection [0.9023847175654603]
解釈可能な機械学習手法は、限界特徴効果を可視化するが、特徴相互作用が存在する場合の誤解を招く可能性がある。
興味のある特徴と他の特徴との相互作用を検出する新しいフレームワークである暗黙の相互作用検出を導入する。
このフレームワークはまた、相互作用の強さを定量化し、特徴効果をより確実に解釈できる解釈可能な異なる領域を提供する。
論文 参考訳（メタデータ） (2022-02-15T08:54:00Z) - Multi-Agent Imitation Learning with Copulas [102.27052968901894]
マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。
本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。
提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
論文 参考訳（メタデータ） (2021-07-10T03:49:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。