論文の概要: TALAS: Teacher-Anchored Layer Alignment with Adaptive Sharpness-Aware Minimization for Embedding Distillation

• arxiv url: http://arxiv.org/abs/2606.21851v1
• Date: Sat, 20 Jun 2026 03:17:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 02:40:16.947866
• Title: TALAS: Teacher-Anchored Layer Alignment with Adaptive Sharpness-Aware Minimization for Embedding Distillation
• Title（参考訳）: TALAS: 適応シャープ性を考慮した教師支援層アライメント : 埋め込み蒸留の最小化
• Authors: Quoc Phong Dao, Hoang Son Nguyen, Pham Khanh Chi, Linh Ngo Van, Nguyen Thi Ngoc Diep, Thien Huu Nguyen, Trung Le,
• Abstract要約: TALASは階層的(複数層)アライメントと堅牢な最適化を相乗化する統合フレームワークである。 まず,学習者の上層層にのみ最終文の埋め込みを蒸留する教師支援機構を導入する。 第2に、レイヤ指向の自己蒸留を通じて下位層のセマンティックギャップをブリッジし、知識をトップダウンで伝達する。 第3に、適応シャープネス認識最小化(ASAM)をトレーニング目標に統合し、モデルをフラットミニマへ誘導して一般化を強化する。
• 参考スコア（独自算出の注目度）: 36.1350835884832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Distillation (KD) has established itself as a pivotal technique for compressing large pre-trained language models. However, existing methods that force a student to strictly mimic the teacher's sentence embeddings or internal features often incur prohibitive computational costs and yield suboptimal performance due to the inherent capacity gap. To address these challenges, we propose TALAS (Teacher-Anchored Layer Alignment with Sharpness-aware minimization), a unified framework that synergizes hierarchical (multi-layer) alignment with robust optimization. First, we introduce a Teacher-Anchored mechanism that selectively distills final sentence embeddings only into the student's upper layers, thereby reducing overhead while respecting capacity constraints. Second, we bridge the semantic gap in lower layers via Layer-Aligned Self-Distillation, which propagates knowledge top-down using internal geometric relational constraints in the embedding space. Finally, to prevent the student from memorizing point-wise teacher noise, we integrate Adaptive Sharpness-Aware Minimization (ASAM) into the training objective, guiding the model towards flat minima for enhanced generalization. Empirical results on standard sentence embedding benchmarks demonstrate that TALAS consistently outperforms strong distillation baselines while achieving superior training efficiency in terms of computational cost and memory footprint.
• Abstract（参考訳）: 知識蒸留(KD)は、大規模な事前学習言語モデルを圧縮するための重要な技術として確立されている。 しかし、教師の文章の埋め込みや内的特徴を厳密に模倣することを強制する既存の手法は、しばしば禁忌な計算コストを発生させ、固有の容量ギャップのために最適以下の性能を得る。 これらの課題に対処するために,階層的(複数層)アライメントとロバストな最適化を相乗化する統合フレームワークであるTALAS(Teacher-Anchored Layer Alignment with Sharpness-aware Minimization)を提案する。 まず, 学習者の上層層にのみ最終文の埋め込みを選択的に蒸留し, 容量制約を尊重しながらオーバヘッドを低減できる教師-教師機構を提案する。 第2に、埋め込み空間における内部幾何学的関係制約を用いて知識トップダウンを伝播するレイヤアラインド自己蒸留により、下位層のセマンティックギャップを橋渡しする。 最後に,学生がポイントワイド教師の騒音を記憶しないように,適応型シャープネス認識最小化(ASAM)を学習目標に統合し,モデルをフラットミニマへ誘導し,一般化を促進させる。 標準文埋め込みベンチマークにおける実験結果から,TALASは高い蒸留ベースラインを一貫して上回りながら,計算コストやメモリフットプリントの面で優れた訓練効率を実現していることが示された。

関連論文リスト

• Progressive Weight Loading: Accelerating Initial Inference and Gradually Boosting Performance on Resource-Constrained Environments [8.020686883632594]
  プログレッシブウェイトローディング(Progressive Weight Loading, PWL)は、最初は軽量の学生モデルをデプロイし、次にその層を事前訓練された教師モデルに置き換えることで、高速な初期推論を可能にする技術である。 VGG, ResNet, ViT アーキテクチャに関する実験により,PWL で訓練されたモデルは,教師層がロードされるにつれて,競争蒸留性能を維持し,徐々に精度を向上することを示した。
  論文  参考訳（メタデータ） (2025-09-26T13:19:32Z)
• Flexible Feature Distillation for Large Language Models [4.277471273303775]
  大規模言語モデル(LLM)のためのタスク駆動型特徴蒸留のためのパラメータフリーフレームワークを提案する。 教師の表現全体を投影する代わりに、Flex-KDは、教師の隠れた状態の最もタスク関連のある次元を特定するために勾配ベースのスコアを使用する。 実験の結果、Flex-KDは一貫して生徒のパフォーマンスを向上し、線形射影ベースラインよりも最大3.75パーセントのパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2025-07-14T11:10:02Z)
• Structured Agent Distillation for Large Language Model [56.38279355868093]
  本研究では,LLMをベースとした大規模エージェントを小さな学生モデルに圧縮するフレームワークであるStructured Agent Distillationを提案する。 提案手法は, [REASON] と [ACT] にトラジェクトリを分割し, 各コンポーネントを教師の行動に合わせるためにセグメント特異的な損失を適用した。 ALFWorld、HotPotQA-ReAct、WebShopの実験は、我々のアプローチがトークンレベルと模倣学習のベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-20T02:01:55Z)
• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• RAIL-KD: RAndom Intermediate Layer Mapping for Knowledge Distillation [24.951887361152988]
  本稿では,教師モデルから中間層をランダムに選択し,学生モデルの中間層に蒸留するRAIL-KD手法を提案する。 我々は,RAIL-KD手法が他の最先端中間層KD法よりも性能と訓練時間の両方で優れていることを示す。
  論文  参考訳（メタデータ） (2021-09-21T13:21:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。