論文の概要: Hybrid Distillation with CoT Guidance for Edge-Drone Control Code Generation

• arxiv url: http://arxiv.org/abs/2601.08412v1
• Date: Tue, 13 Jan 2026 10:31:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.151887
• Title: Hybrid Distillation with CoT Guidance for Edge-Drone Control Code Generation
• Title（参考訳）: エッジ線制御符号生成のためのCoT誘導によるハイブリッド蒸留
• Authors: Yizhan Feng, Hichem Snoussi, Yuhang Wang, Jing Teng, Abel Cherouat, Tian Wang,
• Abstract要約: 本稿では,UAVマルチSDK制御タスクにおける知識蒸留,チェーン・オブ・ソート・ガイダンス,教師付き微調整を組み合わせた統合的アプローチを提案する。 実験結果から, 蒸留した軽量モデルは, 高いコード生成精度を維持しつつ, 展開効率と推論効率を著しく向上することがわかった。
• 参考スコア（独自算出の注目度）: 18.74352644644387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With large language models demonstrating significant potential in code generation tasks, their application to onboard control of resource-constrained Unmanned Aerial Vehicles has emerged as an important research direction. However, a notable contradiction exists between the high resource consumption of large models and the real-time, lightweight requirements of UAV platforms. This paper proposes an integrated approach that combines knowledge distillation, chain-of-thought guidance, and supervised fine-tuning for UAV multi-SDK control tasks, aiming to efficiently transfer complex reasoning and code generation capabilities to smaller models. Firstly, a high-quality dataset covering various mainstream UAV SDKs is constructed, featuring instruction-code-reasoning chains, and incorporates counterfactual negative samples for data augmentation, guiding the model to learn the end-to-end logic from instruction parsing to code generation. Secondly, leveraging DeepSeek-Coder-V2-Lite quantized via QLoRA as the teacher model, and based on a hybrid black-box and white-box distillation strategy, high-quality chain-of-thought soft labels are generated. These are combined with a weighted cross-entropy loss using hard labels to transfer complex reasoning capabilities to the smaller student model. Finally, through prompt tuning engineering optimized for the UAV control scenario, the model performance on core tasks such as SDK type recognition and function call matching is enhanced. Experimental results indicate that the distilled lightweight model maintains high code generation accuracy while achieving significant improvements in deployment and inference efficiency, effectively demonstrating the feasibility and superiority of our approach in achieving precise and lightweight intelligent control for UAVs
• Abstract（参考訳）: コード生成タスクにおいて重要な可能性を示す大きな言語モデルにより、リソース制約のない無人航空機のオンボード制御への応用が重要な研究方向として現れている。 しかし、大きなモデルの高資源消費と、UAVプラットフォームのリアルタイムで軽量な要求との間には、顕著な矛盾がある。 本稿では,UAVマルチSDK制御タスクの知識蒸留,チェーン・オブ・シークレット・ガイダンス,教師付き微調整を組み合わせ,複雑な推論とコード生成機能をより小さなモデルに効率的に転送することを目的とした統合的アプローチを提案する。 まず、さまざまな主流UAV SDKをカバーする高品質なデータセットを構築し、命令コード推論チェーンを特徴とし、データ拡張のための反ファクトな負のサンプルを組み込んで、命令解析からコード生成までのエンドツーエンドロジックの学習を指導する。 次に, 教師モデルとしてQLoRAを用いて定量化したDeepSeek-Coder-V2-Liteを用い, ハイブリットブラックボックスとホワイトボックスの蒸留戦略に基づいて, 高品質なソフトラベルを生成する。 これらは、ハードラベルを用いた重み付きクロスエントロピー損失と組み合わせて、より小さな学生モデルに複雑な推論能力を伝達する。 最後に、UAV制御シナリオに最適化されたプロンプトチューニングエンジニアリングにより、SDKの型認識や関数呼び出しマッチングといったコアタスクにおけるモデルパフォーマンスが向上する。 実験結果から, 蒸留軽量モデルは, 展開および推論効率の大幅な向上を図りながら, 高いコード生成精度を維持しつつ, 高精度で軽量なUAV制御を実現するためのアプローチの実現可能性, 優位性を効果的に証明できることが示唆された。

関連論文リスト

• State-of-the-art Small Language Coder Model: Mify-Coder [4.57001984042699]
  Mify-Coderは同等の精度と安全性を達成しつつ、標準的なコーディングと関数呼び出しベンチマークのベースラインモデルを大幅に上回っている。 私たちのトレーニングパイプラインは、高品質なキュレートされたソースと、エージェント設計のプロンプトによって生成された合成データを組み合わせています。 量子化されたMify-Coderは、特別なハードウェアを必要としない標準的なデスクトップ環境へのデプロイを可能にする。
  論文  参考訳（メタデータ） (2025-12-26T18:16:02Z)
• ScaleWeaver: Weaving Efficient Controllable T2I Generation with Multi-Scale Reference Attention [86.93601565563954]
  ScaleWeaverは、高度な視覚的自己回帰(VAR)モデルに基づいて、高忠実で制御可能な生成を実現するために設計されたフレームワークである。 提案された参照注意モジュールは image$rightarrow$condition から不要な注意を排除し、計算コストを削減している。 実験によると、ScaleWeaverは、拡散ベースの方法よりも優れた効率を実現しつつ、高品質な生成と正確な制御を提供する。
  論文  参考訳（メタデータ） (2025-10-16T17:00:59Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• KAT-V1: Kwai-AutoThink Technical Report [50.84483585850113]
  Kwaipilot-AutoThink (KAT) はオープンソースの40B大言語モデルであり、推論集約タスクにおける過大な問題に対処するために開発された。 KATはタスクの複雑さに基づいて推論モードと非推論モードを動的に切り替える。 また、GRPOフレームワークに中間管理を組み込んだ強化学習アルゴリズムであるStep-SRPOを提案する。
  論文  参考訳（メタデータ） (2025-07-11T04:07:10Z)
• Active Data Curation Effectively Distills Large-Scale Multimodal Models [66.23057263509027]
  知識蒸留(KD)は、大規模モデルをより小さなものに圧縮するデファクトスタンダードである。 本研究では, 対照的なマルチモーダル事前学習のための効果的な蒸留法として, 能動的データキュレーションの代替として, 簡単なアプローチを探求する。 我々の単純なオンラインバッチ選択方法であるACIDは、さまざまなモデル、データ、計算構成において、強力なKDベースラインよりも優れています。
  論文  参考訳（メタデータ） (2024-11-27T18:50:15Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Guided Hybrid Quantization for Object detection in Multimodal Remote Sensing Imagery via One-to-one Self-teaching [35.316067181895264]
  本稿では,1対1の自己学習(GHOST)フレームワークを用いたハイブリッド量子化手法を提案する。 まず, 導電性量子化自己蒸留(GQSD)と呼ばれる構造を設計する。 第3に、情報変換を改善するために、学生ネットワークに自己判断能力を与える1対1の自己学習モジュールを提案する。
  論文  参考訳（メタデータ） (2022-12-31T06:14:59Z)
• Robust Training of Vector Quantized Bottleneck Models [21.540133031071438]
  ベクトル量子変分自動エンコーダモデル(VQ-VAEs)を用いた離散表現の信頼性と効率的な訓練法を示す。 教師なし表現学習では、変分オートエンコーダ(VAE)のような連続潜伏変数モデルの代替となる。
  論文  参考訳（メタデータ） (2020-05-18T08:23:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。