論文の概要: RSKD: Grounding Semantic Consistency in Driving VLMs via Distillation
- arxiv url: http://arxiv.org/abs/2610.34689v1
- Date: Mon, 26 Oct 2026 01:25:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.671354
- Title: RSKD: Grounding Semantic Consistency in Driving VLMs via Distillation
- Title（参考訳）: RSKD:蒸留によるVLM運転におけるセマンティック一貫性の確立
- Abstract要約: RSKDは,質問文の課題重要度と教師の予測とのセマンティックな整合性に基づいて,指導をルートする。
ドライビングVQA,LingoQA,MapLMv2におけるRSKDの評価を行った。
- 参考スコア（独自算出の注目度）: 20.44238140754935
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge distillation can transfer large multimodal models to compact models for autonomous driving, but uniform token-level matching can dilute planning-relevant semantics and amplify teacher errors. We propose RSKD, a semantic-consistency-guided distillation framework that routes supervision according to both the task importance of an answer phrase and its semantic consistency with the teacher prediction. Task-critical semantic phrases are localized in the ground-truth answer, and a phrase-level consistency score controls the balance between Jensen--Shannon divergence (JSD) distillation and ground-truth supervision. Teacher information is emphasized only where it is semantically consistent, while semantically inconsistent phrases receive stronger ground-truth supervision. We evaluate RSKD on DrivingVQA, LingoQA, and MapLMv2. RSKD improves over the compared student-based baselines on DrivingVQA and LingoQA and remains competitive on MapLMv2.
- Abstract（参考訳）: 知識蒸留は、大規模なマルチモーダルモデルを自律運転用のコンパクトモデルに転送することができるが、均一なトークンレベルのマッチングは計画関連セマンティクスを減らし、教師の誤りを増幅することができる。
本稿では,質問文の課題重要度と教師の予測とのセマンティックな整合性の両方に基づいて,教師を指導する意味一貫性誘導蒸留フレームワークRSKDを提案する。
タスククリティカルなセマンティックフレーズは, 接地真実の回答に局在し, ジェンセン=シャノン分散(JSD)蒸留と接地真実の監督のバランスを, フレーズレベルの一貫性スコアが制御する。
教師情報は意味的に一貫性のある場所でのみ強調されるが、意味的に一貫性のないフレーズはより強い根底からの監督を受ける。
ドライビングVQA,LingoQA,MapLMv2におけるRSKDの評価を行った。
RSKD は DrivingVQA と LingoQA の学生ベースのベースラインを改良し、MapLMv2 で競争力を維持している。
関連論文リスト
- MeSD: Multi-Evidence Self-Distillation for VideoLLM [30.427962354142966]
我々は,ビデオLLMのためのマルチエビデンス自己蒸留フレームワークであるMeSDを提案する。
MeSDは3つのエビデンス条件の教師を共通パラメータで構成する。
MeSDは軌道を成功、失敗、不決定と分類する。
論文 参考訳（メタデータ） (2026-10-05T13:46:27Z) - Learning from imperfect teachers for low-resource acoustic generalization [25.123107375853717]
BA-MPD(Bundary-Anchored Mass-Partitioned Distillation)は、Bundary-Anchored Correction (BAC) とMass-Partitioned Distillation (MPD) を組み合わせたロジット式蒸留法である。
BACは、教師の最上位の予測セットの欠落に対処するため、実際のラベルをセットの最低ランクのエントリーに置き換え、セットの質量と不確実性は変わらない。
その後MPDは、この補正された分布を、集合内の関係一貫性を強制する別々の損失を通じて蒸留し、高信頼群と低信頼群の間の質量のバランスをとる。
論文 参考訳（メタデータ） (2026-10-04T14:30:03Z) - TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
強力な教師モデルから小さな学生への蒸留はギャップカースに面している。
教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。
本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
論文 参考訳（メタデータ） (2026-09-27T10:13:54Z) - On-Policy Distillation for Vision-Language Model Adaptation, an Effective Paradigm on Low-Quality Multimodal Data [33.30564104173576]
視覚言語モデル適応のためのオンライン蒸留フレームワークOnPoKDを提案する。
OnPoKDは、サンプルワイド適応ターゲットを構築する軽量コントローラを学習する。
ベース・ツー・ノーベル一般化とクロス・データセット・トランスファー・ベンチマークの実験は、OnPoKDが強い視覚言語蒸留ベースラインよりも一貫して改善していることを示している。
論文 参考訳（メタデータ） (2026-09-09T15:26:28Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - Robust Trajectory Distillation: Hybrid Reweighting Meets Teacher-Inspired Targets [51.490743278360064]
本稿では,ノイズを共同で抑制し,伝達可能な知識を残さずに保持するトラジェクトリベースのDDフレームワークを提案する。
SGR(Selective Guidance Reweighting)とTIAT(Teacher-Inspireed Auxiliary Targets)の2つの補完的なコンポーネントで構成されている。
論文 参考訳（メタデータ） (2026-06-29T06:24:53Z) - HilDA: Hierarchical Distillation with Diffusion for Advancing Self-Supervised LiDAR Pre-training [6.5995040160990674]
HilDAは、LiDARのための自己教師付き事前トレーニングフレームワークである。
タスクの実行に必要な意味と幾何学的位置をキャプチャする。
HilDAで事前訓練されたモデルは、クロスモーダル蒸留ベンチマークで最先端の結果が得られる。
論文 参考訳（メタデータ） (2026-06-18T13:01:40Z) - OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。
OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
論文 参考訳（メタデータ） (2026-05-12T17:00:53Z) - GaitKD: A Universal Decoupled Distillation Framework for Efficient Gait Recognition [51.75783918486982]
歩行認識は、長距離および接触のない識別のための魅力的な生体計測モダリティである。
知識蒸留は、強力な教師から効率的な学生に知識を伝達する自然な方法を提供する。
本稿では,ゲート知識伝達を2つの相補成分に分解する蒸留フレームワークであるGaitKDを提案する。
論文 参考訳（メタデータ） (2026-04-29T03:24:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。