Fugu-MT 論文翻訳(概要): CKT-WAM: Parameter-Efficient Context Knowledge Transfer Between World Action Models

論文の概要: CKT-WAM: Parameter-Efficient Context Knowledge Transfer Between World Action Models

arxiv url: http://arxiv.org/abs/2605.06247v1
Date: Thu, 07 May 2026 13:26:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-08 22:27:11.845733
Title: CKT-WAM: Parameter-Efficient Context Knowledge Transfer Between World Action Models
Title（参考訳）: CKT-WAM:世界行動モデル間のパラメータ効率の良い文脈知識伝達
Abstract要約: 世界行動モデル(WAM)は、身体制御のための強力な生成フレームワークを提供する。教師のWAMの知識を学生のWAMに伝達するフレームワークである textbfCKT-WAM を提案する。 CKT-WAMはゼロショットの一般化を一貫して改善し、LIBERO-Plusの全体的な性能を最高のものにしている。
参考スコア（独自算出の注目度）: 45.34156934993461
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: World action models (WAMs) provide a powerful generative framework for embodied control, yet transferring knowledge across heterogeneous WAMs remains challenging due to mismatched latent interfaces, high adaptation cost, and the rigidity of conventional distillation objectives. We propose \textbf{CKT-WAM}, a parameter-efficient \textbf{C}ontext \textbf{K}nowledge \textbf{T}ransfer framework that transfers teacher WAM's knowledge into a student WAM through a compact context in the text embedding space, rather than output imitation or dense hidden-state matching. Specifically, CKT-WAM extracts intermediate teacher hidden states, reduces the number of tokens via compressors' learnable-query cross attention (LQCA), and transforms them through an always-on generalized adapter, a lightweight router, and sparsely activated specialized adapters. The resulting context is then appended to the student's conditioning textual embeddings, thereby injecting the transferred knowledge into the student with minimal architectural modification. Experiments show that CKT-WAM consistently improves zero-shot generalization and achieves the best overall performance on LIBERO-Plus, reaching 86.1\% total success rate with only 1.17\% trainable parameters, while approaching full fine-tuning performance. Beyond simulation, CKT-WAM also demonstrates strong real-world long-horizon manipulation ability, achieving the best average success rate of 83.3\% across four multi-step and long-horizon tasks. Code is available at https://github.com/YuhuaJiang2002/CKT-WAM.
Abstract（参考訳）: 世界行動モデル(WAM)は、制御を具現化するための強力な生成フレームワークを提供するが、不適合な潜水界面、高い適応コスト、従来の蒸留目標の剛性により、不均一なWAM間で知識を伝達することは依然として困難である。本稿では,教師の WAM の知識を,テキスト埋め込み空間のコンパクトなコンテキストを通じて学生 WAM に伝達する,パラメータ効率の高い \textbf{C}ontext \textbf{K}nowledge \textbf{T}ransfer フレームワークを提案する。具体的には、CKT-WAMは中間教師の隠れ状態を抽出し、圧縮機のLQCA(Learable-query Cross attention)を介してトークン数を減らし、常にオンの汎用アダプタ、軽量ルータ、わずかにアクティベートされた特殊アダプタを通じて変換する。得られたコンテキストは、学生の条件付きテキスト埋め込みに付加され、変換された知識を最小限のアーキテクチャ修正で学生に注入する。実験の結果、CKT-WAMはゼロショットの一般化を一貫して改善し、LIBERO-Plusの全体的な性能は86.1 %まで向上し、トレーニング可能なパラメータは1.17 %に過ぎなかった。シミュレーション以外にも、CKT-WAMは4つのマルチステップおよびロングホライゾンタスクの平均成功率83.3\%を達成し、強力な現実世界のロングホライゾン操作能力を示す。コードはhttps://github.com/YuhuaJiang2002/CKT-WAMで公開されている。

関連論文リスト

AC-VLA: Robust Out-of-Distribution Action Execution via Compositional Learning [52.47988016454267]
VLA(Vision-Language-Action)モデルは、エンドツーエンドのロボット操作において優れているが、アウト・オブ・ディストリビューション(OOD)の一般化に苦慮している。構成的サブスキルのセマンティクスよりも全体論的軌道パターンに過度に適合するEmphtrajectory overfittingと、世界空間の接地を犠牲にして手首面のテクスチャを過度に強調するEmphperceptual shortcutの2つの相互強化モードを同定する。 textbfAC-VLA, プラグアンドプレイアクション構成学習について紹介する。
論文参考訳（メタデータ） (2026-07-17T07:51:03Z)
Beyond Attention Magnitude: Leveraging Inter-layer Rank Consistency for Efficient Vision-Language-Action Models [75.27089289058613]
textbfTIES(textbfTau-guided textbfInter-layer textbfEfficient textbfSelection)は、層間トークンランキングの整合性によって導かれる動的フレームワークである。 CogACT + SIMPLERベンチマークでは、TIESは平均成功率を6%改善し、トークン使用率を78%削減した。
論文参考訳（メタデータ） (2026-03-26T02:13:03Z)
BOFA: Bridge-Layer Orthogonal Low-Rank Fusion for CLIP-Based Class-Incremental Learning [84.56022893225422]
CIL(Class-Incremental Learning)は,従来の知識を忘れずに,新たなカテゴリを継続的に学習することを目的としている。 CLIP から CIL への視覚言語モデルの適用には,次の2つの大きな課題がある。(1) 下流タスクへの適応には,新たな学習可能なモジュールを必要とする場合が多いこと,2) モデル複雑性の増大と忘れやすいこと,2) マルチモーダル表現は相補的な長所を提供する一方で,既存の手法では,視覚的およびテキスト的モダリティを効果的に統合する可能性を完全には実現できていない。
論文参考訳（メタデータ） (2025-11-14T15:51:40Z)
Asymmetric Cross-Modal Knowledge Distillation: Bridging Modalities with Weak Semantic Consistency [16.550957851406014]
クロスモーダルな知識蒸留は、強いセマンティック接続を持つペアのモダリティに対して有望な性能を示した。非対称なクロスモーダル知識蒸留(ACKD)と呼ばれる,意味整合性の弱い知識学習概念について検討する。本稿では,SemBridgeというフレームワークを提案し,学生フレンドリーマッチングモジュールとセマンティック知識調整モジュールを統合する。
論文参考訳（メタデータ） (2025-11-12T02:24:24Z)
Put Teacher in Student's Shoes: Cross-Distillation for Ultra-compact Model Compression Framework [48.66685912952879]
We introduced Edge Ultra-lIte BERT framework with a novel cross-distillation method。我々は,自然言語理解(NLU)タスクにおいて,たった1.91MBの非常にコンパクトなBERTモデルを実現する。
論文参考訳（メタデータ） (2025-07-07T03:38:09Z)
Ken Utilization Layer: Hebbian Replay Within a Student's Ken for Adaptive Knowledge Tracing [11.25951282067287]
KUL-KTは、生物学的にインスパイアされた知識追跡アーキテクチャ(KT)である Hebbianメモリエンコーディングとグラデーションベースの統合を、スケーラブルで入力に依存しないフレームワークで組み合わせる。 i) 優雅な記憶を可能にするヘビアンメモリ更新, (ii) 理想的な内部状態を計算するためのロス整合型内部ターゲット (LIT) メソッド。
論文参考訳（メタデータ） (2025-06-18T00:06:28Z)
Prompt-OT: An Optimal Transport Regularization Paradigm for Knowledge Preservation in Vision-Language Model Adaptation [5.296260279593993]
CLIPのような視覚言語モデル(VLM)は、強力なパフォーマンスを示すが、下流タスクに適応する際には苦労する。本稿では,特徴分布の構造的整合性を保つことにより,忘れを軽減できる最適トランスポート(OT)誘導型プロンプト学習フレームワークを提案する。提案手法は,視覚とテキスト表現の両面に制約を課し,全体的な特徴の整合性を確保する。
論文参考訳（メタデータ） (2025-03-11T21:38:34Z)
Multi-Level Optimal Transport for Universal Cross-Tokenizer Knowledge Distillation on Language Models [81.74999702045339]
マルチレベル最適輸送(MultiLevelOT)は、普遍的なクロストケナイザー知識蒸留のための最適な輸送を促進する新しいアプローチである。本手法は,教師と生徒のロジット分布をトークンレベルとシーケンスレベルの両方で整列する。トークンレベルでは、MultiLevelOTはグローバルとローカルの両方の情報を統合する。
論文参考訳（メタデータ） (2024-12-19T04:51:06Z)
A Contrastive Knowledge Transfer Framework for Model Compression and Transfer Learning [5.239675888749389]
本稿では,CKTF(Contrastive Knowledge Transfer Framework)を提案する。 CKTFは、教師から生徒への十分な構造的知識の伝達を可能にし、複数の対照的な目的を最適化する。 CKTFは既存のKTを0.04%から11.59%、トランスファーラーニングでは0.4%から4.75%で上回っている。
論文参考訳（メタデータ） (2023-03-14T02:45:41Z)
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文参考訳（メタデータ） (2022-12-01T17:31:42Z)
LANA: Towards Personalized Deep Knowledge Tracing Through Distinguishable Interactive Sequences [21.67751919579854]
今後の質問に対する学生の回答を予測するために、Leveled Attentive KNowledge TrAcing(LANA)を提案します。新しい学生関連特徴抽出装置(SRFE)を使用して、学生固有の特性をそれぞれのインタラクティブシーケンスから蒸留します。ピボットモジュールは、個々の学生のためのデコーダを再構築し、グループのためのレベル付き学習特化エンコーダにより、パーソナライズされたDKTを実現した。
論文参考訳（メタデータ） (2021-04-21T02:57:42Z)
Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
論文参考訳（メタデータ） (2020-03-23T08:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。