論文の概要: Kinematic Knowledge Maps for Pattern Alignment: Structured Latent Representational Learning in Multimodal Gait Analysis

• arxiv url: http://arxiv.org/abs/2608.20969v1
• Date: Fri, 21 Aug 2026 10:46:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.511472
• Title: Kinematic Knowledge Maps for Pattern Alignment: Structured Latent Representational Learning in Multimodal Gait Analysis
• Title（参考訳）: パターンアライメントのための運動学的知識マップ:マルチモーダル歩行解析における構造化潜在表現学習
• Abstract要約: ScoliDetectは、単眼歩行ビデオから診断した思春期特発性強皮症に対する説明可能なフレームワークである。 KKMは、絶対運動にまたがる歩行特徴を符号化する固定インデックス構造表現である。 KKMは固有の因子レベルの属性を特定の運動相や骨格の指標に直接マッピングする。
• 参考スコア（独自算出の注目度）: 1.7030020917166933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal clinical AI is limited by weakly aligned inputs and the absence of domain-specific interpretable representations, particularly when learning from dense video stream, structured time-series, and template-based kinematic text. Here we present ScoliDetect, an explainable framework for adolescent idiopathic scoliosis screening from monocular gait video, built around a kinematic knowledge map (KKM) and complementary template-based kinematic text derived from per-sequence pose statics. KKM is a fixed-index structured representation that encodes gait features across absolute motion, self-skeleton configuration and joint-joint signal correlation, providing anchor-referenced multimodal fusion and factor-level interpretation. We integrate video, KKM, and template-based kinematic text through bidirectional cross-attention with latent-bottleneck aggregation. In a multicenter cohort (n = 1,858 after exclusions), prespecified supervised ablations on an external screening cohort show that KKM-mediated multimodal fusion outperforms unimodal models and late concatenation. Under a staged training protocol, trimodal contrastive pretraining is applied after architecture selection as representation initialization, improving external ROC-AUC from 0.961 to 0.972. Furthermore, the structured nature of the KKM provides inherent, factor-level attributions mapped directly to specific kinematic phases and skeletal indices, offering verifiable interpretability. The results demonstrate that embedding explicit structural topologies into latent spaces significantly enhances both the generalization and explainability of multimodal pattern analysis systems.
• Abstract（参考訳）: マルチモーダルな臨床AIは、弱い整列入力とドメイン固有の解釈可能な表現の欠如、特に高密度ビデオストリーム、構造化時系列、テンプレートベースのキネマティックテキストから学ぶ場合に限られる。 そこで本研究では,単眼歩行映像を用いた思春期特発性強皮症スクリーニングのためのフレームワークであるScoliDetectについて紹介する。 KKMは、絶対運動、自己骨格構成、結合結合信号相関といった歩行特徴を符号化し、アンカー参照マルチモーダル融合と因子レベルの解釈を提供する固定インデックス構造表現である。 ビデオ,KKM,テンプレートベースのキネマティックテキストを双方向のクロスアテンションとラテント・ボトルネックアグリゲーションを通じて統合する。 マルチセンターコホート(除外後のn = 1,858)では、KKMを介するマルチモーダル融合が単調モデルや遅延結合よりも優れていることを示す。 段階的トレーニングプロトコルでは、アーキテクチャ選択後に表現初期化としてトリモーダルコントラスト事前訓練を適用し、外部ROC-AUCを0.961から0.972に改善する。 さらに、KKMの構造的性質は、特定のキネマティック相や骨格の指標に直接マッピングされた固有の因子レベルの属性を提供し、検証可能な解釈性を提供する。 その結果, ラテント空間への明示的構造トポロジの埋め込みは多モードパターン解析システムの一般化と説明可能性の両方を著しく向上させることが示された。

関連論文リスト

• PathAR: Structure-First Autoregressive Synthesis of Multimodal Pathology Images [51.428093790826814]
  そこで我々は, モーダリティ・ラベル条件付き病理モデル (PathAR) を用いて, 構造と外観を分解し, 自己回帰モデル(PathAR)を提案する。 PathARは、不均一なモダリティ固有の外観下で形態を安定化し、空間的に整列したイメージマスクペア生成を可能にする。
  論文  参考訳（メタデータ） (2026-06-01T01:43:48Z)
• Semantic Generative Tuning for Unified Multimodal Models [62.18894352635965]
  統一マルチモーダルモデル(UMM)は、単一のアーキテクチャ内で視覚的理解と視覚的生成を統合する。 訓練パラダイムは 独立して テキスト信号を通して 理解を最適化する 密集したピクセルの目的を通して 生成する 本研究は,UMMの分離を橋渡しするための生成プロキシとして階層的視覚タスクを定式化する,生成後学習に関する最初の体系的な研究である。
  論文  参考訳（メタデータ） (2026-05-18T17:46:46Z)
• Chain of Modality: From Static Fusion to Dynamic Orchestration in Omni-MLLMs [84.3271821505699]
  カオス・オブ・モダリティ(Chain of Modality, CoM)は、マルチモーダル融合を受動的結合から動的オーケストレーションに移行するエージェントフレームワークである。 CoMはトレーニングフリーまたはデータ効率のSFT設定で動作し、様々なベンチマークで堅牢で一貫した一般化を実現する。
  論文  参考訳（メタデータ） (2026-04-16T01:21:14Z)
• Multimodal Structure Learning: Disentangling Shared and Specific Topology via Cross-Modal Graphical Lasso [12.238577096609761]
  解釈可能なマルチモーダル表現を学習するためのCross-Modal Graphical Lasso(CM-GLasso)を提案する。 新たなテキスト視覚化戦略と統合された視覚言語エンコーダを結合することにより、マルチモーダルな特徴を共有潜在空間に厳密に整列する。 CM-GLassoは、生成的分類と密接なセマンティックセグメンテーションタスクにおいて、新しい最先端技術を確立していることを示す。
  論文  参考訳（メタデータ） (2026-04-05T04:07:59Z)
• Focus-to-Perceive Representation Learning: A Cognition-Inspired Hierarchical Framework for Endoscopic Video Analysis [18.349979396713646]
  臨床検査をエミュレートする認知に触発された階層的枠組みであるフォーカス・ツー・パーセプティブ・ラーニング(FPRL)を提案する。 FPRLは最初、静的セマンティクスを学ぶためにフレーム内病変中心の領域に焦点を当て、フレーム間の進化を知覚してコンテキストセマンティクスをモデル化する。 11の内視鏡的ビデオデータセットの実験により、FPRLは様々な下流タスクで優れたパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2026-03-26T14:06:48Z)
• CUS-GS: A Compact Unified Structured Gaussian Splatting Framework for Multimodal Scene Representation [16.85102888388904]
  CUS-GSはコンパクトな統一型ガウススプティング表現である。 本稿では,アンカーの生育と刈り取りをガイドするための特徴認識重要度評価戦略を提案する。 CUS-GSは6Mパラメータしか使用しない最先端の手法と比較して、競争性能が向上する。
  論文  参考訳（メタデータ） (2025-11-22T03:42:49Z)
• MS-CLR: Multi-Skeleton Contrastive Learning for Human Action Recognition [49.91188543847175]
  Multi-Skeleton Contrastive Learning (MS-CLR)は、同じシーケンスから抽出された複数のスケルトン規則間でポーズ表現を整列するフレームワークである。 MS-CLRは、強いシングルスケルトンコントラスト学習ベースラインよりも一貫してパフォーマンスを向上する。 マルチスケルトンアンサンブルはパフォーマンスをさらに向上させ、両方のデータセットに新たな最先端結果を設定する。
  論文  参考訳（メタデータ） (2025-08-20T17:58:03Z)
• DAMS:Dual-Branch Adaptive Multiscale Spatiotemporal Framework for Video Anomaly Detection [7.117824587276951]
  この研究は、マルチレベル特徴とデカップリング融合に基づくDual-Branch Adaptive Multiscale Stemporal Framework (DAMS)と呼ばれるデュアルパスアーキテクチャを提供する。 主処理経路は、適応型マルチスケール時間ピラミッドネットワーク(AMTPN)と畳み込みブロック注意機構(CBAM)を統合している。
  論文  参考訳（メタデータ） (2025-07-28T08:42:00Z)
• Enhanced Partially Relevant Video Retrieval through Inter- and Intra-Sample Analysis with Coherence Prediction [18.24629930062925]
  部分的に関連のあるビデオ検索は、テキストクエリに関連するターゲットビデオを取得することを目的としている。 既存の手法は、セマンティック空間を構築するために、ペア化されたビデオとテキストクエリを粗く整列する。 サンプル間相関とサンプル内冗長性を体系的に活用する新しいPRVRフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-28T09:52:46Z)
• Learning Multiscale Consistency for Self-supervised Electron Microscopy Instance Segmentation [48.267001230607306]
  本稿では,EMボリュームのマルチスケール一貫性を高める事前学習フレームワークを提案する。 当社のアプローチでは,強力なデータ拡張と弱いデータ拡張を統合することで,Siameseネットワークアーキテクチャを活用している。 効果的にボクセルと機能の一貫性をキャプチャし、EM分析のための転送可能な表現を学習する。
  論文  参考訳（メタデータ） (2023-08-19T05:49:13Z)
• Multi-View Clustering via Semi-non-negative Tensor Factorization [120.87318230985653]
  半負のテンソル因子分解(Semi-NTF)に基づく新しいマルチビュークラスタリングを開発する。 本モデルは、ビュー間の関係を直接考慮し、ビュー間の補完情報を利用する。 さらに,提案手法の最適化アルゴリズムを提案し,そのアルゴリズムが常に定常KKT点に収束することを数学的に証明する。
  論文  参考訳（メタデータ） (2023-03-29T14:54:19Z)
• Support-set based Multi-modal Representation Enhancement for Video Captioning [121.70886789958799]
  サンプル間で共有されるセマンティックサブ空間において、リッチな情報をマイニングするためのサポートセットベースのマルチモーダル表現拡張(SMRE)モデルを提案する。 具体的には、サンプル間の基礎となる関係を学習し、意味的関連視覚要素を得るためのサポートセットを構築するためのサポートセット構築(SC)モジュールを提案する。 本研究では,SST(Semantic Space Transformation)モジュールを設計し,相対距離を制約し,マルチモーダルインタラクションを自己管理的に管理する。
  論文  参考訳（メタデータ） (2022-05-19T03:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。