論文の概要: GaMi: Geometry-Agnostic Material Identification via Cross-Modal Subtractive Disentanglement
- arxiv url: http://arxiv.org/abs/2605.30818v1
- Date: Fri, 29 May 2026 04:09:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.381129
- Title: GaMi: Geometry-Agnostic Material Identification via Cross-Modal Subtractive Disentanglement
- Title(参考訳): GaMi: 形状非依存な物質同定
- Abstract要約: GaMiは、制約のない幾何学的条件下で機能する多モード材料識別システムである。
mmWaveと音響センサーを使って、制約のない幾何学的条件下で頑強に操作する。
大規模な評価の結果、GaMiは95.2%の精度を達成し、未知の幾何学的条件で単一モダリティのベースラインを上回っている。
- 参考スコア(独自算出の注目度): 24.02743831235919
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-contact material identification enables adaptive interaction for embodied intelligence yet faces challenges from geometry-induced variations (e.g., orientation, shape, distance) and single-modality ambiguities. In this paper, we present GaMi, a multimodal material identification system integrating mmWave and acoustic sensing to robustly operate under unconstrained geometric conditions. By leveraging the insight of shared geometric consistency between co-located bimodal sensors, GaMi employs an intra-sample cross-modal subtractive disentanglement framework. By semantically aligning modalities and subtracting the shared geometric context, it isolates intrinsic material features. Furthermore, GaMi incorporates inter-sample contrastive learning to correct the residual interference caused by cross-modal misalignment. Additionally, a pairing-based adaptation strategy between two modalities enables few-shot generalization across devices. Extensive evaluations on 20 materials show that GaMi achieves 95.2% accuracy, outperforming single-modality baselines across unseen geometric conditions.
- Abstract(参考訳): 非接触物質識別は、エンボディードインテリジェンスに対する適応的な相互作用を可能にするが、幾何によって引き起こされる変動(例えば、方向、形状、距離)と単一モードの曖昧さの課題に直面している。
本稿では,mmWaveと音響センサを統合したマルチモーダル材料識別システムGaMiについて述べる。
共位置バイモーダルセンサ間の共有幾何一貫性の洞察を活用することで、GaMiはサンプル内のクロスモーダル減量的ゆがみフレームワークを使用する。
意味的にモダリティを整列し、共有される幾何学的文脈を減じることで、本質的な材料特徴を分離する。
さらに、GaMiはサンプル間コントラスト学習を取り入れて、モード間ミスアライメントによる残差を補正する。
さらに、2つのモダリティ間のペアリングベースの適応戦略は、デバイス間の数ショットの一般化を可能にする。
20の材料に対する広範囲な評価により、GaMiは95.2%の精度を達成し、未確認の幾何学的条件において単一のモダリティベースラインを上回っている。
関連論文リスト
- SAC$^2$-Net: Semantic Anchoring and Complementary-Consensus Fusion for Multimodal Micro-Expression Recognition [5.567888983005847]
マイクロ圧縮認識(MER)は、微妙な顔の動き、限られたデータ、および行動単位(AU)と感情カテゴリーのあいまいな関係が原因で困難である。
マルチモーダルMERのためのセマンティックアンコリング・コンセンサスネットワークであるSAC$2$-Netを提案する。
SAC$2$-Netは、粗い粒度、きめ細かな粒度、大規模、データセット間の評価設定において、最先端または高い競争性能を実現する。
論文 参考訳(メタデータ) (2026-06-24T08:20:03Z) - Riemannian geometry meets fMRI: the advantages of modeling correlation manifolds and eigenvector subspaces [0.0]
相関行列は機能的脳ネットワークの基本要約である。
既存の幾何学的手法は、しばしば閉形式演算を欠いているか、あるいは任意の領域順序に依存する。
オフログ計量とグラスマン部分空間判別という2つの要素を持つスケーラブルな幾何学的枠組みを導入する。
論文 参考訳(メタデータ) (2026-05-21T11:22:31Z) - Anisotropic Modality Align [91.23979617826926]
マルチモーダルな大規模言語モデルの訓練は、高品質なペア型マルチモーダルデータの不足により、長い間制限されてきた。
近年の研究では、事前訓練されたマルチモーダルコントラストモデルの共有表現空間がブリッジとして機能し、非モーダルデータを用いたマルチモーダルトレーニングを可能にすることが示されている。
中心となる障害は、共有空間の永続的なモダリティギャップにある。
論文 参考訳(メタデータ) (2026-05-08T14:53:24Z) - Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。
従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。
我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
論文 参考訳(メタデータ) (2026-03-07T03:58:48Z) - Explore Intrinsic Geometry for Query-based Tiny and Oriented Object Detector with Momentum-based Bipartite Matching [29.566669515949155]
IGOFormerは、固有の幾何学を特徴デコードに統合する、クエリベースのオブジェクト指向オブジェクト検出器である。
歴史的マッチングコストを適応的に集約するモメンタムベースのBipartite Matchingスキームを開発した。
航空機指向物体検出におけるIGOFormerの優位性を示す実験とアブレーション実験を行った。
論文 参考訳(メタデータ) (2026-02-14T11:40:56Z) - Shared Parameter Subspaces and Cross-Task Linearity in Emergently Misaligned Behavior [9.202404525860189]
狭義の有害データセットを微調整した後に,大規模言語モデルが広範囲に不整合な振る舞いを発達させることができることを示す。
実験結果から,EMは異なる狭いタスクから発生し,同じパラメータの共有方向を見つけることが示唆された。
論文 参考訳(メタデータ) (2025-11-03T19:50:24Z) - scMRDR: A scalable and flexible framework for unpaired single-cell multi-omics data integration [53.683726781791385]
単一セルマルチオミクス(ScMRDR)と呼ばれるスケーラブルでフレキシブルな生成フレームワークを導入する。
本手法は, バッチ補正, モダリティアライメント, 生体信号保存の観点から, ベンチマークデータセット上での優れた性能を実現する。
論文 参考訳(メタデータ) (2025-10-28T21:28:39Z) - Dense Semantic Matching with VGGT Prior [49.42199006453071]
本稿では,VGGTの本質的な強みを,初期の特徴段階を再利用し,後続の特徴段階を微調整し,双方向対応のための意味的頭部を追加することによって維持するアプローチを提案する。
提案手法は, 従来のベースラインよりも優れた幾何認識, 整合性, および多様体保存を実現する。
論文 参考訳(メタデータ) (2025-09-25T14:56:11Z) - Similarity Guided Multimodal Fusion Transformer for Semantic Location Prediction in Social Media [34.664388374279596]
マルチモーダル投稿からユーザのセマンティックな位置を予測するためのSG-MFT(Simisity-Guided Fusion Transformer)を提案する。
まず,事前学習した大規模視覚言語モデルを用いて,高品質なテキストと画像表現を組み込む。
そこで我々は, 異質性やノイズ干渉を緩和するSimisity-Guided Interaction Module (SIM) を考案した。
論文 参考訳(メタデータ) (2024-05-09T13:32:26Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳(メタデータ) (2023-05-23T01:24:15Z) - Group Gated Fusion on Attention-based Bidirectional Alignment for
Multimodal Emotion Recognition [63.07844685982738]
本稿では、LSTM隠蔽状態上の注目に基づく双方向アライメントネットワークで構成されるGBAN(Gated Bidirectional Alignment Network)と呼ばれる新しいモデルを提案する。
LSTMの最後の隠れ状態よりもアテンション整列表現の方が有意に優れていたことを実証的に示す。
提案したGBANモデルは、IEMOCAPデータセットにおける既存の最先端マルチモーダルアプローチよりも優れている。
論文 参考訳(メタデータ) (2022-01-17T09:46:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。