論文の概要: SenseAlign: Understanding Vision and Touch through Language at Test Time

• arxiv url: http://arxiv.org/abs/2610.28511v1
• Date: Tue, 20 Oct 2026 16:50:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.936496
• Title: SenseAlign: Understanding Vision and Touch through Language at Test Time
• Title（参考訳）: SenseAlign: テスト時の言語による視覚と触覚の理解
• Abstract要約: 触覚言語モデルは、視覚と触覚を共通言語空間を通して組み合わせ、物体や材料を認識する。 現実世界のデプロイメントでは、照明、コンタクト品質、センサーハードウェアの変更により、視覚的または触覚的な入力がシフトし、認識性能が低下する可能性がある。 ラベル付きデータは一般的にはデプロイ中に利用できないため、テスト時適応はラベルなしの観測から認識性能を回復する手段を提供する。
• 参考スコア（独自算出の注目度）: 5.252473194053854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tactile-visual-language models combine vision and touch through a shared language space to recognize objects and materials. In real-world deployment, changes in lighting, contact quality or sensor hardware can shift visual or tactile inputs and degrade recognition performance. When both modalities contribute to a prediction, an unreliable modality can override correct evidence from the other. Since labeled data are generally unavailable during deployment, test-time adaptation offers a way to recover recognition performance from unlabeled observations. In this setting, we find that comparing accumulated observations with the text embeddings of candidate classes reveals modality reliability differences that confidence can miss. Refining features against competing classes also improves recognition beyond geometric alignment alone. These findings motivate SenseAlign, which uses a common semantic reference for test-time modality weighting and feature correction. Alignment Trust weights each modality according to its support for shared predicted classes. Anchor Realignment uses the same class text embeddings to fit a shared feature correction that separates predicted classes from alternatives. Both modules use the same unlabeled history while keeping all encoders frozen. Extensive experiments across diverse datasets demonstrate strong recognition performance under both natural shifts and controlled corruptions.
• Abstract（参考訳）: 触覚言語モデルは、視覚と触覚を共通言語空間を通して組み合わせ、物体や材料を認識する。 現実世界のデプロイメントでは、照明、コンタクト品質、センサーハードウェアの変更により、視覚的または触覚的な入力がシフトし、認識性能が低下する可能性がある。 どちらのモダリティも予測に寄与する場合、信頼できないモダリティは正しい証拠を他方から上書きすることができる。 ラベル付きデータは一般的にはデプロイ中に利用できないため、テスト時適応はラベルなしの観測から認識性能を回復する手段を提供する。 この設定では、蓄積された観察と候補クラスのテキスト埋め込みを比較することで、信頼度を損なうようなモダリティの信頼性の違いが明らかになる。 競合するクラスに対する機能強化は、幾何学的アライメントだけでなく、認識を改善している。 これらの知見は、テスト時間モーダル重み付けと特徴補正に共通の意味基準を用いるSenseAlignを動機付けている。 アライメント・トラストは、共有予測クラスのサポートに応じて各モダリティを重み付けする。 Anchor Realignmentは同じクラステキスト埋め込みを使用して、予測されたクラスと代替クラスを分離する共有機能修正に適合する。 どちらのモジュールも、すべてのエンコーダを凍結させながら、同じラベルのない履歴を使用する。 多様なデータセットにわたる大規模な実験は、自然なシフトと制御された腐敗の両方の下で強力な認識性能を示す。

関連論文リスト

• ActivityNarrated: An Open-Ended Narrative Paradigm for Wearable Human Activity Understanding [3.8013366586299093]
  オープン語彙設定において、ウェアラブルセンサデータを自然言語記述と整合させることにより、オープンな活動物語をモデル化する方法を示す。 その結果,実世界のウェアラブルHARの実践的かつ効果的な基盤として,オープンエンドな物語モデリングが確立された。
  論文  参考訳（メタデータ） (2026-04-01T11:31:44Z)
• Adapting Language Balance in Code-Switching Speech [60.296574524609575]
  大規模な基礎モデルは、コードスイッチングテストケースといまだに苦労しています。 我々は、世代間のコンテキストバイアスを軽減するために、微分可能なサロゲートを使用します。 アラビア語と中国語による実験では、モデルの切り替え位置をより正確に予測できることが示されている。
  論文  参考訳（メタデータ） (2025-10-21T15:23:55Z)
• Stochastic Encodings for Active Feature Acquisition [100.47043816019888]
  Active Feature Acquisitionは、インスタンスワイドでシーケンシャルな意思決定問題である。 目的は、テストインスタンスごとに独立して、現在の観測に基づいて計測する機能を動的に選択することである。 一般的なアプローチは強化学習(Reinforcement Learning)であり、トレーニングの困難を経験する。 我々は、教師付きで訓練された潜在変数モデルを導入し、潜在空間における観測不能な実現の可能性の多くにまたがる特徴を推論することで獲得する。
  論文  参考訳（メタデータ） (2025-08-03T23:48:46Z)
• InPK: Infusing Prior Knowledge into Prompt for Vision-Language Models [24.170351966913557]
  学習可能なトークンにクラス固有の事前知識を注入するInPKモデルを提案する。 また、テキスト調整に対応するための学習可能なテキスト・ツー・ビジョン・プロジェクション・レイヤも導入する。 実験では、InPKは複数のゼロ/ファウショット画像分類タスクにおいて最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2025-02-27T05:33:18Z)
• Black-box Unsupervised Domain Adaptation with Bi-directional Atkinson-Shiffrin Memory [59.51934126717572]
  Black-box Unsupervised Domain adaptation (UDA)は、トレーニング中にソースデータまたはソースモデルにアクセスすることなく、ターゲットデータのソース予測で学習する。 両方向の記憶機構であるBiMemを提案する。 BiMemは、画像分類、セマンティックセグメンテーション、オブジェクト検出など、さまざまな視覚的タスクに一貫して優れたドメイン適応性能を実現する。
  論文  参考訳（メタデータ） (2023-08-25T08:06:48Z)
• DualCoOp++: Fast and Effective Adaptation to Multi-Label Recognition with Limited Annotations [79.433122872973]
  低ラベル体制における多ラベル画像認識は、大きな課題と実践的重要性の課題である。 我々は、何百万もの補助的な画像テキストペアで事前訓練されたテキストと視覚的特徴の強力なアライメントを活用する。 Evidence-guided Dual Context Optimization (DualCoOp++) という,効率的かつ効果的なフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-08-03T17:33:20Z)
• CLLD: Contrastive Learning with Label Distance for Text Classificatioin [0.6299766708197883]
  コントラストクラスを学習するためのCLLD(Contrastive Learning with Label Distance)を提案する。 CLLDは、ラベルの割り当てに繋がる微妙な違いの中で、柔軟性を保証する。 実験の結果,学習したラベル距離は,クラス間の対立性を緩和することが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T07:07:14Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。