論文の概要: Multimodality as Supervision: Self-Supervised Specialization to the Test Environment via Multimodality

• arxiv url: http://arxiv.org/abs/2607.14721v1
• Date: Thu, 16 Jul 2026 08:36:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.045664
• Title: Multimodality as Supervision: Self-Supervised Specialization to the Test Environment via Multimodality
• Title（参考訳）: スーパービジョンとしてのマルチモダリティ:マルチモダリティによるテスト環境への自己監督型スペシャライゼーション
• Abstract要約: 多くの実用アプリケーションは、テスト環境でマルチモーダルセンシングを可能にする、リッチなセンサーセットを備えたデバイスを含んでいる。 これにより、これらのデバイスが認識したマルチモーダルデータに対して、クロスモーダル学習を適用して表現を学習する機会が得られる。 テスト環境でマルチモーダルデータ収集を行い,その上で自己教師付き事前学習を行うテストスペーストレーニング(TST)を開発した。
• 参考スコア（独自算出の注目度）: 18.35659797985076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-modal learning, i.e., learning to predict one modality from another, is a fundamental mechanism for self-supervision via leveraging multimodality. Many practical applications, e.g., deploying a household robot, involve devices that are equipped with a rich set of sensors that enable multimodal sensing in their test environment. This presents an opportunity to apply cross-modal learning to the multimodal data sensed by these devices to learn representations. Findings in developmental psychology also suggest that biological agents leverage it to build an effective representation of their surroundings. To study this, we propose a controlled setup, where we restrict a user device to just a given test environment. It results in a specialization setup where we attempt to develop a performant model for this specific test environment. Under this setup, we develop Test-Space Training (TST), which performs multimodal data collection in the test environment and performs self-supervised pre-training on it. We evaluate these models on various downstream tasks in the same environment. Under this setup, we find various interesting insights, such as collecting rich multimodal data only from the test environment and leveraging cross-modal learning, we can achieve competitive results with generalist models (e.g., DINOv2 and CLIP) pre-trained on large-scale internet datasets. This enables an alternative scenario where the need for external Internet-scale datasets for pre-training models is reduced. We also present a set of analyses and ablations that raise intriguing points on substituting data with (multi)modality, and how varying pre-training data enables a tradeoff between a model's abilities to specialise to a test environment, and generalize to held-out spaces.
• Abstract（参考訳）: クロスモーダル・ラーニング(クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング、クロスモーダル・ラーニング)は、マルチモーダル(マルチモーダル・ラーニング)を利用するための基本的なメカニズムである。 例えば、家庭用ロボットを配備するなど、多くの実用的な応用には、テスト環境でマルチモーダルセンシングを可能にする、リッチなセンサーセットを備えたデバイスが含まれる。 これにより、これらのデバイスが認識したマルチモーダルデータに対して、クロスモーダル学習を適用して表現を学習する機会が得られる。 発達心理学における発見は、生物学的エージェントがそれを利用して周囲の効果的な表現を構築することを示唆している。 そこで本研究では,ユーザデバイスを与えられたテスト環境のみに制限する,制御されたセットアップを提案する。 その結果、この特定のテスト環境のためのパフォーマンスモデルを開発するための特殊化設定が実現した。 本研究では,テスト環境におけるマルチモーダルデータ収集と自己教師型事前学習を行うテストスペーストレーニング(TST)を開発した。 同一環境下での様々な下流タスクにおいて,これらのモデルを評価する。 このセットアップでは、テスト環境からのみリッチなマルチモーダルデータを収集し、クロスモーダル学習を活用するなど、さまざまな興味深い洞察を得るとともに、大規模なインターネットデータセット上で事前トレーニングされたジェネラリストモデル(例えば、DINOv2、CLIP)と競合する結果を得ることができる。 これにより、事前トレーニングモデルのための外部のインターネットスケールデータセットの必要性が低減される別のシナリオが可能になる。 また、(多重)モダリティを伴うデータ置換に関する興味深い点を提起する分析と改善のセットと、モデルの能力間のトレードオフがテスト環境に特化し、保留空間に一般化する方法について述べる。

関連論文リスト

• More with Less: a Large Scale Remote Sensing VLM with a Simple Recipe [52.210953881548996]
  遠隔センシングベンチマークに挑戦することで,視覚言語モデルが競争力や最先端のパフォーマンスを達成可能であることを示す。 我々のモデルは、テキストで直接答えるか、セグメント化とグラウンド化のためにローカライズツールを呼び出すことができる単一の言語ポリシーを使用する。 提案手法は,高分解能,マルチテンポラル,マルチモーダル,マルチビュータスクを含む,幅広いベンチマークの競合性を実現する。
  論文  参考訳（メタデータ） (2026-07-17T13:25:44Z)
• Towards Scalable Multi-Task Reinforcement Learning with Large Decision Models [0.0]
  マルチタスク・マルチモーダルトランスフォーメーションである LDM-v0 を導入し,複数のドメインとモダリティにまたがる数千の環境から収集したトラジェクトリをオフラインでトレーニングした。 本研究では,ロボット工学,自律運転,在庫管理,サイバーセキュリティ,トレーディング,ビデオゲームなど,約1,000の環境において,個別に訓練されたタスク固有参照ポリシーの性能に一致した1つの事前訓練モデルを示す。
  論文  参考訳（メタデータ） (2026-06-23T09:13:08Z)
• Multi-modal Co-learning for Earth Observation: Enhancing single-modality models via modality collaboration [9.66105329596482]
  推論の特定のモダリティを目標にすることなく、様々なタスクを一般化できる新しいマルチモーダル・コラーニングフレームワークを提案する。 我々のアプローチは、対照的かつモダリティの識別学習を組み合わせ、単一のモダリティモデルを誘導し、内部モデル多様体をモダリティ共有およびモダリティ固有情報に構造化する。
  論文  参考訳（メタデータ） (2025-10-22T13:29:32Z)
• Is Diversity All You Need for Scalable Robotic Manipulation? [50.747150672933316]
  ロボット学習におけるデータ多様性の役割について,従来の「より多様な方がよい」という直観に固執する3つの重要な次元(タスク),実施形態(ロボットの使用方法),専門家(専門家)を用いて検討する。 タスクの多様性は、タスクごとのデモンストレーション量よりも重要であり、多様な事前学習タスクから新しい下流シナリオへの移行に有効であることを示す。 本稿では,速度のあいまいさを緩和する分散デバイアス法を提案する。GO-1-Proは,2.5倍の事前学習データを用いて,15%の性能向上を実現している。
  論文  参考訳（メタデータ） (2025-07-08T17:52:44Z)
• CAML: Collaborative Auxiliary Modality Learning for Multi-Agent Systems [38.20651868834145]
  我々は,新しいマルチモーダル・マルチエージェント・フレームワークである協調補助モダリティ学習(CAML)を提案する。 事故検出においてCAMLが最大で$bf 58.1%の改善を達成していることを示す。 また,コラボレーティブセマンティックセグメンテーションのための実世界の地上ロボットデータ上でCAMLを検証する。
  論文  参考訳（メタデータ） (2025-02-25T03:59:40Z)
• Expert Routing with Synthetic Data for Continual Learning [46.01125098473039]
  Generate to Discriminate (G2D) は、合成データを利用してドメイン識別器を訓練する連続学習手法である。 我々は、G2Dが視覚と言語の両方におけるタスクにおいて、競争力のあるドメイン・インクリメンタル・ラーニング手法より優れていることを観察する。
  論文  参考訳（メタデータ） (2024-12-22T13:16:28Z)
• Dual Prototype Evolving for Test-Time Generalization of Vision-Language Models [11.545127156146368]
  本稿では,事前学習型視覚言語モデル(VLM)のための新しいテスト時間適応手法であるDual Prototype Evolving (DPE)を紹介する。 テスト期間中にターゲットクラスに対するより正確なマルチモーダル表現を段階的にキャプチャするために、テキストとビジュアルの2つのプロトタイプを作成し、進化させます。 提案したDPEは,従来の最先端手法を一貫して上回りながら,競争力のある計算効率を示す。
  論文  参考訳（メタデータ） (2024-10-16T17:59:49Z)
• Multi-Domain Joint Training for Person Re-Identification [51.73921349603597]
  ReID(Deep Learning-based person Re-IDentification)は、優れたパフォーマンスを達成するために、大量のトレーニングデータを必要とすることが多い。 多様な環境からより多くのトレーニングデータを集めることで、ReIDのパフォーマンスが向上する傾向にある。 本稿では,パラメータを様々な要因に適応させることができる,Domain-Camera-Sample Dynamic Network (DCSD) というアプローチを提案する。
  論文  参考訳（メタデータ） (2022-01-06T09:20:59Z)
• Multimodal Adversarially Learned Inference with Factorized Discriminators [10.818838437018682]
  本稿では,生成逆ネットワークに基づくマルチモーダルデータの生成モデリングのための新しい手法を提案する。 コヒーレントなマルチモーダル生成モデルを学習するためには、異なるエンコーダ分布とジョイントデコーダ分布を同時に整合させることが必要であることを示す。 判別器を分解することで、対照的な学習を生かし、単調なデータに基づいてモデルを訓練する。
  論文  参考訳（メタデータ） (2021-12-20T08:18:49Z)
• Multitask Adaptation by Retrospective Exploration with Learned World Models [77.34726150561087]
  本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。 このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
  論文  参考訳（メタデータ） (2021-10-25T20:02:57Z)
• Scenic4RL: Programmatic Modeling and Generation of Reinforcement Learning Environments [89.04823188871906]
  リアルタイム戦略(RTS)環境では,多様な現実シナリオの生成が難しい。 既存のシミュレータのほとんどは環境をランダムに生成することに頼っている。 我々は、研究者を支援するために、既存の形式シナリオ仕様言語であるSCENICを採用する利点を紹介する。
  論文  参考訳（メタデータ） (2021-06-18T21:49:46Z)
• Multimodal Clustering Networks for Self-supervised Learning from Unlabeled Videos [69.61522804742427]
  本稿では,共通のマルチモーダル埋め込み空間を学習する自己監督型トレーニングフレームワークを提案する。 インスタンスレベルのコントラスト学習の概念をマルチモーダルクラスタリングステップで拡張し,モダリティ間の意味的類似性を捉える。 結果として得られる埋め込みスペースは、見えないデータセットや異なるドメインからでも、すべてのモダリティにわたるサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2021-04-26T15:55:01Z)
• Towards an Automatic Analysis of CHO-K1 Suspension Growth in Microfluidic Single-cell Cultivation [63.94623495501023]
  我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。 具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
  論文  参考訳（メタデータ） (2020-10-20T08:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。