論文の概要: Measure Less, Know More: Self-Supervised Test-Time Feature Acquisition
- arxiv url: http://arxiv.org/abs/2610.03454v1
- Date: Fri, 02 Oct 2026 15:33:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.454287
- Title: Measure Less, Know More: Self-Supervised Test-Time Feature Acquisition
- Title(参考訳): 自己監督型テスト時間機能獲得の度合いを測る
- Abstract要約: ECHO-$k$は、モダリティ獲得のためのタスクに依存しない自己教師型学習原則である。
逐次モダリティ選択のための強化学習(RL)ポリシーを動機づけるスタイル化された線形設定において理論的保証を提供する。
当社の手法は,コストを意識したテストタイムデプロイメントへの原則的経路を提供する。
- 参考スコア(独自算出の注目度): 8.031369250477672
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent progress in multimodal, high-dimensional learning has enabled foundation models to process heterogeneous, large-scale data. However, at test time, acquiring all features or modalities can be prohibitively costly and often redundant. Sequentially selecting informative modalities is therefore critical, yet challenging when the downstream task or prediction target is unknown. To this end, we introduce ECHO-$k$, a task-agnostic and self-supervised learning principle for modality acquisition: we use a deep model's internal pretrained representations (e.g., from a foundation model) as proxy targets that summarize cross-modal information. We provide theoretical guarantees in a stylized linear setting that motivate a reinforcement learning (RL) policy for sequential modality selection. Across task-agnostic and label-free acquisition baselines, ECHO-$k$ consistently improves budgeted downstream performance across diverse foundation-model backends. Our method provides a principled route to cost-aware test-time deployment, with implications for any multimodal system where measurements are expensive or time-constrained, and downstream tasks unknown a priori.
- Abstract(参考訳): マルチモーダルな高次元学習の最近の進歩により、基礎モデルは異質な大規模データを処理できるようになった。
しかしながら、テスト時には、すべての機能やモダリティの取得は、費用がかからず、しばしば冗長になる可能性がある。
したがって、下流のタスクや予測対象が不明な場合には、情報モダリティを順次選択することが重要である。
この目的のために、我々は、タスクに依存しない自己教師型学習原理であるECHO-$k$を導入し、深いモデルの内部事前学習表現(例えば、基礎モデルから)を、クロスモーダル情報を要約するプロキシターゲットとして利用する。
逐次モダリティ選択のための強化学習(RL)ポリシーを動機づけるスタイル化された線形設定において理論的保証を提供する。
タスクに依存しない、ラベルなしの買収ベースライン全体にわたって、ECHO-$k$は、さまざまなファンデーションモデルバックエンドにわたる予算付きダウンストリームパフォーマンスを一貫して改善します。
本手法は,コスト・アウェア・テスト・タイム・デプロイメントへの原則的経路を提供し,測定が高価あるいは時間制約のあるマルチモーダル・システムや,事前の未知の下流タスクに影響を及ぼす。
関連論文リスト
- Inference-Time Dynamic Modality Selection for Incomplete Multimodal Classification [10.875886838919]
Inference-time dynamic modality selection frameworkであるDyMoを提案する。
Central to DyMoは、各テストサンプルのタスク関連情報を最大化する新しい選択アルゴリズムである。
様々な自然・医学的な画像データセットの実験により、DyMoは最先端の不完全/動的MDL法を著しく上回っている。
論文 参考訳(メタデータ) (2026-01-30T11:24:43Z) - Towards Multimodal Active Learning: Efficient Learning with Limited Paired Data [11.208532172149061]
非整合データを用いたマルチモーダル能動学習のための第1のフレームワークを導入し、学習者はクロスモーダルアライメントを積極的に取得しなければならない。
我々は,不確実性と多様性の原則を組み合わさった新しいアルゴリズムを開発し,線形時間取得を実現し,プールベースとストリーミングベースの両方の設定にシームレスに適用する。
論文 参考訳(メタデータ) (2025-09-25T23:08:03Z) - Test-time Offline Reinforcement Learning on Goal-related Experience [50.94457794664909]
基礎モデルの研究では、テストタイムトレーニングによってパフォーマンスが大幅に改善できることが示されている。
本稿では、オフラインデータセットから現在の状態への関連性に応じて遷移を選択する、新しい自己教師型データ選択基準を提案する。
目標条件付きテストタイムトレーニング(GC-TTT)アルゴリズムは、評価中にこのルーチンを後退水平方式で適用し、現在の軌道にポリシーを適用する。
論文 参考訳(メタデータ) (2025-07-24T21:11:39Z) - Intention-Conditioned Flow Occupancy Models [80.42634994902858]
大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。
同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。
生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
論文 参考訳(メタデータ) (2025-06-10T15:27:46Z) - Cohort-Based Active Modality Acquisition [1.2472265402088736]
コホートベースのActive Modality Acquisition (CAMA)は、追加のモダリティを受け取るべきサンプルを選択することの難しさを形式化する新しいテストタイム設定である。
我々は、生成的計算と識別的計算を組み合わせた獲得戦略を導出する。
我々の研究はコホートレベルでのモダリティ獲得を最適化するための効果的なアプローチを提供し、制約された設定におけるリソースのより効率的な利用を可能にする。
論文 参考訳(メタデータ) (2025-05-22T15:32:50Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳(メタデータ) (2022-11-14T19:53:15Z) - Single-Modal Entropy based Active Learning for Visual Question Answering [75.1682163844354]
視覚質問応答(VQA)のマルチモーダル設定におけるアクティブラーニングに対処する
マルチモーダルな入力,画像,質問を考慮し,有効サンプル取得のための新しい手法を提案する。
私たちの新しいアイデアは、実装が簡単で、コスト効率が高く、他のマルチモーダルタスクにも容易に適応できます。
論文 参考訳(メタデータ) (2021-10-21T05:38:45Z) - Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。
既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。
モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
論文 参考訳(メタデータ) (2020-11-19T22:35:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。