論文の概要: Hub-Spectral Activation of Latent Multimodal Knowledge

• arxiv url: http://arxiv.org/abs/2609.17094v1
• Date: Tue, 15 Sep 2026 12:27:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.520234
• Title: Hub-Spectral Activation of Latent Multimodal Knowledge
• Title（参考訳）: 潜在マルチモーダル知識のハブスペクトル活性化
• Abstract要約: Hub-Spectral Activation (HSA) は、凍結表現における潜在マルチモーダル知識のハブ可読成分の回復と活性化のための閉形式法である。 HSAは、ハブエッジ統計データを合成し、標準化し、ペア化されたスペクトル方向を抽出し、信頼性に富んだ一致した証拠とソースゲートの候補分解を結合する。
• 参考スコア（独自算出の注目度）: 48.72626098917089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal representation learning seeks shared representations for cross-modal retrieval and knowledge transfer. Hub-based binding reduces pairwise supervision costs, but separate hub connections cannot guarantee reliable alignment between modalities without direct joint training. We introduce Hub-Spectral Activation (HSA), a closed-form method for recovering and activating the hub-readable component of latent multimodal knowledge in frozen representations. We formalize this knowledge as source-induced cross-modal dependence and characterize the component determined by the second-order statistics of two trained hub edges. Under a second-order source model, we establish conditions for exact recovery of the complete source-induced relation and bound the dimension of its hub-readable component by the hub covariance rank. HSA composes and standardizes hub-edge statistics, extracts paired spectral directions, and combines reliability-weighted matching evidence with source-gated candidate resolution for bidirectional retrieval and prototype classification. HSA requires no target-pair supervision, gradient optimization, or backbone updates. Across 19 retrieval and 11 prototype-classification relations on ImageBind and LanguageBind, HSA raises mean bidirectional Recall@10 from 18.27% to 31.15% and mean macro Top-1 accuracy from 29.01% to 52.43%, respectively. Controlled analyses further identify valid hub-edge correspondence and leading spectral directions as key sources of retrieval gains, demonstrating the utility of latent multimodal knowledge beyond native similarity scores. Code and models are publicly available at https://github.com/Luo1Yan/HSA.
• Abstract（参考訳）: マルチモーダル表現学習は、クロスモーダル検索と知識伝達のための共有表現を求める。 ハブベースのバインディングは、ペアの監督コストを低減しますが、独立したハブ接続は、直接のジョイントトレーニングなしでは、モダリティ間の信頼できるアライメントを保証することはできません。 凍結表現における潜在マルチモーダル知識のハブ可読成分を復元・活性化する閉形式法であるHSA(Hub-Spectral Activation)を導入する。 我々は、この知識をソース駆動のクロスモーダル依存として定式化し、2つの訓練されたハブエッジの2次統計によって決定される成分を特徴付ける。 2階のソースモデルの下では、完全ソース誘起関係の正確な回復条件を確立し、ハブ共分散ランクでそのハブ可読成分の次元を拘束する。 HSAは、ハブエッジ統計データを合成、標準化し、ペア化されたスペクトル方向を抽出し、信頼性に富んだマッチング証拠と、双方向検索とプロトタイプ分類のためのソースゲート候補解決を組み合わせている。 HSAは、目標ペアの監督、勾配最適化、バックボーンのアップデートを必要としない。 ImageBindとLanguageBindの19の検索と11のプロトタイプ分類の関係において、HSAは平均双方向リコール@10を18.27%から31.15%に、平均マクロTop-1精度を29.01%から52.43%に引き上げている。 制御された分析により、有効なハブエッジ対応とスペクトル方向を検索ゲインの重要な情報源として同定し、ネイティブな類似点を超えた潜在マルチモーダル知識の有用性を実証する。 コードとモデルはhttps://github.com/Luo1Yan/HSA.comで公開されている。

関連論文リスト

• S$^3$AM: A Single-Stream SAM with Reliability-Calibrated Frequency Adapter for Multi-modal Salient Object Detection [74.15663758681849]
  シングルストリームフレームワークは、信頼性キャリブレーションされた周波数適応をMSOD用のSAMバックボーンに組み込む。 RGB-D、RGB-T、RGB-NIRの正当性オブジェクト検出ベンチマークの実験により、提案フレームワークが競合性能を達成することを確認した。
  論文  参考訳（メタデータ） (2026-08-18T08:05:00Z)
• Deep Multimodal Fusion Detection through Spatial Mask and Channel Fusion [4.909774323398836]
  本稿では,モダリティオブジェクト検出の堅牢性向上を目的とした,注意駆動補足型リサンプリングフレームワークを提案する。 共有チャネル空間的注意機構に基づいて,まずセマンティックマスク交換を導入し,モダリティの境界を積極的に混合する。 そこで我々は,チャネルワイドで学習可能な方法で特徴をサンプリングし,集約するための学習可能なチャネルコンペティションを提案する。
  論文  参考訳（メタデータ） (2026-08-03T11:51:12Z)
• REAL-OW: Rehearsal-free Open World Object Detection with Low-Rank Adaptation and Dual-Stage Objectness Modeling [56.888597798431704]
  Open-World Object Detection (OWOD) では、未確認のオブジェクトを未知のものとして識別し、それを既知のカテゴリのセットにインクリメンタルに組み込む必要がある。 既存のフレームワークは、破滅的な忘れを緩和するために、模範的なリプレイに大きく依存しているが、実際のアプリケーションでは、データアクセス制限との生データ競合を保存し、データ露出のリスクをもたらす。 協調的なアダプタアーキテクチャを通じて段階的な知識を分離する新しいリハーサルフリーフレームワークであるREAL-OWを提案する。
  論文  参考訳（メタデータ） (2026-07-03T06:38:54Z)
• Dual Sparse Aggregation Transformer for Multispectral Object Detection [34.20084627163684]
  マルチスペクトル検出のための新しいデュアルスパースアグリゲーション変換器(DSAFormer)を提案する。 具体的には、DSAFormerは、クロスモーダル補完情報を活用および強化するために設計されている。 提案するDSAFormerは,4つの公開データセット上での最先端手法に対する検出性能を向上する。
  論文  参考訳（メタデータ） (2026-06-30T01:05:24Z)
• HubScan: Detecting Hubness Poisoning in Retrieval-Augmented Generation Systems [0.031068858355080494]
  ハブ性は有害なコンテンツの導入、検索ランキングの変更、コンテンツフィルタリングのバイパス、システムパフォーマンスの低下に利用することができる。 本稿では,RAGシステム内のハブを特定するために,ベクトルインデックスと埋め込みを評価したオープンソースのセキュリティスキャナである Hubscan を紹介する。 Hubscanは0.2%の警告予算で90%のリコールを達成する。100%リコールは0.4%で、敵のハブは99.8%のパーセンタイルを上回っている。
  論文  参考訳（メタデータ） (2026-02-25T21:37:53Z)
• Enhancing Diversity and Feasibility: Joint Population Synthesis from Multi-source Data Using Generative Models [4.73459038844245]
  本研究では,WGAN(Wasserstein Generative Adversarial Network)と勾配ペナルティを用いたマルチソースデータセットを同時に統合・合成する手法を提案する。 その結果,提案手法は逐次ベースラインより優れ,リコールは7%,精度は15%向上した。 合成個体群はエージェントベースモデル(ABM)のキー入力として機能するため、このマルチソース生成手法はABMの精度と信頼性を大幅に向上させる可能性がある。
  論文  参考訳（メタデータ） (2026-02-17T00:02:30Z)
• Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
  本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。 提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。 本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-03T15:32:09Z)
• CKDA: Cross-modality Knowledge Disentanglement and Alignment for Visible-Infrared Lifelong Person Re-identification [77.07028925223383]
  生涯にわたる人物再識別は、異なるシナリオから継続的に収集された個々のデータを同一人物と一致させることを目的としている。 日夜の連続した日中マッチングを実現するために、Visible-Infrared Lifelong person Re-IDentification (VI-LReID) は、可視および赤外線モダリティからのデータのシーケンシャルトレーニングに重点を置いている。 既存の方法は、伝統的知識の破滅的な忘れを和らげるために、クロスモーダルな知識蒸留を利用するのが一般的である。
  論文  参考訳（メタデータ） (2025-11-19T01:30:29Z)
• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。