論文の概要: MOVE: Multimodal Open-world Verification and Expansion for Graph Learning
- arxiv url: http://arxiv.org/abs/2610.00268v1
- Date: Thu, 24 Sep 2026 10:42:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.588907
- Title: MOVE: Multimodal Open-world Verification and Expansion for Graph Learning
- Title(参考訳): MOVE: グラフ学習のためのマルチモーダルなオープンワールド検証と拡張
- Abstract要約: マルチモーダルなオープンワールドクラス検証・拡張フレームワークMOVEを提案する。
我々はMOVEが未知の認識、オープンドメインアノテーション、下流グラフ学習タスクに対して平均11.87%の改善を達成したことを示す。
- 参考スコア(独自算出の注目度): 53.557467064841866
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multimodal graph learning faces a fundamental challenge: new classes may emerge after deployment, while models are trained with a fixed label space. Existing approaches typically detect unknown nodes and use LLMs to generate candidate class descriptions, but they do not determine whether existing classes are insufficient to cover these nodes or whether a generated class is reliable enough to expand the class space. Our empirical study reveals three challenges: multimodal information beyond individual modalities is required for unknown-node identification, LLM-generated class descriptions may not fully capture multimodal class characteristics, and directly adding candidate classes can introduce redundant categories. Based on these observations, we propose MOVE, a multimodal open-world class verification and expansion framework. MOVE identifies nodes that cannot be assigned to existing classes by jointly considering visual tokens, textual attributes, and graph context, leverages a multimodal LLM to generate candidate classes, and selectively expands the class space only when candidates are consistently supported by multimodal evidence without introducing unnecessary categories. Experiments demonstrate that MOVE achieves an average improvement of 11.87\% across unknown recognition, open-domain annotation, and downstream graph learning tasks.
- Abstract(参考訳): マルチモーダルグラフ学習は、デプロイ後に新しいクラスが出現し、モデルが固定ラベル空間でトレーニングされるという、根本的な課題に直面します。
既存のアプローチは通常、未知のノードを検出し、LLMを使って候補クラス記述を生成するが、既存のクラスがこれらのノードをカバーするのに不十分なのか、生成されたクラスがクラス空間を拡張するのに十分な信頼性があるのかを判断しない。
我々の経験的研究は、3つの課題を明らかにしている: 個々のモーダル性を超えたマルチモーダル情報は未知のノード識別に必要であり、LLM生成クラス記述はマルチモーダルクラスの特徴をフルに捉えておらず、直接的に候補クラスを追加することで冗長なカテゴリを導入することができる。
これらの観測に基づいて,マルチモーダルなオープンワールドクラス検証・拡張フレームワークMOVEを提案する。
MOVEは、視覚トークン、テキスト属性、グラフコンテキストを共同で検討することで、既存のクラスに割り当てられないノードを特定し、マルチモーダル LLM を利用して候補クラスを生成し、不要なカテゴリを導入することなく、常にマルチモーダルなエビデンスによってサポートされている場合にのみ、クラス空間を選択的に拡張する。
実験により、MOVEは未知の認識、オープンドメインアノテーション、下流グラフ学習タスクで平均11.87 %の改善を達成することが示された。
関連論文リスト
- Hierarchical Representation Matching for CLIP-based Class-Incremental Learning [80.2317078787969]
クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、進化するデータストリームに継続的に適応可能なモデルを提供することを目的とする。
事前訓練された視覚言語モデル(例えばCLIP)の最近の進歩は、このタスクの強力な基盤を提供する。
本稿では,CLIPベースのCILのためのHiErarchical Representation MAtchiNg(HERMAN)を紹介する。
論文 参考訳(メタデータ) (2025-09-26T17:59:51Z) - Vocabulary-free Fine-grained Visual Recognition via Enriched Contextually Grounded Vision-Language Model [52.01031460230826]
伝統的なアプローチは固定語彙と閉集合分類パラダイムに大きく依存している。
近年の研究では、大規模言語モデルと視覚言語モデル(VLM)を組み合わせることで、オープンセット認識が可能であることが実証されている。
そこで本研究では,精密な視覚認識のための最先端の手法であるEnriched-FineRを提案する。
論文 参考訳(メタデータ) (2025-07-30T20:06:01Z) - When LLMs meet open-world graph learning: a new perspective for unlabeled data uncertainty [27.91526923088602]
大規模言語モデル (LLM) はテキスト分散グラフ (TAG) の学習に大きく進歩している。
Open World Graph Assistant (OGA) は適応的なラベルトレーサビリティを組み合わせたフレームワークで、意味論とトポロジを統合して未知のクラスを拒絶する。
総合的な実験はOGAの有効性と実用性を示している。
論文 参考訳(メタデータ) (2025-05-20T06:37:18Z) - FLOSS: Free Lunch in Open-vocabulary Semantic Segmentation [25.106772176792653]
本稿では,OVSS(Open-Vocabulary Semantic)における平均的なクラスワイドテキスト埋め込みの実践に挑戦する。
ラベル付きデータやトレーニングを使わずにクラスエキスパートを推定する新しいアプローチを導入する。
単テンポレート分類器のクラスワイド予測エントロピーを利用して、最も信頼性の高いクラスエキスパートとして最も低いエントロピーを得るものを選択する。
論文 参考訳(メタデータ) (2025-04-14T17:59:59Z) - Class-Independent Increment: An Efficient Approach for Multi-label Class-Incremental Learning [49.65841002338575]
本稿では,MLCIL(Multi-label class-incremental Learning)問題に焦点をあてる。
マルチラベルサンプルに対して複数のクラスレベルの埋め込みを抽出する新しいクラス独立インクリメンタルネットワーク(CINet)を提案する。
クラス固有のトークンを構築することで、異なるクラスの知識を学び、保存する。
論文 参考訳(メタデータ) (2025-03-01T14:40:52Z) - Open-Vocabulary Temporal Action Localization using Multimodal Guidance [67.09635853019005]
OVTALでは、すべてのカテゴリのトレーニングデータを明示的にキュレートすることなく、任意のアクションカテゴリをビデオで認識することができる。
この柔軟性は、トレーニング中に見られるアクションカテゴリだけでなく、推論で指定された新しいカテゴリも認識しなければならないため、大きな課題を引き起こす。
我々は,ActionFormerを拡張した新しいオープン語彙フレームワークであるOVFormerを紹介した。
論文 参考訳(メタデータ) (2024-06-21T18:00:05Z) - Multi-Modal Few-Shot Object Detection with Meta-Learning-Based
Cross-Modal Prompting [77.69172089359606]
本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。
我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。
提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
論文 参考訳(メタデータ) (2022-04-16T16:45:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。