論文の概要: Domain-specific language alignment of multimodal embeddings towards explainable predictions

• arxiv url: http://arxiv.org/abs/2610.23110v1
• Date: Fri, 16 Oct 2026 08:20:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.827708
• Title: Domain-specific language alignment of multimodal embeddings towards explainable predictions
• Title（参考訳）: 説明可能な予測に向けてのマルチモーダル埋め込みのドメイン固有言語アライメント
• Abstract要約: マルチモーダルデータは一般的に下流のタスク性能を改善する潜在表現に融合されるが、解釈できない。 本稿では,解釈可能な補助データにリンク可能な埋め込み空間を言語順応するフレームワークを提案する。 この枠組みをマルチモーダルなアース埋め込みに適用し,2種の分布モデルタスクについて説明可能な予測を容易にする。
• 参考スコア（独自算出の注目度）: 3.6677477001003016
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Multimodal data are commonly fused into latent representations that improve downstream task performance but are not interpretable, limiting their application in domains that require explainable model decisions. Vision-language alignment has made image embeddings interpretable through language, but requires vast image-caption training data. However, captioned data are typically not available for multimodal embeddings, as relevant features cannot directly be observed and annotated from embeddings alone. Here, we propose a framework to language-align any embedding space that can be linked to interpretable auxiliary data. Captioning functions convert auxiliary data into partial captions; a soft contrastive loss weights pairs by the similarity of their properties that each caption describes; and a rank-based concept retrieval task evaluates alignment against the auxiliary data rather than the captions. We apply this framework to multimodal Earth embeddings to facilitate explainable predictions for two species distribution modelling tasks: S2BMS and SatBird. AlphaEarth embeddings beat previous state-of-the-art models on 6/7 metrics, while our framework language-aligns domain-specific concepts of the embedding space, outperforming previous Earth observation vision-language models on average concept retrieval for both datasets. Finally, aligned concepts recover species-habitat associations ($ρ$=0.44) and relate habitat descriptions to species predictions, showing that abstract embeddings can be interrogated in the language of domain experts.
• Abstract（参考訳）: マルチモーダルデータは通常、下流のタスクパフォーマンスを改善する潜在表現に融合するが、解釈できないため、説明可能なモデル決定を必要とするドメインでのアプリケーションを制限する。 視覚言語アライメントは、画像埋め込みを言語で解釈するが、膨大な画像キャプチャトレーニングデータを必要とする。 しかし、キャプションされたデータは一般的にマルチモーダルな埋め込みでは利用できない。 本稿では,解釈可能な補助データにリンク可能な埋め込み空間を言語順応するフレームワークを提案する。 キャプション機能は、補助データを部分的なキャプションに変換し、ソフトコントラスト損失は、各キャプションが記述する特性の類似性によってペアを重み付け、ランクベースの概念検索タスクは、キャプションよりも補助データに対するアライメントを評価する。 この枠組みをマルチモーダルアース埋め込みに適用し、S2BMSとSatBirdという2つの種分布モデリングタスクの説明可能な予測を容易にする。 AlphaEarthの埋め込みは6/7のメトリクスで過去の最先端モデルを上回る一方、私たちのフレームワークは埋め込み空間のドメイン固有の概念を規定し、両方のデータセットの平均的な概念検索において、以前の地球観測ビジョン言語モデルよりも優れています。 最後に、アライメントされた概念は種と生物の関連性(ρ$=0.44)を回復し、生息地の記述と種予測を関連付け、抽象的な埋め込みがドメインの専門家の言語で疑問視されることを示す。

関連論文リスト

• Gram-Anchored Prompt Learning for Vision-Language Models via Second-Order Statistics [6.327904555091201]
  我々は、一階情報のみに頼ることは、堅牢な適応には不十分であると主張している。 第二次統計量を用いた視覚言語モデルのためのtextbfGram-Anchored Prompt Learning (GAPL) を提案する。
  論文  参考訳（メタデータ） (2026-04-05T06:02:07Z)
• Pushing the Limits of Vision-Language Models in Remote Sensing without Human Annotations [5.065947993017157]
  本研究では、画像復号化機械学習モデルを用いて、視覚言語データセットをキュレートする手法を提案する。 約960万の視覚言語対のデータセットをVHR画像で収集しました。 結果として得られたモデルは、公開可能なビジョン言語データセットを活用できないものよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-11T06:36:08Z)
• WIDIn: Wording Image for Domain-Invariant Representation in Single-Source Domain Generalization [63.98650220772378]
  We present WIDIn, Wording Images for Domain-Invariant representation, to disentangleative discriminative visual representation。 まず、ドメイン固有の言語を適応的に識別し、削除するために使用可能な、きめ細かいアライメントを組み込んだ言語を推定する。 WIDInは、CLIPのような事前訓練された視覚言語モデルと、MoCoやBERTのような個別訓練されたユニモーダルモデルの両方に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-28T17:46:27Z)
• Training-Free Open-Vocabulary Segmentation with Offline Diffusion-Augmented Prototype Generation [44.008094698200026]
  FreeDAはオープン語彙セマンティックセグメンテーションのためのトレーニング不要な拡散拡張手法である。 FreeDAは5つのデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-04-09T18:00:25Z)
• Rewrite Caption Semantics: Bridging Semantic Gaps for Language-Supervised Semantic Segmentation [100.81837601210597]
  本研究では,事前学習データにおける視覚的意味論とテキスト的意味論のギャップを埋めるための概念キュレーション(CoCu)を提案する。 CoCuは、最高にゼロショット転送性能を達成し、言語教師ありセグメンテーションベースラインを大きなマージンで大幅に向上させる。
  論文  参考訳（メタデータ） (2023-09-24T00:05:39Z)
• Towards Grounded Visual Spatial Reasoning in Multi-Modal Vision Language Models [3.86170450233149]
  画像とテキストとのマッチングを訓練した大規模視覚言語モデル(VLM)では,空間的関係の微妙な理解が欠如していることが示されている。 本稿では,空間的節の認識とランク付けのための,よりきめ細かな構成的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-18T18:58:54Z)
• Diverse Image Captioning with Context-Object Split Latent Spaces [22.95979735707003]
  本稿では,画像やテキストのコンテキスト記述における多様性をモデル化するために,コンテキストオブジェクト分割と呼ばれる潜在空間の新たな因子分解を導入する。 本フレームワークは,文脈に基づく疑似監視による多種多様なキャプションを可能にするだけでなく,新たなオブジェクトを持つ画像に拡張し,トレーニングデータにペアのキャプションを含まないようにした。
  論文  参考訳（メタデータ） (2020-11-02T13:33:20Z)
• PhraseCut: Language-based Image Segmentation in the Wild [62.643450401286]
  自然言語のフレーズを与えられた画像領域を分割する問題について考察する。 私たちのデータセットは、Visual Genomeデータセットの上に収集されます。 我々の実験は、我々のデータセットにおける概念のスケールと多様性が、既存の最先端技術に重大な課題をもたらすことを示している。
  論文  参考訳（メタデータ） (2020-08-03T20:58:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。