論文の概要: Plug-and-Adapt: Multimodal Coreference Resolution at First Sight with a Pretrained Alignment Model

• arxiv url: http://arxiv.org/abs/2606.17950v1
• Date: Tue, 16 Jun 2026 14:04:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.467231
• Title: Plug-and-Adapt: Multimodal Coreference Resolution at First Sight with a Pretrained Alignment Model
• Title（参考訳）: プラグ・アンド・アダプティブ:事前調整アライメントモデルを用いた一視点におけるマルチモーダル・コア参照分解能
• Authors: Jinghan Wu, Jing Li, Ivor W. Tsang, Xuetao Zhang,
• Abstract要約: 既存のMCR(Multi-modal Coreference Resolution)メソッドでは、適用前にターゲットデータセットからの注釈付きデータをトレーニングする必要がある。 そこで本研究では,MCRタスクの即時使用のために,慎重に事前訓練された適応モデルを戦略的に適用するプラグイン・アンド・アダプティブ手法を提案する。
• 参考スコア（独自算出の注目度）: 47.811446766453834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual information helps resolve ambiguity in coreference resolution, leading to notable performance gains. However, existing Multi-modal Coreference Resolution (MCR) methods require training with (partially) annotated data from the target dataset before they can be applied, preventing their direct usability and raising concerns about generalization. While Vision-Language Large Models (VLLMs) with billions of parameters offer promising zero-shot capabilities, they remain largely inaccessible. Their massive size limits deployability, and many are only accessible through paid APIs. In this paper, we propose a plug-and-adapt method that strategically adapts a carefully pre-trained \emph{alignment model} for immediate use in MCR tasks, designed to eliminate the need for training on scarce benchmark datasets or relying on resource-intensive VLLMs. Specifically, we first pre-train a fine-grained alignment model between textual and visual contextual information using vision-language alignment datasets. We then repurpose the alignment model to MCR through similarity aggregation by fusing visual and categorical cues with evidence theory, thereby enhancing effectiveness. Experiments on the Coreference Image Narratives (CIN) benchmark dataset demonstrate the effectiveness of our method, achieving a 5.31\% and 2.12\% improvement in CoNLL F1 over SOTA dedicated methods and popular VLLMs, respectively. We further evaluate our method on a masked CIN dataset for robustness testing and on a specially constructed VCR-MCR dataset for generalization assessment, with results confirming both capabilities.
• Abstract（参考訳）: ビジュアル情報は、コア参照の解決における曖昧さの解決に役立ち、顕著なパフォーマンス向上につながります。 しかし、既存のMCR(Multi-modal Coreference Resolution)手法では、適用前にターゲットデータセットから(部分的に)注釈付きデータをトレーニングする必要がある。 数十億のパラメータを持つVLLM(Vision-Language Large Models)は、望ましくないゼロショット機能を提供するが、ほとんどアクセスできない。 その巨大なサイズはデプロイ可能性に制限があり、その多くは有料APIを通じてのみアクセス可能である。 本稿では,MCRタスクの即時使用のために,慎重に事前訓練された 'emph{alignment model} を戦略的に適用するプラグイン適応手法を提案する。 具体的には、まず、視覚言語アライメントデータセットを用いて、テキスト情報と視覚コンテキスト情報の微粒化アライメントモデルを事前訓練する。 次に,視覚的およびカテゴリー的手がかりとエビデンス理論を融合させることにより,類似性集約によるアライメントモデルをMCRに再利用し,有効性を向上する。 The Coreference Image Narratives (CIN)ベンチマークデータセットの実験では、SOTA専用メソッドと人気のあるVLLMに対して、CoNLL F1の5.31\%と2.12\%の改善を達成し、提案手法の有効性を実証している。 さらに、ロバストネステストのためのマスク付きCINデータセットと、一般化評価のための特別に構築されたVCR-MCRデータセットについて、両機能を検証した。

関連論文リスト

• Geometry-Aware Uncertainty Coresets for Robust Visual In-Context Learning in Histopathology [8.2867621159451]
  GAUCは,事前学習されたマルチモーダル埋め込み空間で直接動作する,トレーニング不要なコアセット選択法である。 CRC-100K と MHIST が複数のオープンソース VLM アーキテクチャにまたがっている場合、GAUC は精度、キャリブレーション、高速な勾配ロバスト性を改善している。
  論文  参考訳（メタデータ） (2026-05-18T13:54:04Z)
• Fine-tuning MLLMs Without Forgetting Is Easier Than You Think [72.59321247529975]
  分布内および分布外画像およびテキスト入力のモデル性能を評価するための2x2実験フレームワークを設計する。 その結果、トレーニング可能なパラメータの数を制限したり、低学習率を採用するなど、適切な正規化が、アウト・オブ・ディストリビューション・イメージを扱う際の忘れを効果的に防止できることが示唆された。 我々は、このことをタスク固有のオーバーフィッティングとみなし、データハイブリッドトレーニング戦略を導入することでこの問題に対処する。
  論文  参考訳（メタデータ） (2026-03-15T17:16:19Z)
• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• Prompt Tuning Vision Language Models with Margin Regularizer for Few-Shot Learning under Distribution Shifts [13.21626568246313]
  視覚言語基礎モデルが、分布やクラスが全く異なるデータセットに適応できるかどうかを解析する。 本稿では,少数のサンプルに対して,このような大規模VLMを直接適用するための新しいプロンプトチューニング手法であるPromptMarginを提案する。 PromptMarginは、このタスクのテキストと視覚的なプロンプトを効果的に調整し、2つのメインモジュールを持っている。
  論文  参考訳（メタデータ） (2025-05-21T13:26:56Z)
• Enhanced OoD Detection through Cross-Modal Alignment of Multi-Modal Representations [2.992602379681373]
  マルチモーダル微調整により,OoDDの性能が向上することを示す。 本稿では,IDデータの画像とテキストの埋め込み距離を正規化することにより,モーダルアライメントを向上させる訓練目標を提案する。
  論文  参考訳（メタデータ） (2025-03-24T16:00:21Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• Learning Semantic Proxies from Visual Prompts for Parameter-Efficient Fine-Tuning in Deep Metric Learning [13.964106147449051]
  既存のソリューションは、既存の画像データセット上でトレーニング済みのモデルを微調整することに集中している。 我々は、事前学習された視覚変換器(ViT)における視覚プロンプト(VPT)の学習に基づく、新しい効果的なフレームワークを提案する。 セマンティック情報を用いた新しい近似が代表的能力よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-04T04:42:05Z)
• One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
  textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。 我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-16T03:33:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。