論文の概要: ProtoLIP: From Sentence-Level to Object-Level Evidence Disentanglement
- arxiv url: http://arxiv.org/abs/2609.16284v1
- Date: Mon, 14 Sep 2026 19:39:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.215167
- Title: ProtoLIP: From Sentence-Level to Object-Level Evidence Disentanglement
- Title(参考訳): ProtoLIP: 文レベルからオブジェクトレベルエビデンスまで
- Abstract要約: 軽量なプロトタイプによるエビデンス層である textbfProtoLIP を紹介する。
ProtoLIPは再利用可能な視覚プロトタイプをテキスト由来のセマンティックファミリーに整理する。
ProtoLIPは、そのマッチングスコアを、ローカライズされたプロトタイプエビデンスから直接構築する。
- 参考スコア(独自算出の注目度): 32.493558609275546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Query-conditioned vision--language models enable fine-grained interpretation by revealing how visual evidence changes with textual queries. However, evidence conditioned on complete descriptions does not necessarily resolve into object-specific evidence, nor does an exposed evidence map necessarily identify the evidence that constitutes the model's prediction. Across multiple VLM architectures and independent benchmarks, we find that object-level queries often retain evidence from co-occurring objects and shared context. In this paper, we introduce \textbf{ProtoLIP}, a lightweight prototype-mediated evidence layer that organizes reusable visual prototypes into text-derived semantic families and uses query-dependent family routing to constrain which prototypes may provide evidence. Without spatial annotations or backbone retraining, ProtoLIP improves evidence localization and separation across query granularities, with localization gains transferring to independently pretrained VLMs with well-aligned patch--text representations. Despite using only text-derived weak supervision, ProtoLIP remains competitive with a spatially supervised grounding model while maintaining strong matching and competitive image--text retrieval. Crucially, ProtoLIP constructs its matching score directly from localized prototype evidence, enabling the score to be exactly decomposed into semantic-family and prototype contributions.
- Abstract(参考訳): クエリ条件付き視覚言語モデルは、テキストクエリで視覚的エビデンスがどのように変化するかを明らかにすることで、きめ細かい解釈を可能にする。
しかし、完全な記述に条件づけられた証拠は必ずしも対象固有の証拠に解決するわけではなく、また、暴露された証拠マップが必ずしもモデルの予測を構成する証拠を識別するとは限らない。
複数のVLMアーキテクチャと独立したベンチマークで、オブジェクトレベルのクエリは、しばしば共起オブジェクトや共有コンテキストからの証拠を保持する。
本稿では,再利用可能な視覚的プロトタイプをテキスト由来のセマンティックファミリーに整理し,どのプロトタイプがエビデンスを提供するかを制限するために,クエリ依存のファミリールーティングを利用する,軽量なプロトタイプによるエビデンス層である \textbf{ProtoLIP} を紹介する。
空間アノテーションやバックボーンの再トレーニングがなければ、ProtoLIPは、クエリの粒度をまたいだエビデンスローカライゼーションと分離を改善し、ローカライゼーションは、適切に整合したパッチ-テキスト表現を持つ独立した事前トレーニングされたVLMに転送される。
ProtoLIPはテキスト由来の弱い監視のみを使用しながらも、強いマッチングと競合する画像検索を維持しながら、空間的に監督された基底モデルと競合し続けている。
ProtoLIPは、局所化されたプロトタイプエビデンスから直接マッチングスコアを構築し、スコアを正確にセマンティックファミリーとプロトタイプコントリビューションに分解することができる。
関連論文リスト
- SAGE: From Direct Answering to Evidence-Grounded Inference for Chinese Ancient Document Understanding [61.02068339726333]
中国古文書理解のためのエビデンスを基盤としたマルチエージェントフレームワークであるSAGEを提案する。
SAGEは、タスク対応計画、ツールによるエビデンス獲得、クレームレベルの検証、バウンドリプランニングのための特殊エージェントを調整する。
AncientDocベンチマークの実験によると、SAGEは直接答えベースラインと一貫して優れていた。
論文 参考訳(メタデータ) (2026-08-25T03:01:51Z) - ConceptFormer: Learning Adaptive Latent Concepts for Query-Document Alignment in Visual Document Retrieval [62.80735412748694]
ConceptFormerは、ビジュアル文書検索のための潜在概念表現学習フレームワークである。
クエリ関連エビデンスとは、局所化された視覚的エビデンスとセマンティックな関連性を明確に橋渡しする、連続的でクエリ条件付き潜在概念である。
平均的なNDCG@10では、最強のビジュアル検索ベースラインと最強のOCRベースのテキスト検索ベースラインに対して16.7%と22.1%の相対的な改善が達成されている。
論文 参考訳(メタデータ) (2026-08-16T12:07:12Z) - HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。
HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。
報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
論文 参考訳(メタデータ) (2026-07-27T23:50:46Z) - SPORT: Structure-Aware Prototype Disentanglement for Incomplete Multi-View Clustering [51.01038967474103]
プロトタイプベースの不完全なマルチビュークラスタリングは、不足ビュー計算のためのセマンティックアンカーとしてプロトタイプを活用することで注目を集めている。
構造対応PrOtotype disentanglement foR incomplete multi-view clusTering (Sport) と呼ばれる新しいフレームワークを提案する。
SPORTは、クラスタレベルのリレーショナル構造を保持しながら、プロトタイプの共有コンポーネントとビュー固有のコンポーネントを明示的に分離する。
論文 参考訳(メタデータ) (2026-07-11T17:40:22Z) - SOCO: Benchmarking Semantic Object Correspondence in Vision Foundation Models [63.28435103335999]
セマンティックオブジェクト対応のための新しいベンチマークであるSOCOを紹介する。
視覚基盤のバックボーンは強い意味構造をエンコードするが、関連するカテゴリ間での伝達対応は不十分であることを示す。
また,LVLMは画像マッチングよりもテキストプロンプト部分のローカライゼーションが優れていることを示す。
論文 参考訳(メタデータ) (2026-05-29T17:58:48Z) - Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation [74.0621258662676]
レポート生成のためのマルチエージェントハーネスであるPtahを提案する。
Ptahは計画、研究、執筆段階を通じて、ユーザクエリからレンダリングされたWebレポートまでのライフサイクルを編成する。
検証エージェントがハーネスの受け入れ機能として機能し、ワークフロー全体を通して事実的接地、引用の忠実性、相互の整合性を強制する。
論文 参考訳(メタデータ) (2026-05-28T12:40:34Z) - Model-Document Protocol for AI Search [11.377241012645994]
原文が大規模言語モデル (LLM) にどのようにブリッジされているかを形式化する汎用フレームワークである Model-Document Protocol (MDP) を導入する。
MDPは、検索をパスフェッチとして扱う代わりに、構造化されていない文書をタスク固有のLCM対応の入力に変換する複数の経路を定義している。
本稿では,エージェントプロセスを通じてプロトコルを実現するMPP-Agentを提案する。
論文 参考訳(メタデータ) (2025-10-29T04:29:17Z) - ProtoVQA: An Adaptable Prototypical Framework for Explainable Fine-Grained Visual Question Answering [30.65960340061612]
プロトタイプに基づくモデリングは意味論的意味のある領域における予測を基礎にすることで解釈可能性を示す。
本稿では,推論アンカーとして機能する質問認識型プロトタイプを学習する統合フレームワークであるProtoVQAを紹介する。
提案手法は,視覚言語的アライメントスコア (VLAS) を用いて, モデルに付随する領域が地中真実とどのように一致しているかを測るものである。
論文 参考訳(メタデータ) (2025-09-20T13:12:08Z) - Attribution, Citation, and Quotation: A Survey of Evidence-based Text Generation with Large Language Models [9.664217498808338]
大規模言語モデルを用いたエビデンスベースのテキスト生成の統一分類法を導入する。
7つの重要次元にわたる評価指標について検討した。
オープンな課題を強調し、将来的な作業に向けた有望な方向性を概説する。
論文 参考訳(メタデータ) (2025-08-21T09:36:35Z) - Unstructured Evidence Attribution for Long Context Query Focused Summarization [53.08341620504465]
固定粒度の場合よりも、より関連性が高く一貫した証拠を得るために、非構造的(すなわち任意の長さのスパン)な証拠を抽出することを提案する。
既存のシステムが、非構造的証拠をコピーし、適切に引用するのにどのように苦労しているかを示す。
論文 参考訳(メタデータ) (2025-02-20T09:57:42Z) - Graph-based Retrieval for Claim Verification over Cross-Document
Evidence [0.6853165736531939]
グラフに基づくアプローチは、断片化された証拠を特定するのに役立つと推測する。
我々はこの仮説を、コーパス全体にわたって、上述したエンティティによってテキスト部分を相互接続する大きなグラフを構築して検証した。
実験により,グラフ構造を活用することは,クレームに関連する通路のごく一部を特定する上で有益であることが確認された。
論文 参考訳(メタデータ) (2021-09-13T14:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。