Fugu-MT 論文翻訳(概要): E2E-GMNER: End-to-End Generative Grounded Multimodal Named Entity Recognition

論文の概要: E2E-GMNER: End-to-End Generative Grounded Multimodal Named Entity Recognition

arxiv url: http://arxiv.org/abs/2604.17319v1
Date: Sun, 19 Apr 2026 08:18:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-21 21:52:52.461923
Title: E2E-GMNER: End-to-End Generative Grounded Multimodal Named Entity Recognition
Title（参考訳）: E2E-GMNER: エンド・ツー・エンド生成型マルチモーダル名前付きエンティティ認識
Abstract要約: Grounded Multimodal Named Entity Recognition (GMNER) は、テキスト中の名前付きエンティティの参照を共同で識別することを目的としている。 E2E-GMNERは、エンティティ認識、セマンティックタイピング、視覚的接地、暗黙的知識推論を統一する完全なエンドツーエンド生成フレームワークである。
参考スコア（独自算出の注目度）: 33.81090014865745
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Grounded Multimodal Named Entity Recognition (GMNER) aims to jointly identify named entity mentions in text, predict their semantic types, and ground each entity to a corresponding visual region in an associated image. Existing approaches predominantly adopt pipeline-based architectures that decouple textual entity recognition and visual grounding, leading to error accumulation and suboptimal joint optimization. In this paper, we propose E2E-GMNER, a fully end-to-end generative framework that unifies entity recognition, semantic typing, visual grounding, and implicit knowledge reasoning within a single multimodal large language model. We formulate GMNER as an instruction-tuned conditional generation task and incorporate chain-of-thought reasoning to enable the model to adaptively determine when visual evidence or background knowledge is informative, reducing reliance on noisy cues. To further address the instability of generative bounding box prediction, we introduce Gaussian Risk-Aware Box Perturbation (GRBP), which replaces hard box supervision with probabilistically perturbed soft targets to improve robustness against annotation noise and discretization errors. Extensive experiments on the Twitter-GMNER and Twitter-FMNERG benchmarks demonstrate that E2E-GMNER achieves highly competitive performance compared with state of the art methods, validating the effectiveness of unified end-to-end optimization and noise-aware grounding supervision. Code is available at:https://github.com/Finch-coder/E2E-GMNER
Abstract（参考訳）: Grounded Multimodal Named Entity Recognition (GMNER) は、テキスト中の名前付きエンティティの参照を共同で識別し、それらの意味型を予測し、各エンティティを関連画像内の対応する視覚領域にグラウンドすることを目的としている。既存のアプローチは主に、テキストエンティティ認識と視覚的グラウンドを分離するパイプラインベースのアーキテクチャを採用しており、エラーの蓄積と最適部分の関節最適化につながっている。本稿では,エンティティ認識,セマンティックタイピング,視覚的グラウンドディング,暗黙的知識推論を単一マルチモーダルな大規模言語モデル内に統一する,完全なエンドツーエンド生成フレームワークであるE2E-GMNERを提案する。 GMNERを命令調整条件生成タスクとして定式化し、チェーン・オブ・シント推論を導入し、視覚的エビデンスや背景知識が情報化されるタイミングをモデルが適応的に決定できるようにし、ノイズの多い手がかりへの依存を減らす。生成的バウンディングボックス予測の不安定性にさらに対処するため,ハードボックスの監視を確率的に乱れたソフトターゲットに置き換えたGaussian Risk-Aware Box Perturbation (GRBP)を導入する。 Twitter-GMNERとTwitter-FMNERGベンチマークの大規模な実験は、E2E-GMNERが最先端の手法と比較して高い競争力を発揮することを示した。コードは、https://github.com/Finch-coder/E2E-GMNERで入手できる。

関連論文リスト

Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
論文参考訳（メタデータ） (2026-08-01T12:32:31Z)
OmniVerifier-M1: Multimodal Meta-Verifier with Explicit Structured Recalibration [48.11927189422178]
決定のみの信号よりも検証器生成の合理性を利用するマルチモーダルなメタ検証について検討する。我々は,記号的メタ検証とデカップリングされた強化学習を利用した一般の視覚的検証であるOmniVerifier-M1を訓練する。このアプローチは、より信頼性が高く、解釈可能で、きめ細かいマルチモーダル検証の道を開き、より安全で、より制御可能な基盤モデルのデプロイメントをサポートする。
論文参考訳（メタデータ） (2026-05-27T17:56:04Z)
AffectAgent: Collaborative Multi-Agent Reasoning for Retrieval-Augmented Multimodal Emotion Recognition [62.16431420189863]
LLMに基づくマルチモーダル感情認識は静的なパラメトリックメモリに依存しており、ニュアンス化された感情状態の解釈時にしばしば幻覚を与える。本稿では,感情指向型マルチエージェント検索拡張生成フレームワークであるAffectAgentを紹介する。 AffectAgentは3つの共同最適化されたエージェント、すなわちクエリプランナー、エビデンスフィルタ、感情生成器から構成される。
論文参考訳（メタデータ） (2026-04-14T13:49:19Z)
OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL [63.388513841293616]
既存の偽造検出手法は、現実世界の誤報に多いインターリーブされたテキスト、画像、ビデオを扱うのに失敗する。このギャップを埋めるため,本論文では,オムニバス・ビジョン言語による偽造検出と接地のための統一フレームワークの開発を目標としている。我々は、OmniVL-Guardという、オムニバス視覚言語による偽造検出と接地のためのバランスの取れた強化学習フレームワークを提案する。
論文参考訳（メタデータ） (2026-02-11T09:41:36Z)
GenCNER: A Generative Framework for Continual Named Entity Recognition [22.669221793494163]
従来の名前付きエンティティ認識(NER)は、テキストの参照を事前に定義されたエンティティタイプに識別することを目的としている。 NERのための既存の継続学習(CL)手法は、破滅的な忘れ込みと非エンテント型のセマンティックシフトの課題に直面している。我々は,CNERの欠点を軽減するための簡易かつ効果的な生成フレームワークであるGenCNERを提案する。
論文参考訳（メタデータ） (2025-10-13T14:15:31Z)
Advancing Grounded Multimodal Named Entity Recognition via LLM-Based Reformulation and Box-Based Segmentation [48.47565361014847]
Grounded Multimodal Named Entity Recognition (GMNER) タスクは、名前付きエンティティ、エンティティタイプ、および対応する視覚領域を識別することを目的としている。我々は,大規模な言語モデルを活用することで,GMNERをMNER-VE-VGタスクに再構成する統一フレームワークであるRiVEGを提案する。
論文参考訳（メタデータ） (2024-06-11T13:52:29Z)
SCANNER: Knowledge-Enhanced Approach for Robust Multi-modal Named Entity Recognition of Unseen Entities [10.193908215351497]
3つのNER変種を効果的に扱えるモデルであるSCANNERを提案する。 SCANNERは2段階構造であり、最初の段階でエンティティ候補を抽出し、知識を得るためにクエリとして使用する。 NERデータセットのノイズの多いアノテーションから生じる課題に対処するために,新しい自己蒸留法を提案する。
論文参考訳（メタデータ） (2024-04-02T13:05:41Z)
LLMs as Bridges: Reformulating Grounded Multimodal Named Entity Recognition [28.136662420053568]
Grounded Multimodal Named Entity Recognition (GMNER) は、名前付きエンティティ、エンティティタイプ、および対応する視覚領域を識別することを目的とした、初期段階のマルチモーダルタスクである。本稿では,大規模な言語モデル(LLM)を接続ブリッジとして活用することにより,GMNERをMNER-VE-VGタスクに再構成する統一フレームワークであるRiVEGを提案する。
論文参考訳（メタデータ） (2024-02-15T14:54:33Z)
Multi-task Transformer with Relation-attention and Type-attention for Named Entity Recognition [35.44123819012004]
名前付きエンティティ認識(NER)は自然言語処理において重要な研究課題である。本稿では,エンティティ境界検出タスクを名前付きエンティティ認識タスクに組み込むマルチタスク変換器を提案する。
論文参考訳（メタデータ） (2023-03-20T05:11:22Z)
Be Your Own Neighborhood: Detecting Adversarial Example by the Neighborhood Relations Built on Self-Supervised Learning [64.78972193105443]
本稿では,予測に有効な新しいAE検出フレームワークを提案する。 AEの異常な関係と拡張バージョンを区別して検出を行う。表現を抽出し、ラベルを予測するために、既製の自己監視学習(SSL)モデルが使用される。
論文参考訳（メタデータ） (2022-08-31T08:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。