論文の概要: Whether you can locate or not? Interactive Referring Expression
Generation
- arxiv url: http://arxiv.org/abs/2308.09977v1
- Date: Sat, 19 Aug 2023 10:53:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 18:39:22.799433
- Title: Whether you can locate or not? Interactive Referring Expression
Generation
- Title(参考訳): 見つけられるかどうか?
対話型参照表現生成
- Authors: Fulong Ye, Yuxing Long, Fangxiang Feng, Xiaojie Wang
- Abstract要約: 本稿では,実際のRECモデルと対話可能な対話型REG(IREG)モデルを提案する。
IREGは、一般的な評価指標において、過去の最先端の手法よりも優れています。
- 参考スコア(独自算出の注目度): 12.148963878497243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Referring Expression Generation (REG) aims to generate unambiguous Referring
Expressions (REs) for objects in a visual scene, with a dual task of Referring
Expression Comprehension (REC) to locate the referred object. Existing methods
construct REG models independently by using only the REs as ground truth for
model training, without considering the potential interaction between REG and
REC models. In this paper, we propose an Interactive REG (IREG) model that can
interact with a real REC model, utilizing signals indicating whether the object
is located and the visual region located by the REC model to gradually modify
REs. Our experimental results on three RE benchmark datasets, RefCOCO,
RefCOCO+, and RefCOCOg show that IREG outperforms previous state-of-the-art
methods on popular evaluation metrics. Furthermore, a human evaluation shows
that IREG generates better REs with the capability of interaction.
- Abstract(参考訳): Referring Expression Generation(REG)は、参照されたオブジェクトを特定するためのReferring Expression Comprehension(REC)という2つのタスクを用いて、視覚シーンにおけるオブジェクトに対する不明瞭なReferring Expression(REs)を生成することを目的としている。
既存の手法では,REGモデルとRECモデル間の潜在的な相互作用を考慮せずに,REsのみをモデルトレーニングの基礎的真理として用いることで,REGモデルを独立に構築する。
本稿では,実際のRECモデルと対話可能な対話型REG(IREG)モデルを提案する。
RefCOCO、RefCOCO+、RefCOCOgの3つのREベンチマークデータセットに対する実験結果から、IREGは一般的な評価指標における従来の最先端手法よりも優れていることが示された。
さらに、人間による評価では、IREGは相互作用の能力でより良いREを生成する。
関連論文リスト
- GenRES: Rethinking Evaluation for Generative Relation Extraction in the
Era of Large Language Models [48.56814147033251]
我々は、GRE結果の類似性、特異性、粒度、事実性、完全性の観点から、多次元評価のためのGenRESを紹介する。
GenRESでは、精度/リコールがGREメソッドの性能を正当化できないことを実証的に確認した。
次に、GRE手法のヒト評価を行い、GenRESがRE品質に対するヒトの嗜好と一致していることを示す。
論文 参考訳(メタデータ) (2024-02-16T15:01:24Z) - Intrinsic Task-based Evaluation for Referring Expression Generation [9.322715583523928]
最先端のニューラルモデルによって生成されたReferring Expressions(REs)は、textscwebnlgのREsと区別できないだけでなく、単純なルールベースシステムによって生成されたREsからも区別できない。
ここでは、この制限は、純粋に評価に基づく人間評価の使用に起因する可能性があると論じる。
本稿では,REGモデルに対する本質的なタスクベース評価を提案し,REsの品質の評価に加えて,2つのメタレベルタスクの達成が求められた。
論文 参考訳(メタデータ) (2024-02-12T06:21:35Z) - Continual Referring Expression Comprehension via Dual Modular
Memorization [133.46886428655426]
Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。
既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。
本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。
学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
論文 参考訳(メタデータ) (2023-11-25T02:58:51Z) - GREC: Generalized Referring Expression Comprehension [52.83101289813662]
本研究は、GREC(Generalized Referring Expression)と呼ばれる新しいベンチマークを導入する。
このベンチマークは、任意の数のターゲットオブジェクトを記述する式を許可することで、古典的なRECを拡張している。
この目標を達成するため、私たちはgRefCOCOと呼ばれる最初の大規模GRECデータセットを構築しました。
論文 参考訳(メタデータ) (2023-08-30T17:58:50Z) - Towards Unifying Reference Expression Generation and Comprehension [22.72363956296498]
我々は、UniRefという名前のREGとRECの統一モデルを提案する。
画像クロスアテンションと領域クロスアテンションを介して画像、領域、テキストを融合するIRTF(Image-Region-Text Fusion Layer)によって、これら2つのタスクを統一する。
さらに,マルチグラニュラコーパス上でのUniRefモデルの事前学習に対して,VMLM(Vision- Conditioned Masked Language Modeling)とTRP(Text-Conditioned Region Prediction)を提案する。
論文 参考訳(メタデータ) (2022-10-24T09:53:41Z) - Entity-enhanced Adaptive Reconstruction Network for Weakly Supervised
Referring Expression Grounding [214.8003571700285]
Referring Expression Grounding (REG) は、言語表現によって記述されたイメージにおいて特定のターゲットをグラウンドすることを目的としている。
我々は、エンティティ強化適応再構築ネットワーク(EARN)を設計する。
EARNには、エンティティの強化、適応的な接地、協調的な再構築の3つのモジュールが含まれている。
論文 参考訳(メタデータ) (2022-07-18T05:30:45Z) - An Overview of Distant Supervision for Relation Extraction with a Focus
on Denoising and Pre-training Methods [0.0]
関係抽出は自然言語処理の基本課題である。
RE法の歴史は、パターンベースRE、統計ベースRE、ニューラルベースRE、大規模言語モデルベースREの4つのフェーズに大別できる。
論文 参考訳(メタデータ) (2022-07-17T21:02:04Z) - Summarization as Indirect Supervision for Relation Extraction [23.98136192661566]
本稿では,関係抽出(RE)を要約式に変換するSuREを提案する。
我々は,要約タスクとREタスクの定式化を本質的に橋渡しする文・関係変換手法を開発した。
3つのデータセットの実験では、フルデータセットと低リソースの両方でSuREの有効性が示されている。
論文 参考訳(メタデータ) (2022-05-19T20:25:29Z) - ReCLIP: A Strong Zero-Shot Baseline for Referring Expression
Comprehension [114.85628613911713]
大規模事前学習モデルは領域間の画像分類に有用である。
ReCLIPは単純だが強力なゼロショットベースラインであり、ReCのための最先端の大規模モデルであるCLIPを再利用する。
論文 参考訳(メタデータ) (2022-04-12T17:55:38Z) - Multi-task Collaborative Network for Joint Referring Expression
Comprehension and Segmentation [135.67558811281984]
表現理解(REC)とセグメンテーション(RES)を併用した共同学習を実現するための新しいマルチタスク協調ネットワーク(MCN)を提案する。
MCNでは、RESはRECがよりよい言語ビジョンアライメントを達成するのに役立ち、RECはRESが参照者を見つけるのに役立ちます。
我々は,このマルチタスク・セットアップにおいて,一貫性エネルギー最大化 (Consistency Energy Maximization, CEM) と適応ソフト非局所抑制 (Adaptive Soft Non-Located Suppression, ASNLS) という2つのイノベーティブな設計による予測競合という重要な課題に対処する。
論文 参考訳(メタデータ) (2020-03-19T14:25:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。