論文の概要: Referring Expression Generation in Visually Grounded Dialogue with Discourse-aware Comprehension Guiding
- arxiv url: http://arxiv.org/abs/2409.05721v1
- Date: Mon, 9 Sep 2024 15:33:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-10 14:06:46.369176
- Title: Referring Expression Generation in Visually Grounded Dialogue with Discourse-aware Comprehension Guiding
- Title（参考訳）: 談話理解誘導を用いた視覚的接地対話における参照表現生成
- Authors: Bram Willemsen, Gabriel Skantze,
- Abstract要約: 本稿では,差別的かつ言論に適さない参照表現(REs)を生成するための参照表現生成(REG)手法を提案する。
人体評価の結果,提案する2段階のアプローチが差別的REの創出に有効であることが示唆された。
- 参考スコア（独自算出の注目度）: 3.8673630752805446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an approach to referring expression generation (REG) in visually grounded dialogue that is meant to produce referring expressions (REs) that are both discriminative and discourse-appropriate. Our method constitutes a two-stage process. First, we model REG as a text- and image-conditioned next-token prediction task. REs are autoregressively generated based on their preceding linguistic context and a visual representation of the referent. Second, we propose the use of discourse-aware comprehension guiding as part of a generate-and-rerank strategy through which candidate REs generated with our REG model are reranked based on their discourse-dependent discriminatory power. Results from our human evaluation indicate that our proposed two-stage approach is effective in producing discriminative REs, with higher performance in terms of text-image retrieval accuracy for reranked REs compared to those generated using greedy decoding.
- Abstract（参考訳）: 本稿では,識別的かつ言論に適した参照表現(REs)を生成する視覚的接地対話における表現生成(REG)へのアプローチを提案する。
我々の方法は2段階のプロセスを構成する。
まず、REGをテキストおよび画像条件付き次世代予測タスクとしてモデル化する。
REは、先行する言語文脈と参照者の視覚的表現に基づいて自己回帰的に生成される。
第2に,我々のREGモデルで生成した候補REsを,その言論依存的識別力に基づいて再帰する生成・参照戦略の一部として,談話認識理解指導(discourse-aware comprehension guideiding)の利用を提案する。
人間の評価結果から,本提案手法は,reranked REsのテキスト画像検索精度において,greedy decoding を用いて生成した手法と比較して高い精度で差別的 REs の生成に有効であることが示唆された。
関連論文リスト
- Intrinsic Task-based Evaluation for Referring Expression Generation [9.322715583523928]
最先端のニューラルモデルによって生成されたReferring Expressions(REs)は、textscwebnlgのREsと区別できないだけでなく、単純なルールベースシステムによって生成されたREsからも区別できない。
ここでは、この制限は、純粋に評価に基づく人間評価の使用に起因する可能性があると論じる。
本稿では,REGモデルに対する本質的なタスクベース評価を提案し,REsの品質の評価に加えて,2つのメタレベルタスクの達成が求められた。
論文 参考訳（メタデータ） (2024-02-12T06:21:35Z) - Whether you can locate or not? Interactive Referring Expression
Generation [12.148963878497243]
本稿では,実際のRECモデルと対話可能な対話型REG(IREG)モデルを提案する。
IREGは、一般的な評価指標において、過去の最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2023-08-19T10:53:32Z) - Towards Improved Room Impulse Response Estimation for Speech Recognition [53.04440557465013]
遠距離場自動音声認識(ASR)におけるブラインドルームインパルス応答(RIR)推定システムを提案する。
まず、改良されたRIR推定と改善されたASR性能の関連性について、ニューラルネットワークを用いたRIR推定器の評価を行った。
次に、残響音声からRIR特徴を符号化し、符号化された特徴からRIRを構成するGANベースのアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-11-08T00:40:27Z) - Unsupervised Syntactically Controlled Paraphrase Generation with
Abstract Meaning Representations [59.10748929158525]
抽象表現(AMR)は、教師なし構文制御されたパラフレーズ生成の性能を大幅に向上させることができる。
提案モデルであるAMRPGは,AMRグラフを符号化し,入力文を2つの非絡み合った意味的および構文的埋め込みに解析する。
実験により、AMRPGは既存の教師なしアプローチと比較して、定量的かつ質的に、より正確な構文制御されたパラフレーズを生成することが示された。
論文 参考訳（メタデータ） (2022-11-02T04:58:38Z) - Dialogue Meaning Representation for Task-Oriented Dialogue Systems [51.91615150842267]
タスク指向対話のための柔軟かつ容易に拡張可能な表現である対話意味表現(DMR)を提案する。
我々の表現は、合成意味論とタスク固有の概念のためのリッチな意味論を表現するために、継承階層を持つノードとエッジのセットを含んでいる。
異なる機械学習ベースの対話モデルを評価するための2つの評価タスクを提案し、さらにグラフベースのコア参照解決タスクのための新しいコア参照解決モデルGNNCorefを提案する。
論文 参考訳（メタデータ） (2022-04-23T04:17:55Z) - Local Explanation of Dialogue Response Generation [77.68077106724522]
反応生成の局所的説明(LERG)は、生成モデルの推論過程に関する洞察を得るために提案される。
LERGは、シーケンス予測を人間の応答の不確実性推定とみなし、入力を摂動させ、人間の応答に対する確実性の変化を計算することによって説明を作成する。
提案手法は, 提案手法を改良し, 提案手法の4.4～12.8%を改良した。
論文 参考訳（メタデータ） (2021-06-11T17:58:36Z) - Semantic Representation for Dialogue Modeling [22.80679759491184]
対話モデリングを支援するために抽象的意味表現(AMR)を利用する。
テキスト入力と比較すると、AMRはコアセマンティック知識を明示的に提供します。
我々は初めて、形式的な意味表現をニューラルダイアログモデリングに活用する。
論文 参考訳（メタデータ） (2021-05-21T07:55:07Z) - PPGN: Phrase-Guided Proposal Generation Network For Referring Expression
Comprehension [31.39505099600821]
新規な句誘導提案生成ネットワーク(PPGN)を提案する。
PPGNの主な実装原理は、テキストで視覚的特徴を洗練し、回帰を通じて提案を生成することである。
ベンチマークデータセットにおいて,本手法が有効であることを示す実験を行った。
論文 参考訳（メタデータ） (2020-12-20T11:21:06Z) - Controlling Dialogue Generation with Semantic Exemplars [55.460082747572734]
本稿では,経験的応答に現れる意味的フレームを用いて生成をガイドする,経験的対話生成モデルEDGEを提案する。
単語自体の単語ではなく、経験者の意味的フレームに基づく対話生成の制御により、生成した応答の一貫性が向上することを示す。
論文 参考訳（メタデータ） (2020-08-20T17:02:37Z) - Dialogue-Based Relation Extraction [53.2896545819799]
本稿では,人間による対話型関係抽出(RE)データセットDialogREを提案する。
我々は,対話型タスクと従来のREタスクの類似点と相違点の分析に基づいて,提案課題において話者関連情報が重要な役割を担っていると論じる。
実験結果から,ベストパフォーマンスモデルにおける話者認識の拡張が,標準設定と会話評価設定の両方において向上することが示された。
論文 参考訳（メタデータ） (2020-04-17T03:51:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。