論文の概要: Come Again? Re-Query in Referring Expression Comprehension
- arxiv url: http://arxiv.org/abs/2110.10206v1
- Date: Tue, 19 Oct 2021 19:01:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-22 16:08:42.601071
- Title: Come Again? Re-Query in Referring Expression Comprehension
- Title（参考訳）: また来る?
表現の理解における再クエリ
- Authors: Stephan J. Lemmer and Jason J. Corso
- Abstract要約: 信頼度が低いときにモデルに助けを求めることを許すことで、一つの証拠に基づいて決定を下さなければならないという仮定を緩和する方法を示す。
その結果,全てのオブジェクトに対して最高の参照表現を提供することで,最大21.9%の精度が向上し,最初の参照表現を12%だけ再クエリすることで,この精度が一致できることが示唆された。
- 参考スコア（独自算出の注目度）: 39.33970953722539
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To build a shared perception of the world, humans rely on the ability to
resolve misunderstandings by requesting and accepting clarifications. However,
when evaluating visiolinguistic models, metrics such as accuracy enforce the
assumption that a decision must be made based on a single piece of evidence. In
this work, we relax this assumption for the task of referring expression
comprehension by allowing the model to request help when its confidence is low.
We consider two ways in which this help can be provided: multimodal re-query,
where the user is allowed to point or click to provide additional information
to the model, and rephrase re-query, where the user is only allowed to provide
another referring expression. We demonstrate the importance of re-query by
showing that providing the best referring expression for all objects can
increase accuracy by up to 21.9% and that this accuracy can be matched by
re-querying only 12% of initial referring expressions. We further evaluate
re-query functions for both multimodal and rephrase re-query across three
modern approaches and demonstrate combined replacement for rephrase re-query,
which improves average single-query performance by up to 6.5% and converges to
as close as 1.6% of the upper bound of single-query performance.
- Abstract（参考訳）: 世界の共通認識を構築するために、人間は誤解を解決し、明確化を要請し受け入れる能力に頼っている。
しかし、視覚言語モデルを評価する際、精度などの指標は、一つの証拠に基づいて決定を下さなければならないという仮定を強制する。
本研究では,モデルが信頼度が低い場合に支援を求めることによって,表現理解を参照するタスクに対するこの仮定を緩和する。
マルチモーダル・リクェリ(マルチモーダル・リクェリ)では,ユーザがモデルに付加的な情報を提供するためにポイントやクリックを許されるが,リフレーズ・リクェリ(リクェリ)では,ユーザが参照表現を提供するのみを許される。
本稿では,すべてのオブジェクトに対して最高の参照表現を提供することで,最大21.9%の精度向上を実現し,この精度を初期参照表現の12%しか再クエリできないことを示す。
さらに,マルチモーダル・リプラーゼ・リクェリのリクエリ関数を3つの現代的なアプローチで評価し,リプラーゼ・リクェリ(rephrase re-query)を組み合わせることで,平均的なリクェリ性能を最大6.5%向上し,最大1.6%の単一クェリ性能に収束することを示した。
関連論文リスト
- Think-then-Act: A Dual-Angle Evaluated Retrieval-Augmented Generation [3.2134014920850364]
大型言語モデル(LLM)は時相の誤りや幻覚的内容の生成といった課題に直面していることが多い。
二重角評価による検索拡張生成フレームワーク textitThink-then-Act を提案する。
論文 参考訳（メタデータ） (2024-06-18T20:51:34Z) - Model-Based Simulation for Optimising Smart Reply [3.615981646205045]
スマートリプライ(SR)システムは、応答をタイプする代わりに選択できる一連のリプライをユーザに提示する。
これまでの研究は、反応の集合を明示的に学習するのではなく、主にポストホック化に重点を置いてきた。
そこで本研究では,モデルに基づくシミュレーションを用いて高値応答集合を探索する新しい手法SimSRを提案する。
論文 参考訳（メタデータ） (2023-05-26T12:04:33Z) - Composed Image Retrieval with Text Feedback via Multi-grained
Uncertainty Regularization [73.04187954213471]
粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。
提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
論文 参考訳（メタデータ） (2022-11-14T14:25:40Z) - Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。
我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。
エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
論文 参考訳（メタデータ） (2022-10-13T15:18:04Z) - Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。
再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
論文 参考訳（メタデータ） (2022-04-15T14:51:41Z) - BRIO: Bringing Order to Abstractive Summarization [107.97378285293507]
非決定論的分布を前提とした新しい学習パラダイムを提案する。
提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
論文 参考訳（メタデータ） (2022-03-31T05:19:38Z) - Beyond Individualized Recourse: Interpretable and Interactive Summaries
of Actionable Recourses [14.626432428431594]
本稿では,Actionable Recourse Agnostic (AReS) と呼ばれる新しいモデルフレームワークを提案する。
説明文の正当性と解釈可能性の両面を同時に最適化する新たな目的を定式化する。
当社のフレームワークは,ブラックボックスモデルに対応するリコースの包括的概要を意思決定者に提供する。
論文 参考訳（メタデータ） (2020-09-15T15:14:08Z) - Improving One-stage Visual Grounding by Recursive Sub-query Construction [102.47477888060801]
長いクエリと複雑なクエリのグラウンド化における現在の制限に対処することで、ワンステージの視覚的グラウンド化を改善する。
我々は,新しい1段階法により,最先端の1段階ベースラインに対して5.0%,4.5%,7.5%,12.8%の絶対改善が得られたことを示す。
論文 参考訳（メタデータ） (2020-08-03T17:43:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。