論文の概要: Language Models as Knowledge Bases for Visual Word Sense Disambiguation

• arxiv url: http://arxiv.org/abs/2310.01960v1
• Date: Tue, 3 Oct 2023 11:11:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 14:38:26.469583
• Title: Language Models as Knowledge Bases for Visual Word Sense Disambiguation
• Title（参考訳）: 視覚単語の曖昧さ解消のための知識ベースとしての言語モデル
• Authors: Anastasia Kritharoula, Maria Lymperaiou, Giorgos Stamou
• Abstract要約: 本稿では,視覚言語変換器(VL)の検索性能向上のための知識向上手法を提案する。 より具体的には、LLM(Large Language Models)に格納された知識は、ゼロショット方式で適切なプロンプトの助けを借りて検索される。 提案手法は,LLMに格納された知識を視覚的単語センスの曖昧さを解決するために,様々な方法で活用する最初の方法である。
• 参考スコア（独自算出の注目度）: 1.8591405259852054
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Visual Word Sense Disambiguation (VWSD) is a novel challenging task that lies between linguistic sense disambiguation and fine-grained multimodal retrieval. The recent advancements in the development of visiolinguistic (VL) transformers suggest some off-the-self implementations with encouraging results, which however we argue that can be further improved. To this end, we propose some knowledge-enhancement techniques towards improving the retrieval performance of VL transformers via the usage of Large Language Models (LLMs) as Knowledge Bases. More specifically, knowledge stored in LLMs is retrieved with the help of appropriate prompts in a zero-shot manner, achieving performance advancements. Moreover, we convert VWSD to a purely textual question-answering (QA) problem by considering generated image captions as multiple-choice candidate answers. Zero-shot and few-shot prompting strategies are leveraged to explore the potential of such a transformation, while Chain-of-Thought (CoT) prompting in the zero-shot setting is able to reveal the internal reasoning steps an LLM follows to select the appropriate candidate. In total, our presented approach is the first one to analyze the merits of exploiting knowledge stored in LLMs in different ways to solve WVSD.
• Abstract（参考訳）: Visual Word Sense Disambiguation (VWSD)は、言語感覚の曖昧さと細粒度マルチモーダル検索の中間の課題である。 近年,VL変換器の開発が進展していることから,自明な実装が提案されているが,さらなる改善が期待できる。 そこで本稿では,Large Language Models (LLM) を知識ベースとして使用することにより,VL変換器の検索性能を向上させるための知識向上手法を提案する。 より具体的には、llmsに格納された知識は、適切なプロンプトの助けを借りてゼロショットで取得され、パフォーマンス向上を達成する。 さらに,VWSDを純テキスト質問回答(QA)問題に変換し,生成した画像キャプションを複数選択候補として検討する。 ゼロショットおよび少数ショットのプロンプト戦略を利用して、そのような変換の可能性を探る一方、ゼロショット設定におけるChain-of-Thought(CoT)プロンプトは、LCMが従う内部推論ステップを明らかにし、適切な候補を選択する。 提案手法は,LLMに格納された知識をWVSDの解法として活用する上でのメリットを総合的に分析する最初の方法である。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Optimization of Prompt Learning via Multi-Knowledge Representation for Vision-Language Models [26.964848679914354]
  CoKnowは、リッチなコンテキスト知識を備えたビジョンランゲージモデルのためのPrompt Learningを強化するフレームワークである。 我々は11の公開データセットに対して広範な実験を行い、CoKnowが過去の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2024-04-16T07:44:52Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Towards ASR Robust Spoken Language Understanding Through In-Context Learning With Word Confusion Networks [68.79880423713597]
  本稿では,トップ仮説のみに頼るのではなく,ASRシステムの格子出力を利用する手法を提案する。 音声質問応答と意図分類を網羅した文脈内学習実験により,LLMの音声書き起こしに対する弾力性について明らかにした。
  論文  参考訳（メタデータ） (2024-01-05T17:58:10Z)
• Good Questions Help Zero-Shot Image Reasoning [110.1671684828904]
  質問駆動型視覚探索(QVix)は、大規模視覚言語モデル(LVLM)の探索能力を高める新しい促進戦略である。 QVixは、視覚的なシーンのより広い探索を可能にし、視覚的な質問応答や視覚的エンターテイメントといったタスクにおけるLVLMの推論精度と深さを改善している。 我々は,ScienceQAやきめ細かな視覚分類など,難易度の高いゼロショット視覚言語ベンチマークの評価を行い,QVixが既存の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-12-04T03:18:51Z)
• How to Configure Good In-Context Sequence for Visual Question Answering [19.84012680826303]
  本研究では,VQA(Visual Question Answering)をケーススタディとして,多様なコンテキスト内構成を探索する。 具体的には、コンテキスト内構成を探索するために、多様な検索手法を設計し、検索したデモを操作するために異なる戦略を採用する。 適用されたLVLMの3つの重要な内部特性を明らかにし、どの戦略がICL VQA性能を継続的に改善できるかを示す。
  論文  参考訳（メタデータ） (2023-12-04T02:03:23Z)
• Filling the Image Information Gap for VQA: Prompting Large Language Models to Proactively Ask Questions [15.262736501208467]
  大規模言語モデル(LLM)は、驚くべき推論能力と世界知識の維持を実証する。 画像がLLMに見えないため、研究者は画像からテキストに変換してLLMを視覚的疑問推論の手順に変換する。 我々は、LLMが積極的に関連する質問をし、画像のより詳細な情報を公開できるフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-20T08:23:39Z)
• Large Language Models and Multimodal Retrieval for Visual Word Sense Disambiguation [1.8591405259852054]
  Visual Word Sense Disambiguation (VWSD)は、候補者の中から画像を取得することを目的とした、新しい課題である。 本稿では、様々なアプローチを適用することで、この興味深い課題を明らかにするための大きな一歩を踏み出す。
  論文  参考訳（メタデータ） (2023-10-21T14:35:42Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• LMMS Reloaded: Transformer-based Sense Embeddings for Disambiguation and Beyond [2.9005223064604078]
  近年のトランスフォーマーに基づく言語モデルでは, 感覚特有の情報を確実に伝達する文脈表現が可能であることが証明されている。 14のNLM変種に関する探索解析により,NLMのすべての層からの情報を活用するための,より原理的なアプローチを導入する。 また、タスク固有のモデルとは対照的に、これらの感覚埋め込みの汎用性を強調し、WSD以外のいくつかの感覚関連タスクに適用する。
  論文  参考訳（メタデータ） (2021-05-26T10:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。