論文の概要: MORE: Multi-mOdal REtrieval Augmented Generative Commonsense Reasoning

• arxiv url: http://arxiv.org/abs/2402.13625v2
• Date: Fri, 14 Jun 2024 02:55:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 19:02:29.831233
• Title: MORE: Multi-mOdal REtrieval Augmented Generative Commonsense Reasoning
• Title（参考訳）: MORE:Multi-modal Retrieval Augmented Generative Commonsense Reasoning
• Authors: Wanqing Cui, Keping Bi, Jiafeng Guo, Xueqi Cheng,
• Abstract要約: 本稿では,テキストと画像の両面を利用したマルチモーダル検索フレームワークを提案し,言語モデルのコモンセンス性を向上する。 Common-Genタスクの実験では、シングルモードと複数モードの事前学習モデルに基づくMOREの有効性が実証されている。
• 参考スコア（独自算出の注目度）: 66.06254418551737
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Since commonsense information has been recorded significantly less frequently than its existence, language models pre-trained by text generation have difficulty to learn sufficient commonsense knowledge. Several studies have leveraged text retrieval to augment the models' commonsense ability. Unlike text, images capture commonsense information inherently but little effort has been paid to effectively utilize them. In this work, we propose a novel Multi-mOdal REtrieval (MORE) augmentation framework, to leverage both text and images to enhance the commonsense ability of language models. Extensive experiments on the Common-Gen task have demonstrated the efficacy of MORE based on the pre-trained models of both single and multiple modalities.
• Abstract（参考訳）: コモンセンス情報は、その存在よりもはるかに少ない頻度で記録されているため、テキスト生成によって事前訓練された言語モデルは、十分なコモンセンス知識を習得することが困難である。 いくつかの研究は、テキスト検索を利用してモデルのコモンセンス能力を増強してきた。 テキストとは異なり、画像は本来は常識的な情報をキャプチャするが、それらを効果的に活用するための努力はほとんど支払われていない。 本研究では,テキストと画像の両方を活用し,言語モデルのコモンセンス能力を向上する,新しいMORE(Multi-mOdal Retrieval)拡張フレームワークを提案する。 Common-Genタスクに関する大規模な実験は、シングルモードと複数モードの事前学習モデルに基づくMOREの有効性を実証した。

関連論文リスト

• Improving Visual Commonsense in Language Models via Multiple Image Generation [41.565399860320966]
  既存の大規模言語モデル(LLM)は、主にテキストデータのみを使用して訓練されている。 視覚言語モデルは視覚的に指向するタスクに優れており、基本的なコモンセンス推論のような視覚的でないタスクでは失敗することが多い。 この分散は、基本的なテキストベースの言語推論と堅牢な視覚的理解の統合という、重要な課題を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-06-19T15:17:10Z)
• TRINS: Towards Multimodal Language Models that Can Read [61.17806538631744]
  TRINSはText-RichイメージINStructionデータセットである。 39,153の画像、キャプション、102,437の質問が含まれている。 本稿では,画像中のテキスト内容の理解に長けたLanguage-vision Reading Assistant(LaRA)を提案する。
  論文  参考訳（メタデータ） (2024-06-10T18:52:37Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models [56.88192537044364]
  本研究では,事前学習拡散モデルに対するセマンティック・アダプタ (SUR-adapter) と呼ばれる簡易なパラメータ効率の良い微調整手法を提案する。 ユーザエクスペリエンスの向上により,テキストから画像への拡散モデルの使いやすさが向上する。
  論文  参考訳（メタデータ） (2023-05-09T05:48:38Z)
• MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text [58.655375327681774]
  我々は,Multimodal Retrieval-Augmented Transformer (MuRAG)を提案する。 MuRAGは外部の非パラメトリックマルチモーダルメモリにアクセスして言語生成を増強する。 以上の結果から, MuRAGは最先端の精度を達成し, 既存のモデルよりも10～20%精度が高いことがわかった。
  論文  参考訳（メタデータ） (2022-10-06T13:58:03Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)
• GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation [9.501648136713694]
  GPT-3のような大規模言語モデルは優れた数ショット学習者であり、自然なテキストプロンプトで制御できる。 本稿では,大規模言語モデルを用いて現実的なテキストサンプルを生成する新しいデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T11:39:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。