論文の概要: Visualizing the Obvious: A Concreteness-based Ensemble Model for Noun Property Prediction

• arxiv url: http://arxiv.org/abs/2210.12905v1
• Date: Mon, 24 Oct 2022 01:25:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 16:45:05.421854
• Title: Visualizing the Obvious: A Concreteness-based Ensemble Model for Noun Property Prediction
• Title（参考訳）: 公害の可視化:名詞特性予測のための具体性に基づくアンサンブルモデル
• Authors: Yue Yang, Artemis Panagopoulou, Marianna Apidianaki, Mark Yatskar and Chris Callison-Burch
• Abstract要約: 名詞の性質は他の種類の知識よりも抽出するのが困難である。 本稿では,これらの特性を画像から抽出し,アンサンブルモデルで使用し,言語モデルから抽出した情報を補完する手法を提案する。 提案したテキストと画像の組み合わせは,強力なテキストベース言語モデルと比較して,名詞特性の予測を大幅に改善することを示す。
• 参考スコア（独自算出の注目度）: 34.37730333491428
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural language models encode rich knowledge about entities and their relationships which can be extracted from their representations using probing. Common properties of nouns (e.g., red strawberries, small ant) are, however, more challenging to extract compared to other types of knowledge because they are rarely explicitly stated in texts. We hypothesize this to mainly be the case for perceptual properties which are obvious to the participants in the communication. We propose to extract these properties from images and use them in an ensemble model, in order to complement the information that is extracted from language models. We consider perceptual properties to be more concrete than abstract properties (e.g., interesting, flawless). We propose to use the adjectives' concreteness score as a lever to calibrate the contribution of each source (text vs. images). We evaluate our ensemble model in a ranking task where the actual properties of a noun need to be ranked higher than other non-relevant properties. Our results show that the proposed combination of text and images greatly improves noun property prediction compared to powerful text-based language models.
• Abstract（参考訳）: ニューラルネットワークモデルは、プローブを使って表現から抽出できるエンティティとその関係に関する豊富な知識をエンコードする。 しかし、名詞の共通の性質(赤いイチゴ、小さなアリなど)は、テキストで明示されることが滅多にないため、他の種類の知識と比較して抽出することが困難である。 これを主にコミュニケーションの参加者に明らかな知覚特性のケースと仮定する。 本稿では,これらの特性を画像から抽出し,アンサンブルモデルで使用し,言語モデルから抽出した情報を補完する手法を提案する。 知覚的性質は抽象的性質(例えば、興味深く、不完全)よりも具体的であると考える。 本稿では,形容詞の具体性スコアをレバーとして用いて,各ソース(テキスト対画像)の寄与を校正することを提案する。 名詞の実際の特性を他の非関係特性よりも上位にランク付けする必要があるランキングタスクにおいて,アンサンブルモデルを評価する。 提案したテキストと画像の組み合わせは,強力なテキストベース言語モデルと比較して名詞特性予測を大幅に改善することを示す。

関連論文リスト

• Are we describing the same sound? An analysis of word embedding spaces of expressive piano performance [4.867952721052875]
  表現力のあるピアノ演奏の特徴の領域における不確実性について検討する。 5つの埋め込みモデルとその類似性構造を基礎的真理に対応するために検証する。 埋め込みモデルの品質は、このタスクに対して大きなばらつきを示している。
  論文  参考訳（メタデータ） (2023-12-31T12:20:03Z)
• Modelling Commonsense Properties using Pre-Trained Bi-Encoders [40.327695801431375]
  概念とその特性をモデル化するための微調整言語モデルの可能性について検討する。 実験結果から,得られたエンコーダにより,より高い精度でコモンセンス特性を予測できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-06T09:17:34Z)
• Towards Explainability in NLP: Analyzing and Calculating Word Saliency through Word Properties [4.330880304715002]
  本稿では,「塩分」と「塩分」の関係について考察する。 テキストサンプル中の単語とそれらの特性からサリエンシ値へのマッピングモデルSeq2Saliencyを構築した。 単語の塩分濃度を異なる特性で解析する実験を行った。
  論文  参考訳（メタデータ） (2022-07-17T06:02:48Z)
• Visual Clues: Bridging Vision and Language Foundations for Image Paragraph Captioning [78.07495777674747]
  我々は、視覚的手がかりを用いて、大きな事前訓練された視覚基盤モデルと言語モデルをブリッジすることで、余分なクロスモーダルトレーニングなしでそれを行うことができると論じる。 基礎モデルの強力なゼロショット機能のおかげで、画像のリッチなセマンティック表現を構築することから始める。 大規模言語モデルを用いて視覚的コンテンツを包括的に記述し、視覚モデルによって再度検証し、画像に最適な候補を選択する。
  論文  参考訳（メタデータ） (2022-06-03T22:33:09Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• ALL Dolphins Are Intelligent and SOME Are Friendly: Probing BERT for Nouns' Semantic Properties and their Prototypicality [4.915907527975786]
  我々は、参照範囲を制限しない形容詞で表される英語の名詞を構成するためにBERT(Devlin et al.)を探索する。 本研究は,名詞間の関連性の強さと意味的特徴を捉える心理言語学的データセットに基づく。 そこで, BERTでは, 形容詞の意味を推論する上で必要な情報を活用することができた。
  論文  参考訳（メタデータ） (2021-10-12T21:43:37Z)
• Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
  本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。 実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-09-20T18:40:37Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)
• Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
  我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。 以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。 視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
  論文  参考訳（メタデータ） (2020-05-01T21:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。