論文の概要: Representing ELMo embeddings as two-dimensional text online
- arxiv url: http://arxiv.org/abs/2103.16414v1
- Date: Tue, 30 Mar 2021 15:12:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-31 17:27:23.722552
- Title: Representing ELMo embeddings as two-dimensional text online
- Title(参考訳): オンライン2次元テキストとしてのELMo埋め込み表現
- Authors: Andrey Kutuzov and Elizaveta Kuzmenko
- Abstract要約: 本稿では,Web上の単語埋め込みモデルを提供するWeb Embeddingsツールキットの新たな追加について述べる。
新しいELMoVizモジュールは、コンテキスト化された組み込みアーキテクチャ、特にELMoモデルのサポートを追加する。
提供された可視化は2次元テキストのメタファーに従い、語彙的な代名詞を示す:入力文の単語と文脈的に最もよく似た単語である。
- 参考スコア(独自算出の注目度): 5.1525653500591995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We describe a new addition to the WebVectors toolkit which is used to serve
word embedding models over the Web. The new ELMoViz module adds support for
contextualized embedding architectures, in particular for ELMo models. The
provided visualizations follow the metaphor of `two-dimensional text' by
showing lexical substitutes: words which are most semantically similar in
context to the words of the input sentence. The system allows the user to
change the ELMo layers from which token embeddings are inferred. It also
conveys corpus information about the query words and their lexical substitutes
(namely their frequency tiers and parts of speech). The module is well
integrated into the rest of the WebVectors toolkit, providing lexical
hyperlinks to word representations in static embedding models. Two web services
have already implemented the new functionality with pre-trained ELMo models for
Russian, Norwegian and English.
- Abstract(参考訳): 本稿では,Web上の単語埋め込みモデルを提供するWebVectorsツールキットの新たな追加について述べる。
新しいELMoVizモジュールは、特にELMoモデルにおいて、コンテキスト化された埋め込みアーキテクチャのサポートを追加する。
提供された可視化は、語彙代名詞を示すことによって「二次元テキスト」のメタファーに従う:入力文の単語と文脈的に最もよく似た単語。
このシステムでは、トークンの埋め込みが推測されるELMo層を変更することができる。
また、クエリワードとその語彙代用語(すなわち、周波数階層と音声の一部)に関するコーパス情報を伝達する。
このモジュールはwebvectors toolkitの他の部分とよく統合されており、静的埋め込みモデルにおける単語表現への語彙ハイパーリンクを提供する。
2つのwebサービスはすでに、ロシア語、ノルウェー語、英語向けに事前訓練されたelmoモデルで、新しい機能を実装している。
関連論文リスト
- OVMR: Open-Vocabulary Recognition with Multi-Modal References [96.21248144937627]
既存の研究では、モデルにカテゴリキューを埋め込む方法がいくつか提案されている。
本稿では,テキスト記述と模範画像からなるマルチモーダル手がかりを参考に,異なる視点からオープン語彙認識に取り組む。
提案したOVMRはプラグイン・アンド・プレイモジュールであり、インターネットからランダムにクロールされた典型的な画像とうまく機能する。
論文 参考訳(メタデータ) (2024-06-07T06:45:28Z) - Ranni: Taming Text-to-Image Diffusion for Accurate Instruction Following [59.997857926808116]
画像にテキストのデコードとして意味パネルを導入する。
パネルは、入力テキストから解析された視覚概念をアレンジすることで得られる。
我々は,実用的なシステムを開発し,連続生成とチャットベースの編集の可能性を示す。
論文 参考訳(メタデータ) (2023-11-28T17:57:44Z) - TextDiffuser-2: Unleashing the Power of Language Models for Text
Rendering [118.30923824681642]
TextDiffuser-2は、テキストレンダリングのための言語モデルのパワーを解き放つことを目的としている。
拡散モデル内の言語モデルを用いて,行レベルでの位置とテキストを符号化する。
我々は広範な実験を行い、GPT-4Vと同様に、ヒトの参加者を含むユーザスタディを取り入れた。
論文 参考訳(メタデータ) (2023-11-28T04:02:40Z) - Vec2Gloss: definition modeling leveraging contextualized vectors with
Wordnet gloss [8.741676279851728]
対象単語の文脈的埋め込みから光沢を生成するVec2Gloss'モデルを提案する。
この研究で得られた光沢は、中国語のWordnetの体系的な光沢パターンによって実現されている。
以上の結果から,提案したVec2Glossモデルが文脈的埋め込みの語彙-意味的応用に新たな視点を開きつつあることが示唆された。
論文 参考訳(メタデータ) (2023-05-29T02:37:37Z) - I2MVFormer: Large Language Model Generated Multi-View Document
Supervision for Zero-Shot Image Classification [108.83932812826521]
Webスケールのテキストでトレーニングされた大規模言語モデル(LLM)は、学習した知識をさまざまなタスクに再利用する素晴らしい能力を示している。
提案するモデルであるI2MVFormerは,これらのクラスビューを用いたゼロショット画像分類のためのマルチビューセマンティック埋め込みを学習する。
I2MVFormerは、教師なしセマンティック埋め込みを備えたゼロショット画像分類のための3つの公開ベンチマークデータセットに対して、最先端の新たなデータセットを確立する。
論文 参考訳(メタデータ) (2022-12-05T14:11:36Z) - Learning to Collocate Visual-Linguistic Neural Modules for Image
Captioning [80.59607794927363]
視覚言語ニューラルモジュール(LNCVM)の協調学習のための新しいイメージキャプタを提案する。
VQAで広く使われているニューラルモジュールネットワークとは異なり、視覚言語モジュールをコロケーションする作業はより困難である。
私たちのCVLNMはより効果的です。
新しい最先端の129.5 CIDEr-Dを達成し、より堅牢である。
MS-COCOデータセットの実験では、CVLNMの方が効果的であることが示されている。
新しい最先端129.5 CIDErの実現
論文 参考訳(メタデータ) (2022-10-04T03:09:50Z) - Knowing Where and What: Unified Word Block Pretraining for Document
Understanding [11.46378901674016]
We propose UTel, a language model with Unified TExt and layout pre-training。
具体的には、レイアウト学習のための単語予測(SWP)と、異なる単語ブロックを特定するための単語埋め込み(CWE)のコントラスト学習の2つの事前学習タスクを提案する。
このようにして、Masked Layout-Language Modeling (MLLM)と2つの新しいタスクの共同トレーニングにより、意味的特徴と空間的特徴を統一的に相互作用させることができる。
論文 参考訳(メタデータ) (2022-07-28T09:43:06Z) - Using Word Embeddings to Analyze Protests News [2.024222101808971]
既存のワード埋め込みである word2vec と FastTest を ELMo と DistilBERT に置き換えるため、2つの優れたモデルが選択されている。
単語の袋やそれ以前のベクトルアプローチとは異なり、ELMo と DistilBERT はテキスト内の文脈情報に基づいて意味をキャプチャすることで、単語をベクトルの列として表現する。
論文 参考訳(メタデータ) (2022-03-11T12:25:59Z) - Modelling the semantics of text in complex document layouts using graph
transformer networks [0.0]
本稿では,文書の読取パターンを近似したモデルを提案し,テキストスパン毎にユニークな意味表現を出力する。
アーキテクチャは構造化されたテキストのグラフ表現に基づいており、文書間で意味的に類似した情報を検索できるだけでなく、生成した埋め込み空間が有用な意味情報をキャプチャすることを示す。
論文 参考訳(メタデータ) (2022-02-18T11:49:06Z) - Video-Text Pre-training with Learned Regions [59.30893505895156]
Video-Textプレトレーニングは、大規模なビデオテキストペアから転送可能な表現を学ぶことを目的としている。
本研究では,大規模ビデオテキストペアの事前学習において,対象物の構造を考慮に入れたビデオテキスト学習用モジュール「RereaLearner」を提案する。
論文 参考訳(メタデータ) (2021-12-02T13:06:53Z) - Augmenting semantic lexicons using word embeddings and transfer learning [1.101002667958165]
本稿では,単語埋め込みと伝達学習を用いて,感情スコアを比較的低コストで拡張するための2つのモデルを提案する。
評価の結果、両モデルともAmazon Mechanical Turkのレビュアーと同様の精度で新しい単語を採点できるが、コストはごくわずかである。
論文 参考訳(メタデータ) (2021-09-18T20:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。