論文の概要: Topics in Contextualised Attention Embeddings
- arxiv url: http://arxiv.org/abs/2301.04339v1
- Date: Wed, 11 Jan 2023 07:26:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 17:10:58.358061
- Title: Topics in Contextualised Attention Embeddings
- Title(参考訳): コンテキスト型注意埋め込みの話題
- Authors: Mozhgan Talebpour, Alba Garcia Seco de Herrera, Shoaib Jameel
- Abstract要約: 最近の研究で、言語モデルから単語レベルの文脈表現をクラスタ化することは、潜在ディリクレ割当から単語の潜在トピックで見つかる単語クラスタをエミュレートすることを示した。
重要な疑問は、潜在トピックをモデル化するように明示的に設計されていない言語モデルにおいて、そのような話題の単語クラスタが、クラスタリングを通じてどのように自動的に形成されるかである。
BERT と DistilBERT を用いて,このような話題クラスタをモデル化する上で,アテンションフレームワークが重要な役割を担っていることがわかった。
- 参考スコア(独自算出の注目度): 7.6650522284905565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contextualised word vectors obtained via pre-trained language models encode a
variety of knowledge that has already been exploited in applications.
Complementary to these language models are probabilistic topic models that
learn thematic patterns from the text. Recent work has demonstrated that
conducting clustering on the word-level contextual representations from a
language model emulates word clusters that are discovered in latent topics of
words from Latent Dirichlet Allocation. The important question is how such
topical word clusters are automatically formed, through clustering, in the
language model when it has not been explicitly designed to model latent topics.
To address this question, we design different probe experiments. Using BERT and
DistilBERT, we find that the attention framework plays a key role in modelling
such word topic clusters. We strongly believe that our work paves way for
further research into the relationships between probabilistic topic models and
pre-trained language models.
- Abstract(参考訳): 事前学習された言語モデルによって得られた文脈化された単語ベクトルは、既にアプリケーションで活用されている様々な知識をエンコードする。
これらの言語モデルの補完は、テキストから主題パターンを学ぶ確率的トピックモデルである。
最近の研究で、言語モデルから単語レベルの文脈表現をクラスタ化することは、潜在ディリクレの単語の潜在トピックから発見される単語クラスタをエミュレートすることを示した。
重要な疑問は、潜在トピックをモデル化するように明示的に設計されていない言語モデルにおいて、このような話題の単語クラスタがクラスタリングを通じて自動的に形成されるかである。
この問題に対処するために、我々は異なるプローブ実験を設計する。
BERT と DistilBERT を用いて,このような話題クラスタをモデル化する上で,アテンション・フレームワークが重要な役割を果たすことがわかった。
我々は,確率論的トピックモデルと事前学習言語モデルとの関係について,さらなる研究の道を開いたと強く信じている。
関連論文リスト
- Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳(メタデータ) (2023-07-25T17:59:18Z) - Feature Interactions Reveal Linguistic Structure in Language Models [2.0178765779788495]
本研究では,ポストホック解釈における特徴帰属手法の文脈における特徴的相互作用について検討した。
私たちは、正規言語分類タスクで完璧にモデルをトレーニングする灰色のボックスの方法論を開発します。
特定の構成下では、いくつかの手法が実際にモデルが獲得した文法規則を明らかにすることができることを示す。
論文 参考訳(メタデータ) (2023-06-21T11:24:41Z) - Topics in the Haystack: Extracting and Evaluating Topics beyond
Coherence [0.0]
本稿では,文と文書のテーマを深く理解する手法を提案する。
これにより、一般的な単語やネオロジズムを含む潜在トピックを検出することができる。
本稿では, 侵入者の単語の人間識別と相関係数を示し, 単語侵入作業において, ほぼ人間レベルの結果を得る。
論文 参考訳(メタデータ) (2023-03-30T12:24:25Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳(メタデータ) (2022-12-21T02:41:40Z) - Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。
提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
論文 参考訳(メタデータ) (2022-09-20T09:16:05Z) - Language Model Cascades [72.18809575261498]
テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。
制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。
この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
論文 参考訳(メタデータ) (2022-07-21T07:35:18Z) - Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。
我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
論文 参考訳(メタデータ) (2020-10-26T21:34:39Z) - Topic Modeling with Contextualized Word Representation Clusters [8.49454123392354]
トークンレベルの文脈化された単語表現のクラスタリングは、英語のテキストコレクションのトピックモデルと多くの類似点を共有する出力を生成する。
人気言語モデルの複数の異なる出力層から学習したトークンクラスタリングを評価する。
論文 参考訳(メタデータ) (2020-10-23T19:16:59Z) - A Neural Generative Model for Joint Learning Topics and Topic-Specific
Word Embeddings [42.87769996249732]
共同学習トピックとトピック固有の単語埋め込みのための局所的・グローバル的文脈を探索する新しい生成モデルを提案する。
訓練されたモデルは、単語を話題に依存した埋め込みにマッピングする。
論文 参考訳(メタデータ) (2020-08-11T13:54:11Z) - Explainable and Discourse Topic-aware Neural Language Understanding [22.443597046878086]
トピックモデルと言語モデルの結婚は、文章以外の文書レベルのコンテキストのより広いソースに言語理解を公開する。
既存のアプローチでは、潜在する文書のトピックの比率を取り入れ、文書の文の話題の言説を無視する。
本稿では,潜時と説明可能なトピックと,文レベルでの話題会話を併用したニューラルコンポジット言語モデルを提案する。
論文 参考訳(メタデータ) (2020-06-18T15:53:58Z) - How Far are We from Effective Context Modeling? An Exploratory Study on
Semantic Parsing in Context [59.13515950353125]
文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。
我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
論文 参考訳(メタデータ) (2020-02-03T11:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。