Fugu-MT 論文翻訳(概要): Using Distributional Principles for the Semantic Study of Contextual Language Models

論文の概要: Using Distributional Principles for the Semantic Study of Contextual Language Models

arxiv url: http://arxiv.org/abs/2111.12174v1
Date: Tue, 23 Nov 2021 22:21:16 GMT
ステータス: 処理完了
システム内更新日: 2021-11-25 14:58:57.630064
Title: Using Distributional Principles for the Semantic Study of Contextual Language Models
Title（参考訳）: 文脈言語モデルのセマンティクス研究における分布原理の利用
Authors: Olivier Ferret
Abstract要約: 我々はまず,SemCorとWordNetのパラダイム関係を制御した文脈において,置換の分布原理を探索機構として活用することによって,これらの特性を英語に焦点をあてる。次に、静的言語モデルと文脈言語モデルの違いを特徴付けるために、よりオープンな設定に同じ手法を適用することを提案する。
参考スコア（独自算出の注目度）: 7.284661356980247
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Many studies were recently done for investigating the properties of contextual language models but surprisingly, only a few of them consider the properties of these models in terms of semantic similarity. In this article, we first focus on these properties for English by exploiting the distributional principle of substitution as a probing mechanism in the controlled context of SemCor and WordNet paradigmatic relations. Then, we propose to adapt the same method to a more open setting for characterizing the differences between static and contextual language models.
Abstract（参考訳）: 近年、文脈言語モデルの性質を研究するために多くの研究が行われてきたが、驚くべきことに、これらのモデルの性質を意味的類似性の観点から考えるのはわずかである。本稿では,SemCorとWordNetのパラダイム関係を制御した文脈において,置換の分布原理を探索機構として活用することによって,これらの特性を英語に焦点をあてる。次に、静的言語モデルと文脈言語モデルの違いを特徴付けるため、よりオープンな設定に同じ方法を適用することを提案する。

関連論文リスト

Cross-domain Chinese Sentence Pattern Parsing [67.1381983012038]
文パターン構造解析(SPS)は、主に言語教育に使用される構文解析法である。既存のSPSは教科書のコーパスに大きく依存しており、クロスドメイン機能に欠ける。本稿では,大規模言語モデル(LLM)を自己学習フレームワーク内で活用する革新的な手法を提案する。
論文参考訳（メタデータ） (2024-02-26T05:30:48Z)
How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文参考訳（メタデータ） (2023-11-14T08:51:00Z)
Feature Interactions Reveal Linguistic Structure in Language Models [2.0178765779788495]
本研究では,ポストホック解釈における特徴帰属手法の文脈における特徴的相互作用について検討した。私たちは、正規言語分類タスクで完璧にモデルをトレーニングする灰色のボックスの方法論を開発します。特定の構成下では、いくつかの手法が実際にモデルが獲得した文法規則を明らかにすることができることを示す。
論文参考訳（メタデータ） (2023-06-21T11:24:41Z)
Topics in Contextualised Attention Embeddings [7.6650522284905565]
最近の研究で、言語モデルから単語レベルの文脈表現をクラスタ化することは、潜在ディリクレ割当から単語の潜在トピックで見つかる単語クラスタをエミュレートすることを示した。重要な疑問は、潜在トピックをモデル化するように明示的に設計されていない言語モデルにおいて、そのような話題の単語クラスタが、クラスタリングを通じてどのように自動的に形成されるかである。 BERT と DistilBERT を用いて,このような話題クラスタをモデル化する上で,アテンションフレームワークが重要な役割を担っていることがわかった。
論文参考訳（メタデータ） (2023-01-11T07:26:19Z)
Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。我々のモデルは、$N$言語で並列データを操作する。本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文参考訳（メタデータ） (2022-12-21T02:41:40Z)
Contextualized language models for semantic change detection: lessons learned [4.436724861363513]
本稿では,ダイアクロニック・セマンティック・チェンジを検出する文脈的埋め込みに基づく手法の出力の質的分析を行う。本研究の結果から,文脈化手法は,実際のダイアクロニック・セマンティック・シフトを行なわない単語に対して,高い変化スコアを予測できることが示唆された。我々の結論は、事前学習された文脈化言語モデルは、語彙感覚の変化と文脈分散の変化を補う傾向にあるということである。
論文参考訳（メタデータ） (2022-08-31T23:35:24Z)
Visual Comparison of Language Model Adaptation [55.92129223662381]
アダプタは、モデル適応のための軽量な代替品です。本稿では,インタラクティブな視覚的説明手法について,いくつかの設計と代替案について論じる。例えば、文脈0の埋め込みに従って言語脱バイアスタスクを訓練したアダプタが、新しいタイプのバイアスをもたらすことを示す。
論文参考訳（メタデータ） (2022-08-17T09:25:28Z)
Do Language Models Learn Position-Role Mappings? [1.4548651568912523]
位置ロールマッピングの知識を示す言語モデル(BERT,RoBERTa,DistilBERT)について検討した。実験1では、これらのニューラルモデルが、テーマと受け手の役割の区別を実際に認識していることが示される。実験2では、これらの言語モデルを1つのパラダイムで新しいテーマや受信者のようなトークンで微調整することで、モデルが他のパラダイムにおけるそれらの配置について正しい予測をすることができることを示す。
論文参考訳（メタデータ） (2022-02-08T02:50:53Z)
Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
論文参考訳（メタデータ） (2021-09-20T18:40:37Z)
Analysing Lexical Semantic Change with Contextualised Word Representations [7.071298726856781]
本稿では,BERTニューラルネットワークモデルを用いて単語使用率の表現を求める手法を提案する。我々は新しい評価データセットを作成し、モデル表現と検出された意味変化が人間の判断と正に相関していることを示す。
論文参考訳（メタデータ） (2020-04-29T12:18:14Z)
How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
論文参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。