論文の概要: Contextualized word senses: from attention to compositionality

• arxiv url: http://arxiv.org/abs/2312.00680v1
• Date: Fri, 1 Dec 2023 16:04:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 13:57:05.934190
• Title: Contextualized word senses: from attention to compositionality
• Title（参考訳）: 文脈化語感覚:注意から構成性へ
• Authors: Pablo Gamallo
• Abstract要約: 本稿では,文脈感覚を符号化する透過的,解釈可能,言語的に動機づけられた戦略を提案する。 特に依存関係や選択選好やパラダイムクラスといった意味概念に注意が向けられる。
• 参考スコア（独自算出の注目度）: 0.10878040851637999
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The neural architectures of language models are becoming increasingly complex, especially that of Transformers, based on the attention mechanism. Although their application to numerous natural language processing tasks has proven to be very fruitful, they continue to be models with little or no interpretability and explainability. One of the tasks for which they are best suited is the encoding of the contextual sense of words using contextualized embeddings. In this paper we propose a transparent, interpretable, and linguistically motivated strategy for encoding the contextual sense of words by modeling semantic compositionality. Particular attention is given to dependency relations and semantic notions such as selection preferences and paradigmatic classes. A partial implementation of the proposed model is carried out and compared with Transformer-based architectures for a given semantic task, namely the similarity calculation of word senses in context. The results obtained show that it is possible to be competitive with linguistically motivated models instead of using the black boxes underlying complex neural architectures.
• Abstract（参考訳）: 言語モデルのニューラルアーキテクチャは、特にアテンションメカニズムに基づいて、トランスフォーマーのニューラルアーキテクチャがますます複雑になりつつある。 自然言語処理タスクへのそれらの適用は非常に実りあることが証明されているが、解釈可能性と説明可能性の少ないモデルであり続けている。 最も適したタスクの1つは、文脈的埋め込みを用いた文脈的単語感覚の符号化である。 本稿では,意味的構成性をモデル化し,文脈感覚を符号化する透過的,解釈可能,言語的に動機付けられた戦略を提案する。 特に依存関係や選択選好やパラダイムクラスといった意味概念に注意が向けられる。 提案モデルの部分的実装を行い、与えられた意味的タスク、すなわち文脈における単語感覚の類似性計算のためのトランスフォーマティブベースのアーキテクチャと比較する。 その結果,複雑なニューラルアーキテクチャの基盤となるブラックボックスを使わずに,言語的動機付けモデルと競合する可能性が示唆された。

関連論文リスト

• Investigating Idiomaticity in Word Representations [9.208145117062339]
  我々は2つの言語(英語とポルトガル語)における様々な水準の慣用性を持つ名詞に焦点をあてる。 そこで本研究では,各名詞の音韻性判定を含む最小対のデータセットについて,タイプレベルとトークンレベルの両方で示す。 AffinityとScaled similarityの詳細なメトリクスセットを定義し、モデルが慣用性の変化につながる可能性のある摂動に対してどれほど敏感であるかを判断する。
  論文  参考訳（メタデータ） (2024-11-04T21:05:01Z)
• Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling [0.0]
  事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。 解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。 我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
  論文  参考訳（メタデータ） (2023-05-19T09:26:02Z)
• Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding [143.5927158318524]
  テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。 新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。 ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
  論文  参考訳（メタデータ） (2023-01-22T08:02:23Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Oracle Linguistic Graphs Complement a Pretrained Transformer Language Model: A Cross-formalism Comparison [13.31232311913236]
  言語グラフ表現が神経言語モデリングを補完し改善する程度について検討する。 全体としては、セマンティックな選挙区構造は言語モデリングのパフォーマンスに最も有用である。
  論文  参考訳（メタデータ） (2021-12-15T04:29:02Z)
• Neural Abstructions: Abstractions that Support Construction for Grounded Language Learning [69.1137074774244]
  言語の相互作用を効果的に活用するには、言語基底に対する2つの最も一般的なアプローチの制限に対処する必要がある。 本稿では,ラベル条件付き生成モデルの推論手順に対する制約のセットであるニューラル・アブストラクションの考え方を紹介する。 この手法により,マインクラフトにおけるオープンエンドハウスタスクのセマンティックな変更をユーザ人口が構築できることが示される。
  論文  参考訳（メタデータ） (2021-07-20T07:01:15Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Seeing Both the Forest and the Trees: Multi-head Attention for Joint Classification on Different Compositional Levels [15.453888735879525]
  自然言語では、単語は関連して文を構成するために使用される。 より低い言語的コンポーネントと高い言語的コンポーネントを明確に結び付けるディープニューラルネットワークアーキテクチャを設計する。 我々のモデルであるMHALは、異なるレベルの粒度でそれらを同時に解くことを学習していることを示す。
  論文  参考訳（メタデータ） (2020-11-01T10:44:46Z)
• Modeling Content and Context with Deep Relational Learning [31.854529627213275]
  DRaiLは、ディープリレーショナルモデルを特定するためのオープンソースの宣言型フレームワークである。 我々のフレームワークは、表現型言語エンコーダとの容易な統合をサポートし、表現、推論、学習間の相互作用を研究するためのインターフェースを提供する。
  論文  参考訳（メタデータ） (2020-10-20T17:09:35Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Semantics-Aware Inferential Network for Natural Language Understanding [79.70497178043368]
  このようなモチベーションを満たすために,セマンティックス対応推論ネットワーク(SAIN)を提案する。 SAINの推論モジュールは、明示的な文脈的セマンティクスを補完的な入力として、セマンティクス上の一連の推論ステップを可能にする。 本モデルでは,機械読解や自然言語推論など11タスクの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2020-04-28T07:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。