論文の概要: High-dimensional distributed semantic spaces for utterances
- arxiv url: http://arxiv.org/abs/2104.00424v1
- Date: Thu, 1 Apr 2021 12:09:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-02 13:45:32.833607
- Title: High-dimensional distributed semantic spaces for utterances
- Title（参考訳）: 発話のための高次元分布意味空間
- Authors: Jussi Karlgren and Pentti Kanerva
- Abstract要約: 本稿では,発話とテキストレベルデータの高次元表現モデルについて述べる。
言語情報を表現する数学的原理と行動学的に妥当なアプローチに基づいている。
本論文は,固定次元の共通積分フレームワークにおいて,実装モデルが言語的特徴を広範囲に表すことができるかを示す。
- 参考スコア（独自算出の注目度）: 0.2907403645801429
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-dimensional distributed semantic spaces have proven useful and effective
for aggregating and processing visual, auditory, and lexical information for
many tasks related to human-generated data. Human language makes use of a large
and varying number of features, lexical and constructional items as well as
contextual and discourse-specific data of various types, which all interact to
represent various aspects of communicative information. Some of these features
are mostly local and useful for the organisation of e.g. argument structure of
a predication; others are persistent over the course of a discourse and
necessary for achieving a reasonable level of understanding of the content.
This paper describes a model for high-dimensional representation for utterance
and text level data including features such as constructions or contextual
data, based on a mathematically principled and behaviourally plausible approach
to representing linguistic information. The implementation of the
representation is a straightforward extension of Random Indexing models
previously used for lexical linguistic items. The paper shows how the
implemented model is able to represent a broad range of linguistic features in
a common integral framework of fixed dimensionality, which is computationally
habitable, and which is suitable as a bridge between symbolic representations
such as dependency analysis and continuous representations used e.g. in
classifiers or further machine-learning approaches. This is achieved with
operations on vectors that constitute a powerful computational algebra,
accompanied with an associative memory for the vectors. The paper provides a
technical overview of the framework and a worked through implemented example of
how it can be applied to various types of linguistic features.
- Abstract（参考訳）: 高次元分散意味空間は、人間の生成したデータに関連する多くのタスクの視覚的、聴覚的、語彙的情報を集約し処理するのに有用かつ効果的であることが証明されている。
人間の言語は、多種多様な特徴、語彙的および構成的項目、および様々なタイプの文脈的および談話固有のデータを使用しており、これらは全て、コミュニケーション情報の様々な側面を表現するために相互作用する。
これらの機能のいくつかは、主にローカルで、例えば組織にとって有用である。
述語における議論の構造;他のものは言論の過程で永続的であり、内容の合理的な理解を達成するために必要なものである。
本稿では,言語情報を表現するための数学的原理と行動学的に妥当なアプローチに基づいて,構成や文脈データなどの特徴を含む発話・テキストレベルの高次元表現モデルについて述べる。
この表現の実装は、以前語彙言語項目に使われたランダムインデックスモデルの直接的な拡張である。
本論文は,従属解析や連続表現などの記号的表現の橋渡しとして好適な,固定次元の共通積分フレームワークにおいて,実装されたモデルが言語的特徴を広範囲に表すことができることを示す。
分類器や機械学習のアプローチで。
これは、ベクトルの連想メモリを伴う強力な計算代数学を構成するベクトルの演算によって達成される。
本稿では,フレームワークの技術的概要と,様々な言語的特徴にどのように適用できるかの具体例を紹介する。
関連論文リスト
- Explaining Datasets in Words: Statistical Models with Natural Language Parameters [66.69456696878842]
本稿では, クラスタリング, 時系列, 分類モデルなど, 自然言語の述語によってパラメータ化される統計モデル群を紹介する。
当社のフレームワークは、ユーザチャット対話の分類、時間の経過とともにどのように進化するかの特徴付け、一方の言語モデルが他方よりも優れているカテゴリを見つけることなど、幅広い問題に適用しています。
論文 参考訳（メタデータ） (2024-09-13T01:40:20Z) - How well do distributed representations convey contextual lexical semantics: a Thesis Proposal [3.3585951129432323]
本稿では,現代ニューラルネットワークによる語彙意味の符号化における分散表現の有効性について検討する。
文脈に影響された意味の関連性と類似性に基づいて,曖昧さの4つの源を同定する。
次に、多言語データセットの収集や構築、様々な言語モデルの利用、言語解析ツールの利用により、これらの情報源を評価することを目的とする。
論文 参考訳（メタデータ） (2024-06-02T14:08:51Z) - Leveraging Contextual Information for Effective Entity Salience Detection [21.30389576465761]
クロスエンコーダアーキテクチャを用いた中規模言語モデルの微調整により,機能工学的アプローチよりも優れた性能が得られることを示す。
また、命令調整言語モデルのゼロショットプロンプトは、タスクの特異性と複雑さを示す劣った結果をもたらすことを示す。
論文 参考訳（メタデータ） (2023-09-14T19:04:40Z) - Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。
ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
論文 参考訳（メタデータ） (2023-05-04T16:04:41Z) - Topics as Entity Clusters: Entity-based Topics from Large Language Models and Graph Neural Networks [0.6486052012623045]
本稿では,エンティティのバイモーダルベクトル表現を用いたトピッククラスタリング手法を提案する。
我々のアプローチは、最先端のモデルと比較してエンティティを扱うのに適している。
論文 参考訳（メタデータ） (2023-01-06T10:54:54Z) - Cross-Modal Discrete Representation Learning [73.68393416984618]
本稿では,様々なモダリティにまたがるより細かい粒度を捉える表現を学習する自己教師型学習フレームワークを提案する。
我々のフレームワークは、異なるモダリティ間で共有されるベクトル量子化によって生成される離散化された埋め込み空間に依存している。
論文 参考訳（メタデータ） (2021-06-10T00:23:33Z) - Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。
提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
論文 参考訳（メタデータ） (2021-04-20T17:56:24Z) - Prototypical Representation Learning for Relation Extraction [56.501332067073065]
本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。
文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。
いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-03-22T08:11:43Z) - Learning Universal Representations from Word to Sentence [89.82415322763475]
この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。
本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。
適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
論文 参考訳（メタデータ） (2020-09-10T03:53:18Z) - Structured (De)composable Representations Trained with Neural Networks [21.198279941828112]
テンプレート表現は、クラス全体の特性をキャプチャするジェネリック表現を指す。
提案手法は、エンドツーエンドのディープラーニングを用いて、入力画像と離散ラベルから構造化および構成可能な表現を学習する。
表現には明確な構造があることを証明し、表現をクラスや環境を表す因子に分解する。
論文 参考訳（メタデータ） (2020-07-07T10:20:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。