論文の概要: Semantic Holism and Word Representations in Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2003.05522v1
• Date: Wed, 11 Mar 2020 21:04:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 14:30:34.220137
• Title: Semantic Holism and Word Representations in Artificial Neural Networks
• Title（参考訳）: ニューラルネットワークにおける意味的ホロリズムと単語表現
• Authors: Tom\'a\v{s} Musil
• Abstract要約: 単語2vecモデルのSkip-gram変種からの単語表現は興味深い意味的特性を示す。 これは通常、一般分布仮説を参照して説明される。 本稿では,フレーゲの包括的,機能的アプローチに基づく,より具体的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial neural networks are a state-of-the-art solution for many problems in natural language processing. What can we learn about language and meaning from the way artificial neural networks represent it? Word representations obtained from the Skip-gram variant of the word2vec model exhibit interesting semantic properties. This is usually explained by referring to the general distributional hypothesis, which states that the meaning of the word is given by the contexts where it occurs. We propose a more specific approach based on Frege's holistic and functional approach to meaning. Taking Tugendhat's formal reinterpretation of Frege's work as a starting point, we demonstrate that it is analogical to the process of training the Skip-gram model and offers a possible explanation of its semantic properties.
• Abstract（参考訳）: ニューラルネットワークは、自然言語処理における多くの問題に対する最先端のソリューションである。 ニューラルネットワークの表現方法から、言語や意味について何を学ぶことができるのか? word2vecモデルのスキップグラム変種から得られる単語表現は興味深い意味的性質を示す。 これは通常、その単語の意味が発生した文脈によって与えられるという一般分布仮説を参照して説明される。 フレーゲの包括的かつ機能的な意味的アプローチに基づく、より具体的なアプローチを提案する。 ツゲンダットによるフレーゲの著作の形式的再解釈を出発点として、スキップグラムモデルを訓練するプロセスに類似していることを示し、その意味的性質の考えられる説明を提供する。

関連論文リスト

• Neural Semantic Parsing with Extremely Rich Symbolic Meaning Representations [7.774674200374255]
  分類学的階層におけるその位置に基づく概念のための新しい構成記号表現を導入する。 この表現はよりリッチな意味情報を提供し、解釈可能性を高める。 実験結果から,より豊かで複雑な意味表現に基づいて訓練された分類モデルは,評価基準を用いて従来のモデルに若干従属するが,語彙外概念を扱う場合よりも優れることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T08:06:01Z)
• Grounded learning for compositional vector semantics [1.4344589271451351]
  本研究では、スパイクニューラルネットワークアーキテクチャ内で構成分布意味論を実装する方法を提案する。 また,ラベル付き画像を用いて単語表現を訓練する手法についても述べる。
  論文  参考訳（メタデータ） (2024-01-10T22:12:34Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Seeing in Words: Learning to Classify through Language Bottlenecks [59.97827889540685]
  人間は簡潔で直感的な説明を使って予測を説明することができる。 特徴表現がテキストである視覚モデルでは,画像ネットイメージを効果的に分類できることを示す。
  論文  参考訳（メタデータ） (2023-06-29T00:24:42Z)
• Deep Learning Models to Study Sentence Comprehension in the Human Brain [0.1503974529275767]
  自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて、前例のないパフォーマンスを達成する。 我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経プロセスの理解をいかに改善したかを評価する。
  論文  参考訳（メタデータ） (2023-01-16T10:31:25Z)
• Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
  本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-03T11:22:48Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Explaining Deep Neural Networks [12.100913944042972]
  医療、金融、法律など様々な分野において、人工知能システムによる意思決定の背後にある理由を知ることが重要である。 この論文は、ディープニューラルネットワークを説明する2つの主要な方向について考察する。
  論文  参考訳（メタデータ） (2020-10-04T07:23:13Z)
• The Representation Theory of Neural Networks [7.724617675868718]
  ニューラルネットワークは、量子表現の数学的理論によって表現できることを示す。 ネットワーククイバーが共通のニューラルネットワークの概念に優しく適応していることを示します。 また、ニューラルネットワークがデータから表現を生成する方法を理解するためのクイバー表現モデルも提供します。
  論文  参考訳（メタデータ） (2020-07-23T19:02:14Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。