論文の概要: Should Semantic Vector Composition be Explicit? Can it be Linear

• arxiv url: http://arxiv.org/abs/2104.06555v1
• Date: Tue, 13 Apr 2021 23:58:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 00:46:56.860584
• Title: Should Semantic Vector Composition be Explicit? Can it be Linear
• Title（参考訳）: 意味ベクトル合成は明示されるべきか? 直線的か?
• Authors: Dominic Widdows, Kristen Howell, Trevor Cohen
• Abstract要約: ベクトル表現は意味言語モデリングの中心的な要素となっている。 ウェットフィッシュという概念はどのように表現すべきか? 本稿では,この質問を2つの視点から調査する。
• 参考スコア（独自算出の注目度）: 5.6031349532829955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vector representations have become a central element in semantic language modelling, leading to mathematical overlaps with many fields including quantum theory. Compositionality is a core goal for such representations: given representations for `wet' and `fish', how should the concept `wet fish' be represented? This position paper surveys this question from two points of view. The first considers the question of whether an explicit mathematical representation can be successful using only tools from within linear algebra, or whether other mathematical tools are needed. The second considers whether semantic vector composition should be explicitly described mathematically, or whether it can be a model-internal side-effect of training a neural network. This paper is intended as a survey and motivation for discussion, and does not claim to give definitive answers to the questions posed. We speculate that these questions are related, and that the nonlinear operators used in implicitly compositional language models may inform explicit compositional modelling.
• Abstract（参考訳）: ベクトル表現は意味言語モデリングの中心的な要素となり、量子論を含む多くの分野と数学的に重なる。 例えば、'wet' と 'fish' の表現が与えられた場合、'wet fish' という概念はどのように表現されるべきなのか? このポジションペーパーは、この質問を2つの視点から調査する。 1つ目は、線型代数内のツールのみを用いて、明示的な数学的表現が成功するかどうか、あるいは他の数学的ツールが必要なのかという問題である。 後者は、意味ベクトル合成が数学的に明示的に記述されるべきか、あるいはニューラルネットワークのトレーニングのモデル-内部副作用であるかどうかを考察する。 本論文は,議論のモチベーションと調査を意図しており,提案する質問に対する明確な回答は主張していない。 これらの疑問は関連しており、暗黙の合成言語モデルで使われる非線形演算子は明示的な合成モデルに影響を与えうると推測する。

関連論文リスト

• A Complexity-Based Theory of Compositionality [53.025566128892066]
  AIでは、構成表現は配布外一般化の強力な形式を可能にすることができる。 ここでは、構成性に関する直観を考慮し、拡張する構成性の公式な定義を提案する。 この定義は概念的には単純で量的であり、アルゴリズム情報理論に基礎を置いており、あらゆる表現に適用できる。
  論文  参考訳（メタデータ） (2024-10-18T18:37:27Z)
• Inference via Interpolation: Contrastive Representations Provably Enable Planning and Inference [110.47649327040392]
  時系列データを考えると、“今後どうなるか?”や“どうやって来たのか?”といった質問に答えるにはどうすればよいでしょう? これらの質問は、学習された表現の観点から、いかにコンパクトで閉じた形状の解が得られるかを示す。
  論文  参考訳（メタデータ） (2024-03-06T22:27:30Z)
• The Linear Representation Hypothesis and the Geometry of Large Language Models [12.387530469788738]
  インフォーマルに、「線形表現仮説」とは、高次概念がある表現空間の方向として線型に表現されるという考え方である。 線形表現(linear representation)とは何か? 対実対を用いて線形表現のすべての概念を統一する方法を示す。
  論文  参考訳（メタデータ） (2023-11-07T01:59:11Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• A Categorical Framework of General Intelligence [12.134564449202708]
  1950年にアラン・チューリングがこの質問をしたので、直接答えることはできない。 2つの主要な結果とともに、この目標に向けてカテゴリ的なフレームワークを導入します。
  論文  参考訳（メタデータ） (2023-03-08T13:37:01Z)
• On the Complexity of Representation Learning in Contextual Linear Bandits [110.84649234726442]
  表現学習は線形帯域よりも根本的に複雑であることを示す。 特に、与えられた表現の集合で学ぶことは、その集合の中で最悪の実現可能な表現で学ぶことよりも決して単純ではない。
  論文  参考訳（メタデータ） (2022-12-19T13:08:58Z)
• The Many-Worlds Calculus [0.0]
  このフレームワークで計算をモデル化するための色付きPROPを提案する。 このモデルは、通常のテスト、確率的および非決定論的分岐、および量子分岐をサポートすることができる。 我々は、言語が普遍的であることを証明し、方程式理論は、この意味論に関して完備であるべきである。
  論文  参考訳（メタデータ） (2022-06-21T10:10:26Z)
• Fair Interpretable Learning via Correction Vectors [68.29997072804537]
  我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。 修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。 このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-17T10:59:33Z)
• A Mathematical Exploration of Why Language Models Help Solve Downstream Tasks [35.046596668631615]
  単語予測のために大きなテキストコーパスを用いて事前訓練された自動回帰言語モデルは、多くの下流タスクの解決に成功している。 本稿では,テキスト分類の下流課題に対する,この現象の数学的研究を開始する。
  論文  参考訳（メタデータ） (2020-10-07T20:56:40Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• Context-theoretic Semantics for Natural Language: an Algebraic Framework [0.0]
  本稿では,単語,句,文がすべてベクトルとして表現される自然言語意味論の枠組みを提案する。 単語のベクトル表現は、体上の代数の要素とみなすことができる。
  論文  参考訳（メタデータ） (2020-09-22T13:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。