論文の概要: Quantum-Like Contextuality in Large Language Models

• arxiv url: http://arxiv.org/abs/2412.16806v1
• Date: Sat, 21 Dec 2024 23:46:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:00:50.624972
• Title: Quantum-Like Contextuality in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける量子的文脈性
• Authors: Kin Ian Lo, Mehrnoosh Sadrzadeh, Shane Mansfield,
• Abstract要約: 本稿は,自然言語における「イエス」の答えを示す,最初の大規模実験的な証拠を提供する。 我々は,文脈的量子シナリオをモデル化した言語スキーマを構築し,それを簡易英語ウィキペディアでインスタンス化し,インスタンスの確率分布を抽出する。 文脈的事例は, BERT の埋め込みベクトルの文脈性度とユークリッド距離の間の方程式を導出することにより, 意味論的に類似した単語から得られたことを証明した。
• 参考スコア（独自算出の注目度）: 0.7373617024876724
• License:
• Abstract: Contextuality is a distinguishing feature of quantum mechanics and there is growing evidence that it is a necessary condition for quantum advantage. In order to make use of it, researchers have been asking whether similar phenomena arise in other domains. The answer has been yes, e.g. in behavioural sciences. However, one has to move to frameworks that take some degree of signalling into account. Two such frameworks exist: (1) a signalling-corrected sheaf theoretic model, and (2) the Contextuality-by-Default (CbD) framework. This paper provides the first large scale experimental evidence for a yes answer in natural language. We construct a linguistic schema modelled over a contextual quantum scenario, instantiate it in the Simple English Wikipedia and extract probability distributions for the instances using the large language model BERT. This led to the discovery of 77,118 sheaf-contextual and 36,938,948 CbD contextual instances. We proved that the contextual instances came from semantically similar words, by deriving an equation between degrees of contextuality and Euclidean distances of BERT's embedding vectors. A regression model further reveals that Euclidean distance is indeed the best statistical predictor of contextuality. Our linguistic schema is a variant of the co-reference resolution challenge. These results are an indication that quantum methods may be advantageous in language tasks.
• Abstract（参考訳）: 文脈性は量子力学の区別する特徴であり、量子優位性に必要な条件であることを示す証拠が増えている。 これを利用するために、研究者は同様の現象が他の領域で起こるかどうかを疑問視している。 答えはイエス、例えば行動科学です。 しかし、ある程度のシグナルを考慮に入れたフレームワークに移行する必要がある。 1)シグナリング補正せん断理論モデル,(2)CbD(Contextuality-by-Default)フレームワークの2つのフレームワークが存在する。 本稿は,自然言語における「イエス」の答えを示す,最初の大規模実験的な証拠を提供する。 我々は,文脈的量子シナリオをモデル化した言語スキーマを構築し,それを簡易英語ウィキペディアでインスタンス化し,大言語モデルBERTを用いてインスタンスの確率分布を抽出する。 これにより77,118の層状コンテクストと36,938,948のCbDのコンテキストインスタンスが発見された。 文脈的事例は, BERT の埋め込みベクトルの文脈性度とユークリッド距離の間の方程式を導出することにより, 意味論的に類似した単語から得られたことを証明した。 回帰モデルにより、ユークリッド距離が文脈性に関する最良の統計的予測因子であることが明らかにされる。 我々の言語スキーマは、共参照解決課題の変種である。 これらの結果は、量子メソッドが言語タスクにおいて有利であることを示している。

関連論文リスト

• QUITE: Quantifying Uncertainty in Natural Language Text in Bayesian Reasoning Scenarios [15.193544498311603]
  本稿では,カテゴリー的確率変数と複雑な関係を持つ実世界のベイズ推論シナリオのデータセットであるQUITEを提案する。 我々は幅広い実験を行い、論理ベースのモデルが全ての推論型において、アウト・オブ・ボックスの大規模言語モデルより優れていることを発見した。 以上の結果から,ニューロシンボリックモデルが複雑な推論を改善する上で有望な方向であることを示す。
  論文  参考訳（メタデータ） (2024-10-14T12:44:59Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• C-STS: Conditional Semantic Textual Similarity [70.09137422955506]
  条件STS(Conditional STS)と呼ばれる新しいタスクを提案する。 自然言語で記述された特徴(ヒョン, コンディション)に基づく文の類似度を測定する。 C-STSの利点は2つある:それはSTSの主観性と曖昧さを減らし、多様な自然言語条件を通して、きめ細かい言語モデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-05-24T12:18:50Z)
• A Model of Anaphoric Ambiguities using Sheaf Theoretic Quantum-like Contextuality and BERT [0.0]
  我々は、量子的文脈性を示すアナフォリック曖昧性のためのスキーマを構築する。 次に、ニューラルネットワーク埋め込みエンジンBERTを利用して、スキーマを自然言語の例にインスタンス化する。 我々の希望は、これらの例が将来の研究の道を開くことであり、量子コンピューティングの応用を自然言語処理に拡張する方法を見つけることだ。
  論文  参考訳（メタデータ） (2022-08-11T09:31:15Z)
• The Interplay between Quantum Contextuality and Wigner Negativity [0.0]
  この論文は、量子文脈性とウィグナー負性という2つの非古典的行動に焦点を当てている。 量子文脈性(quantum contextuality)とは、非局所性に取って代わる概念であり、量子系によって表される。 ウィグナー負性(Wigner negativity)は、連続可変量子光学における位相空間の定式化に由来する量子状態の非古典的な特徴である。
  論文  参考訳（メタデータ） (2022-04-19T10:05:09Z)
• On the Quantum-like Contextuality of Ambiguous Phrases [2.6381163133447836]
  あいまいな句の組合せは、量子的文脈性のための層理論の枠組みでモデル化できることを示す。 CbD (Contextuality-by-Default) の枠組みを用いて、これらの確率的変異を探索し、CbD-contextuality も可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-19T13:23:42Z)
• Kochen-Specker Contextuality [0.0]
  量子力学の基礎における中心的な結果はコチェン=スペクターの定理である。 量子力学は、測定結果が他の測定と共同で行うものに依存しない古典的なモデルと矛盾している。 この衝突は一般に量子文脈性(quantum contextuality)と呼ばれる。
  論文  参考訳（メタデータ） (2021-02-25T17:44:33Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Commonsense Evidence Generation and Injection in Reading Comprehension [57.31927095547153]
  本稿では,CEGI と命名された理解を読み取るためのコモンセンス・エビデンス・ジェネレーション・インジェクション・フレームワークを提案する。 この枠組みは、2種類の補助的コモンセンス証拠を包括的読解に注入し、機械に合理的思考能力を持たせる。 CosmosQAデータセットの実験では、提案されたCEGIモデルが現在の最先端アプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-11T16:31:08Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)
• Gaussian Process States: A data-driven representation of quantum many-body physics [59.7232780552418]
  我々は、絡み合った多体量子状態をコンパクトに表現するための、新しい非パラメトリック形式を示す。 この状態は、非常にコンパクトで、体系的に即効性があり、サンプリングに効率的である。 また、量子状態に対する普遍的な近似器として証明されており、データセットのサイズが大きくなるにつれて、絡み合った多体状態も捉えることができる。
  論文  参考訳（メタデータ） (2020-02-27T15:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。