論文の概要: Entailment Semantics Can Be Extracted from an Ideal Language Model

• arxiv url: http://arxiv.org/abs/2209.12407v2
• Date: Wed, 6 Dec 2023 15:36:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 19:36:05.607935
• Title: Entailment Semantics Can Be Extracted from an Ideal Language Model
• Title（参考訳）: 記述意味論は理想的な言語モデルから抽出できる
• Authors: William Merrill and Alex Warstadt and Tal Linzen
• Abstract要約: 文間の係り受け判断が理想的な言語モデルから抽出できることを実証する。 また,これらのデータに基づいて学習した言語モデルの予測から,包含判断を復号化できることを示す。
• 参考スコア（独自算出の注目度）: 32.5500309433108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models are often trained on text alone, without additional grounding. There is debate as to how much of natural language semantics can be inferred from such a procedure. We prove that entailment judgments between sentences can be extracted from an ideal language model that has perfectly learned its target distribution, assuming the training sentences are generated by Gricean agents, i.e., agents who follow fundamental principles of communication from the linguistic theory of pragmatics. We also show entailment judgments can be decoded from the predictions of a language model trained on such Gricean data. Our results reveal a pathway for understanding the semantic information encoded in unlabeled linguistic data and a potential framework for extracting semantics from language models.
• Abstract（参考訳）: 言語モデルは、追加の根拠なしにテキストだけで訓練されることが多い。 このような手続きから自然言語の意味論がどの程度推測できるかについては議論がある。 我々は,言語学の言語理論からコミュニケーションの基本原理に従うエージェントであるGriceanエージェントが,訓練文を生成すると仮定して,目標分布を完全に学習した理想的な言語モデルから文間の係り受け判断を抽出できることを証明した。 また,これらのデータに基づいて学習した言語モデルの予測から,包含判断を復号化できることを示す。 その結果,未ラベルの言語データに符号化された意味情報を理解するための経路と,言語モデルから意味情報を抽出する潜在的枠組みが明らかになった。

関連論文リスト

• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Language Models as Models of Language [0.0]
  この章は、理論言語学への現代言語モデルの潜在的貢献について批判的に考察する。 言語モデルが階層的な構文構造を学習し,様々な言語現象に対する感受性を示すことを示唆する経験的証拠の蓄積を概説する。 私は、理論言語学者と計算研究者の緊密な協力が貴重な洞察をもたらすと結論づける。
  論文  参考訳（メタデータ） (2024-08-13T18:26:04Z)
• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• Towards Understanding What Code Language Models Learned [10.989953856458996]
  事前訓練された言語モデルは、様々な自然言語処理に有効である。 彼らの能力は、完全に学習する意味や言語を理解する能力に欠けている、と論じられている。 本研究は,表面周波数と共起を超越した,コードのセマンティクスをキャプチャする能力について考察する。
  論文  参考訳（メタデータ） (2023-06-20T23:42:14Z)
• LaMPP: Language Models as Probabilistic Priors for Perception and Action [38.07277869107474]
  非言語的知覚と制御タスクに言語モデルを活用する方法を示す。 提案手法は,確率的グラフィカルモデルにおけるラベリングと意思決定を推論として用いている。
  論文  参考訳（メタデータ） (2023-02-03T15:14:04Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Probing Linguistic Information For Logical Inference In Pre-trained Language Models [2.4366811507669124]
  本稿では,事前学習した言語モデル表現における論理推論のための言語情報探索手法を提案する。 i)事前学習された言語モデルは、推論のためにいくつかの種類の言語情報を符号化するが、弱符号化された情報もいくつか存在する。 シンボリック推論支援のためのセマンティックおよび背景知識基盤としての言語モデルの可能性を実証した。
  論文  参考訳（メタデータ） (2021-12-03T07:19:42Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。