論文の概要: Distributional Semantics, Holism, and the Instability of Meaning

• arxiv url: http://arxiv.org/abs/2405.12084v2
• Date: Thu, 03 Apr 2025 08:48:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 19:36:19.360259
• Title: Distributional Semantics, Holism, and the Instability of Meaning
• Title（参考訳）: 分布意味論, ホロリズム, および意味の不安定性
• Authors: Jumbly Grindrod, J. D. Porter, Nat Hansen,
• Abstract要約: 大規模言語モデルは、いわゆる分散意味論的アプローチに基づいて構築される。 ホリズムに対する標準的な反対は不安定性の代償である。 言語モデルが示す不安定性は、単語間の関係の構造とスケールによって制約されていると論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large Language Models are built on the so-called distributional semantic approach to linguistic meaning that has the distributional hypothesis at its core. The distributional hypothesis involves a holistic conception of word meaning: the meaning of a word depends upon its relations to other words in the model. A standard objection to holism is the charge of instability: any change in the meaning properties of a linguistic system (a human speaker, for example) would lead to many changes or a complete change in the entire system. We examine whether the instability objection poses a problem for distributional models of meaning. First, we distinguish between distinct forms of instability that these models could exhibit, and argue that only one such form is relevant for understanding the relation between instability and communication: what we call differential instability. Differential instability is variation in the relative distances between points in a space, rather than variation in the absolute position of those points. We distinguish differential and absolute instability by constructing two of our own smaller language models. We demonstrate the two forms of instability by showing these models change as the corpora they are constructed from increase in size. We argue that the instability that these models display is constrained by the structure and scale of relationships between words, such that the resistance to change for a word is roughly proportional to its frequent and consistent use within the language system. The differential instability that language models exhibit allows for productive forms of meaning change while not leading to the problems raised by the instability objection.
• Abstract（参考訳）: 大規模言語モデルは、その中核に分布仮説を持つ言語意味への、いわゆる分散意味論的アプローチに基づいて構築される。 分布仮説は、単語の意味の全体論的概念を包含する: 単語の意味は、モデル内の他の単語との関係に依存する。 言語システム(例えば、人間の話者)の意味的性質の変化は、システム全体に多くの変化や完全な変化をもたらす。 不安定な反対論が意味の分布モデルに問題をもたらすかどうかを検討する。 まず、これらのモデルが示すような異なる不安定な形式を区別し、そのような形式は不安定性とコミュニケーションの関係を理解するのに関係している、と論じる。 微分不安定 (differial instability) とは、空間内の点間の相対距離の変動であり、それらの点の絶対位置の変動である。 我々は2つのより小さな言語モデルを構築することで、微分と絶対不安定を区別する。 これらのモデルがサイズの増加から構築されたコーパスとして変化することを示すことによって、不安定性の2つの形態を実証する。 これらのモデルが示す不安定性は、単語間の関係の構造とスケールによって制約されており、単語の変化に対する抵抗は、言語システム内での頻繁かつ一貫した使用に大まかに比例する。 言語モデルが示す微分不安定性は、不安定性の反対によって引き起こされる問題に繋がらず、生産的な意味変化の形式を可能にする。

関連論文リスト

• Conjuring Semantic Similarity [59.18714889874088]
  2つのテキスト表現間の意味的類似性は、潜伏者の「意味」の間の距離を測定する テキスト表現間の意味的類似性は、他の表現を言い換えるのではなく、それらが引き起こすイメージに基づいている、という新しいアプローチを提案する。 提案手法は,人間の注釈付きスコアに適合するだけでなく,テキスト条件付き生成モデル評価のための新たな道を開く意味的類似性に関する新たな視点を提供する。
  論文  参考訳（メタデータ） (2024-10-21T18:51:34Z)
• How often are errors in natural language reasoning due to paraphrastic variability? [29.079188032623605]
  本稿では,自然言語推論モデルのパラフラスティック一貫性を評価するための指標を提案する。 我々は、この計量をパラフレーズ化に起因するモデルの正しさの分散の比率に数学的に結合する。 そこで我々は,7,782人の人間による記述・検証された推論問題のデータセットであるParaNLUを収集した。
  論文  参考訳（メタデータ） (2024-04-17T20:11:32Z)
• "Definition Modeling: To model definitions." Generating Definitions With Little to No Semantics [0.4061135251278187]
  我々は、このタスクが期待するほど意味論を含まないかもしれないという証拠を提示する。 文献から得られた先行モデルは、明示的なポリセミズムのような意味的側面にかなり敏感であることを示す。
  論文  参考訳（メタデータ） (2023-06-14T11:08:38Z)
• Nonparametric Identifiability of Causal Representations from Unknown Interventions [63.1354734978244]
  本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。 我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
  論文  参考訳（メタデータ） (2023-06-01T10:51:58Z)
• A Tale of Two Laws of Semantic Change: Predicting Synonym Changes with Distributional Semantic Models [1.856334276134661]
  歴史的言語文学には、同義語がどのように進化するかという2つの対立する、明らかに反対の仮説がある。 本稿では,各単語対に対する微分法則 (LD) と並列変化法則 (LPC) の相互関係を検出するための第一歩を踏み出した。 次に、分布意味論モデルを用いた問題に対する様々な計算手法を提案し、近年の語彙意味論的変化検出に関する文献にその基礎を置いている。
  論文  参考訳（メタデータ） (2023-05-30T15:50:29Z)
• Hidden variables, free choice, context-independence, and all that [0.0]
  本稿では,相互排他的文脈を持つ確率変数のシステムを記述するために,隠れ変数モデル (HVM) を体系的に記述する。 等価性と非偽性は、選択の自由と文脈に依存しない写像が全く仮定ではないことを意味する。 しかしながら、これらの2つの概念の結合は、乱れのないシステムや任意のシステムの構成に適用されるときの非文脈性を記述するファルシブルなHVMを定義する。
  論文  参考訳（メタデータ） (2023-05-25T15:06:54Z)
• Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation [37.37606905433334]
  我々は,「意味的同値性」により,自然言語の不確実性の測定が困難であることを示す。 意味的エントロピー(semantic entropy)は、共有された意味によって生成される言語的不変性を含むエントロピーである。 本手法は教師なしで,単一のモデルのみを使用し,既製の言語モデルの変更は不要である。
  論文  参考訳（メタデータ） (2023-02-19T20:10:07Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• Lexical semantic change for Ancient Greek and Latin [61.69697586178796]
  歴史的文脈における単語の正しい意味の連想は、ダイアクロニック研究の中心的な課題である。 我々は、動的ベイズ混合モデルに基づくセマンティック変化に対する最近の計算的アプローチに基づいて構築する。 本研究では,動的ベイズ混合モデルと最先端埋め込みモデルとのセマンティックな変化を系統的に比較する。
  論文  参考訳（メタデータ） (2021-01-22T12:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。