論文の概要: Reinterpreting 'the Company a Word Keeps': Towards Explainable and Ontologically Grounded Language Models

• arxiv url: http://arxiv.org/abs/2406.06610v1
• Date: Thu, 6 Jun 2024 20:38:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 21:04:26.898679
• Title: Reinterpreting 'the Company a Word Keeps': Towards Explainable and Ontologically Grounded Language Models
• Title（参考訳）: The Company a Word Keeps」を再解釈する : 説明可能な言語モデルとオントロジー的基盤言語モデルを目指して
• Authors: Walid S. Saba,
• Abstract要約: 我々は,大言語モデル(LLM)の相対的な成功は,記号的対準記号的議論の反映ではないと主張している。 我々は,LLMで採用されたのと同じボトムアップ戦略を,シンボリック・セッティングで採用することを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We argue that the relative success of large language models (LLMs) is not a reflection on the symbolic vs. subsymbolic debate but a reflection on employing a successful bottom-up strategy of a reverse engineering of language at scale. However, and due to their subsymbolic nature whatever knowledge these systems acquire about language will always be buried in millions of weights none of which is meaningful on its own, rendering such systems utterly unexplainable. Furthermore, and due to their stochastic nature, LLMs will often fail in making the correct inferences in various linguistic contexts that require reasoning in intensional, temporal, or modal contexts. To remedy these shortcomings we suggest employing the same successful bottom-up strategy employed in LLMs but in a symbolic setting, resulting in explainable, language-agnostic, and ontologically grounded language models.
• Abstract（参考訳）: 我々は,大規模言語モデル(LLM)の相対的な成功は,記号的対準記号的議論の反映ではなく,大規模言語のリバースエンジニアリングのボトムアップ戦略を成功させるためのリフレクションであると主張している。 しかし、それらのサブシンボリックな性質のため、これらのシステムが言語について取得した知識は、常に何百万もの重みに埋もれてしまう。 さらに、その確率的性質のため、LLMは、様々な言語文脈において、緊張的、時間的、あるいはモーダル的文脈の推論を必要とする正しい推論を行うのに失敗することが多い。 これらの欠点を解消するために、LLMで採用されているのと同じボトムアップ戦略をシンボリック・セッティングで採用することを提案する。

関連論文リスト

• Large Models of What? Mistaking Engineering Achievements for Human Linguistic Agency [0.11510009152620666]
  我々は,Large Language Models(LLM)の言語能力に関する主張は,少なくとも2つの根拠のない仮定に基づいていると主張している。 言語完全性は、自然言語のような明瞭で完全なものが存在すると仮定する。 データ完全性の仮定は、言語がデータによって定量化され、完全にキャプチャされるという信念に依存している。
  論文  参考訳（メタデータ） (2024-07-11T18:06:01Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Meaning and understanding in large language models [0.0]
  人工知能の生成的大言語モデル(LLM)の最近の発展は、機械による言語理解に関する伝統的な哲学的仮定を改訂する必要があるという信念を導いた。 本稿では,機械語の性能を単なる統語的操作と見なす傾向と理解のシミュレーションを批判的に評価する。
  論文  参考訳（メタデータ） (2023-10-26T14:06:14Z)
• Stochastic LLMs do not Understand Language: Towards Symbolic, Explainable and Ontologically Based LLMs [0.0]
  データ駆動型大規模言語モデル(LLM)の相対的な成功は象徴的対準記号的議論の反映ではないと我々は主張する。 本稿では,記号的,説明可能な,存在論的に基礎を成す言語モデルに,効果的なボトムアップ戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2023-09-12T02:14:05Z)
• Symbolic and Language Agnostic Large Language Models [0.0]
  我々は,大言語モデル(LLM)の相対的な成功は,記号的対準記号的議論の反映ではないと主張している。 ここでは, 記号的, 言語に依存しない, オントロジ的に根ざした大規模言語モデルによって, ボトムアップ戦略が成功していることを示唆する。
  論文  参考訳（メタデータ） (2023-08-27T20:24:33Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)
• Towards Explainable and Language-Agnostic LLMs: Symbolic Reverse Engineering of Language at Scale [0.0]
  大規模言語モデル(LLM)は、人工知能(AI)における多くの保持された信念をアンデニア・ブリーで変えたマイルストーンを達成した。 我々は、記号的な設定で言語のボトムアップリバースエンジニアリングを論じる。
  論文  参考訳（メタデータ） (2023-05-30T15:15:40Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。