論文の概要: Stochastic LLMs do not Understand Language: Towards Symbolic, Explainable and Ontologically Based LLMs

• arxiv url: http://arxiv.org/abs/2309.05918v3
• Date: Thu, 14 Sep 2023 12:58:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 18:01:15.111089
• Title: Stochastic LLMs do not Understand Language: Towards Symbolic, Explainable and Ontologically Based LLMs
• Title（参考訳）: 確率的LLMは言語を理解しない:記号的・説明可能・オントロジー的LLMを目指して
• Authors: Walid S. Saba
• Abstract要約: データ駆動型大規模言語モデル(LLM)の相対的な成功は象徴的対準記号的議論の反映ではないと我々は主張する。 本稿では,記号的,説明可能な,存在論的に基礎を成す言語モデルに,効果的なボトムアップ戦略を適用することを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In our opinion the exuberance surrounding the relative success of data-driven large language models (LLMs) is slightly misguided and for several reasons (i) LLMs cannot be relied upon for factual information since for LLMs all ingested text (factual or non-factual) was created equal; (ii) due to their subsymbolic na-ture, whatever 'knowledge' these models acquire about language will always be buried in billions of microfeatures (weights), none of which is meaningful on its own; and (iii) LLMs will often fail to make the correct inferences in several linguistic contexts (e.g., nominal compounds, copredication, quantifier scope ambi-guities, intensional contexts. Since we believe the relative success of data-driven large language models (LLMs) is not a reflection on the symbolic vs. subsymbol-ic debate but a reflection on applying the successful strategy of a bottom-up reverse engineering of language at scale, we suggest in this paper applying the effective bottom-up strategy in a symbolic setting resulting in symbolic, explainable, and ontologically grounded language models.
• Abstract（参考訳）: 我々の意見では、データ駆動型大規模言語モデル(LLM)の相対的な成功を巡って、若干の誤解があり、いくつかの理由がある。 i) LLMは,すべての摂取されたテキスト(実物又は非実物)が平等に作成されたため,事実情報に頼ってはならない。 (二)その副記号的ナチュアにより、これらのモデルが言語について獲得する「知識」が何であれ、常に何十億ものマイクロ特徴(重み)に埋もれ、それ自体には意味がない。 (iii)LLMは、いくつかの言語文脈(例:名目化合物、述語、量化子スコープの曖昧さ、無緊張な文脈)において正しい推論に失敗することが多い。 データ駆動型大規模言語モデル(LLM)の相対的な成功は、記号的対準記号的議論の反映ではなく、大規模にボトムアップのリバースエンジニアリングを成功させるためのリフレクションであると信じているので、本論文では、シンボル的、説明可能な、そして存在論的基礎付けられた言語モデルをもたらす効果的なボトムアップ戦略を適用することを提案する。

関連論文リスト

• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• Reinterpreting 'the Company a Word Keeps': Towards Explainable and Ontologically Grounded Language Models [0.0]
  我々は,大言語モデル(LLM)の相対的な成功は,記号的対準記号的議論の反映ではないと主張している。 我々は,LLMで採用されたのと同じボトムアップ戦略を,シンボリック・セッティングで採用することを提案する。
  論文  参考訳（メタデータ） (2024-06-06T20:38:35Z)
• Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL [78.80673954827773]
  大きな言語モデル(LLM)は、言語理解を高め、解釈可能性を改善し、バイアスを減らすために構造化セマンティクスをキャプチャする上で重要な役割を果たす。 セマンティック・ロール・ラベルリング(SRL)を,構造化意味論を抽出するLLMの能力を探るための基本課題として用いることを提案する。 LLMは実際にセマンティック構造をキャプチャすることができ、スケールアップは常にポテンシャルを反映するわけではない。 エラーのかなりの重複は、LLMと訓練されていない人間の両方によって行われ、全てのエラーの約30%を占めることに私たちは驚いています。
  論文  参考訳（メタデータ） (2024-05-10T11:44:05Z)
• LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks [18.068035947969044]
  計画と推論タスクにおけるLLM(Large Language Models)の役割には、かなりの混乱がある。 自己回帰型LSMは、それ自体で計画や自己検証を行うことはできない、と我々は主張する。 本稿では,LLMの強みと外部モデルベース検証器を併用した bf LLM-Modulo Framework のビジョンを提案する。
  論文  参考訳（メタデータ） (2024-02-02T14:43:18Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Symbolic and Language Agnostic Large Language Models [0.0]
  我々は,大言語モデル(LLM)の相対的な成功は,記号的対準記号的議論の反映ではないと主張している。 ここでは, 記号的, 言語に依存しない, オントロジ的に根ざした大規模言語モデルによって, ボトムアップ戦略が成功していることを示唆する。
  論文  参考訳（メタデータ） (2023-08-27T20:24:33Z)
• IERL: Interpretable Ensemble Representation Learning -- Combining CrowdSourced Knowledge and Distributed Semantic Representations [11.008412414253662]
  大言語モデル(LLM)は、単語の意味を分散意味論の形でエンコードする。 近年の研究では、LLMは意図しない、一貫性のない、あるいは間違ったテキストを出力として生成する傾向があることが示されている。 本稿では,LLMとクラウドソースの知識表現を体系的に組み合わせた新しいアンサンブル学習手法であるInterpretable Ensemble Representation Learning (IERL)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T05:02:34Z)
• Limits for Learning with Language Models [4.20859414811553]
  大規模言語モデル(LLM)がボレル階層の第一段階を超えて概念を学習できないことを示す。 LLMは、細部と深い言語的理解を必要とするタスクについて、正式な保証なしに運用を続ける。
  論文  参考訳（メタデータ） (2023-06-21T12:11:31Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)
• Logic-LM: Empowering Large Language Models with Symbolic Solvers for Faithful Logical Reasoning [101.26814728062065]
  大規模言語モデル(LLM)は人間のような推論能力を示しているが、それでも複雑な論理的問題に悩まされている。 本稿では,論理問題の解法を改善するために,LLMとシンボリックソルバを統合した新しいフレームワークであるLogic-LMを紹介する。
  論文  参考訳（メタデータ） (2023-05-20T22:25:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。