論文の概要: Towards Explainable and Language-Agnostic LLMs: Symbolic Reverse Engineering of Language at Scale

• arxiv url: http://arxiv.org/abs/2306.00017v1
• Date: Tue, 30 May 2023 15:15:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 20:48:05.492836
• Title: Towards Explainable and Language-Agnostic LLMs: Symbolic Reverse Engineering of Language at Scale
• Title（参考訳）: 説明可能で言語非依存なllmに向けて:大規模言語のシンボリックリバースエンジニアリング
• Authors: Walid S. Saba
• Abstract要約: 大規模言語モデル(LLM)は、人工知能(AI)における多くの保持された信念をアンデニア・ブリーで変えたマイルストーンを達成した。 我々は、記号的な設定で言語のボトムアップリバースエンジニアリングを論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved a milestone that undenia-bly changed many held beliefs in artificial intelligence (AI). However, there remains many limitations of these LLMs when it comes to true language understanding, limitations that are a byproduct of the under-lying architecture of deep neural networks. Moreover, and due to their subsymbolic nature, whatever knowledge these models acquire about how language works will always be buried in billions of microfeatures (weights), none of which is meaningful on its own, making such models hopelessly unexplainable. To address these limitations, we suggest com-bining the strength of symbolic representations with what we believe to be the key to the success of LLMs, namely a successful bottom-up re-verse engineering of language at scale. As such we argue for a bottom-up reverse engineering of language in a symbolic setting. Hints on what this project amounts to have been suggested by several authors, and we discuss in some detail here how this project could be accomplished.
• Abstract（参考訳）: 大規模言語モデル(llm)は、undenia-blyが多くの人工知能(ai)に対する信念を変えたマイルストーンを達成した。 しかし、深層ニューラルネットワークの下位アーキテクチャの副産物である真の言語理解に関しては、これらのLLMには多くの制限がある。 さらに、それらのサブシンボリックな性質のため、これらのモデルが言語がどのように機能するかに関する知識は、常に何十億ものマイクロファチュア(重み)に埋もれてしまう。 これらの制約に対処するため、我々は記号表現の強さとLLMの成功の鍵となるもの、すなわち大規模言語におけるボトムアップ・リバースエンジニアリングの成功を組み合わせることを提案する。 このように、我々はボトムアップな言語リバースエンジニアリングをシンボリックな設定で議論する。 このプロジェクトのヒントは、何人かの著者によって提案されており、このプロジェクトをどのように達成できるかについて、いくつかの詳細を議論している。

関連論文リスト

• LLMs' Understanding of Natural Language Revealed [0.0]
  大規模言語モデル(LLM)は、大規模言語におけるボトムアップ、データ駆動のリバースエンジニアリングにおける大規模な実験の結果である。 私たちはLLMの言語理解能力、彼らが想定する砦をテストすることに重点を置きます。
  論文  参考訳（メタデータ） (2024-07-29T01:21:11Z)
• Large Models of What? Mistaking Engineering Achievements for Human Linguistic Agency [0.11510009152620666]
  我々は,Large Language Models(LLM)の言語能力に関する主張は,少なくとも2つの根拠のない仮定に基づいていると主張している。 言語完全性は、自然言語のような明瞭で完全なものが存在すると仮定する。 データ完全性の仮定は、言語がデータによって定量化され、完全にキャプチャされるという信念に依存している。
  論文  参考訳（メタデータ） (2024-07-11T18:06:01Z)
• Reinterpreting 'the Company a Word Keeps': Towards Explainable and Ontologically Grounded Language Models [0.0]
  我々は,大言語モデル(LLM)の相対的な成功は,記号的対準記号的議論の反映ではないと主張している。 我々は,LLMで採用されたのと同じボトムアップ戦略を,シンボリック・セッティングで採用することを提案する。
  論文  参考訳（メタデータ） (2024-06-06T20:38:35Z)
• Mind's Eye of LLMs: Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models [71.93366651585275]
  大規模言語モデル(LLM)は、言語理解と様々な推論タスクにおいて印象的な性能を示した。 本稿では,LLMの空間的推論を視覚的に行うために,VoT(Visual-of-Thought)を提案する。 VoTはLLMの空間的推論能力を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-04T17:45:08Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• Stochastic LLMs do not Understand Language: Towards Symbolic, Explainable and Ontologically Based LLMs [0.0]
  データ駆動型大規模言語モデル(LLM)の相対的な成功は象徴的対準記号的議論の反映ではないと我々は主張する。 本稿では,記号的,説明可能な,存在論的に基礎を成す言語モデルに,効果的なボトムアップ戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2023-09-12T02:14:05Z)
• Symbolic and Language Agnostic Large Language Models [0.0]
  我々は,大言語モデル(LLM)の相対的な成功は,記号的対準記号的議論の反映ではないと主張している。 ここでは, 記号的, 言語に依存しない, オントロジ的に根ざした大規模言語モデルによって, ボトムアップ戦略が成功していることを示唆する。
  論文  参考訳（メタデータ） (2023-08-27T20:24:33Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• Shortcut Learning of Large Language Models in Natural Language Understanding [119.45683008451698]
  大規模言語モデル(LLM)は、一連の自然言語理解タスクにおいて最先端のパフォーマンスを達成した。 予測のショートカットとしてデータセットのバイアスやアーティファクトに依存するかも知れません。 これは、その一般化性と敵対的堅牢性に大きな影響を与えている。
  論文  参考訳（メタデータ） (2022-08-25T03:51:39Z)
• MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning [50.40151403246205]
  巨大な言語モデル(LM)は、自然言語ベースの知識タスクのゲートウェイとして機能する、AIの新しい時代を支えている。 離散的な知識と推論モジュールによって補完される、複数のニューラルモデルによる柔軟なアーキテクチャを定義する。 本稿では,MRKL(Modular Reasoning, Knowledge and Language)システムと呼ばれる,このニューロシンボリックアーキテクチャについて述べる。
  論文  参考訳（メタデータ） (2022-05-01T11:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。