論文の概要: LLMs as a synthesis between symbolic and continuous approaches to language

• arxiv url: http://arxiv.org/abs/2502.11856v1
• Date: Mon, 17 Feb 2025 14:48:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:18.063685
• Title: LLMs as a synthesis between symbolic and continuous approaches to language
• Title（参考訳）: 言語への記号的アプローチと連続的アプローチの合成としてのLLM
• Authors: Gemma Boleda,
• Abstract要約: 私は、言語のためのディープラーニングモデルは2つの伝統の合成を表していると論じます。 LLMにおけるモルフォシンタクティック知識のかなりの部分が、ほぼ離散的な方法でコード化されていることを示す機械的解釈可能性に関する最近の研究をレビューする。
• 参考スコア（独自算出の注目度）: 5.333866030919832
• License:
• Abstract: Since the middle of the 20th century, a fierce battle is being fought between symbolic and continuous approaches to language and cognition. The success of deep learning models, and LLMs in particular, has been alternatively taken as showing that the continuous camp has won, or dismissed as an irrelevant engineering development. However, in this position paper I argue that deep learning models for language actually represent a synthesis between the two traditions. This is because 1) deep learning architectures allow for both continuous/distributed and symbolic/discrete-like representations and computations; 2) models trained on language make use this flexibility. In particular, I review recent research in mechanistic interpretability that showcases how a substantial part of morphosyntactic knowledge is encoded in a near-discrete fashion in LLMs. This line of research suggests that different behaviors arise in an emergent fashion, and models flexibly alternate between the two modes (and everything in between) as needed. This is possibly one of the main reasons for their wild success; and it is also what makes them particularly interesting for the study of language and cognition. Is it time for peace?
• Abstract（参考訳）: 20世紀中頃から、言語と認知に対する象徴的アプローチと継続的なアプローチの間で激しい戦いが繰り広げられている。 ディープラーニングモデル、特にLLMの成功は、継続的キャンプが勝利したか、あるいは無関係なエンジニアリング開発として排除されたことを示すものとして、別のものとして捉えられている。 しかし,本稿では,言語深層学習モデルが2つの伝統間の合成を実際に表現していると論じる。 これは 1) ディープラーニングアーキテクチャは,連続的/分散的・記号的/離散的な表現と計算を可能にする。 2) 言語で訓練されたモデルは、この柔軟性を利用する。 特に,LLMにおけるモルフォシンタクティック知識のかなりの部分が,ほぼ離散的にコード化されていることを示す,機械論的解釈可能性に関する最近の研究を概観する。 この一連の研究は、異なる振る舞いが創発的に発生し、モデルは必要に応じて2つのモード(と、その間の全て)の間で柔軟に交互に変化することを示唆している。 これはおそらく彼らの大成功の主な理由の1つであり、言語と認知の研究に特に興味をそそる理由でもある。 平和の時ですか。

関連論文リスト

• Large Concept Models: Language Modeling in a Sentence Representation Space [62.73366944266477]
  本稿では,概念を命名した明示的な高レベルな意味表現に基づくアーキテクチャの試みを行う。 概念は言語とモダリティに依存しないものであり、フローにおけるより高いレベルの考えや行動を表している。 本モデルでは,多くの言語に対して,ゼロショットの一般化性能が顕著であることを示す。
  論文  参考訳（メタデータ） (2024-12-11T23:36:20Z)
• Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
  本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。 実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。 これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
  論文  参考訳（メタデータ） (2024-03-03T13:14:47Z)
• Kiki or Bouba? Sound Symbolism in Vision-and-Language Models [13.300199242824934]
  音声記号はCLIPやStable Diffusionのような視覚・言語モデルに反映されていることを示す。 我々の研究は、音の象徴性を実証し、その性質を計算ツールを用いて理解する新しい方法を提供する。
  論文  参考訳（メタデータ） (2023-10-25T17:15:55Z)
• Towards Explainable and Language-Agnostic LLMs: Symbolic Reverse Engineering of Language at Scale [0.0]
  大規模言語モデル(LLM)は、人工知能(AI)における多くの保持された信念をアンデニア・ブリーで変えたマイルストーンを達成した。 我々は、記号的な設定で言語のボトムアップリバースエンジニアリングを論じる。
  論文  参考訳（メタデータ） (2023-05-30T15:15:40Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• The Goldilocks of Pragmatic Understanding: Fine-Tuning Strategy Matters for Implicature Resolution by LLMs [26.118193748582197]
  我々は、広く使われている最先端モデルの4つのカテゴリを評価する。 2進推論を必要とする発話のみを評価するにもかかわらず、3つのカテゴリのモデルはランダムに近い性能を示す。 これらの結果は、特定の微調整戦略がモデルにおける実用的理解を誘導する上ではるかに優れていることを示唆している。
  論文  参考訳（メタデータ） (2022-10-26T19:04:23Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Psychologically-informed chain-of-thought prompts for metaphor understanding in large language models [29.993190226231793]
  我々はチェーン・オブ・シント・プロンプトを使って確率モデルから大きな言語モデルに構造を導入する。 我々のプロンプトは、メタファーの適切なパラフレーズを選択するために、言語モデルに潜伏変数を推論し、それらの関係を推論する。
  論文  参考訳（メタデータ） (2022-09-16T19:23:13Z)
• Masked Part-Of-Speech Model: Does Modeling Long Context Help Unsupervised POS-tagging? [94.68962249604749]
  フレキシブルな依存性モデリングを容易にするために,MPoSM(Masked Part-of-Speech Model)を提案する。 MPoSMは任意のタグ依存をモデル化し、マスクされたPOS再構成の目的を通じてPOS誘導を行うことができる。 英語のPenn WSJデータセットと10の多様な言語を含むユニバーサルツリーバンクの競合的な結果を得た。
  論文  参考訳（メタデータ） (2022-06-30T01:43:05Z)
• Probing Pretrained Language Models for Lexical Semantics [76.73599166020307]
  類型的多様言語と5つの異なる語彙課題にまたがる系統的経験分析を行った。 我々の結果は、普遍的に維持されるパターンとベストプラクティスを示しているが、言語やタスクにまたがる顕著なバリエーションを示している。
  論文  参考訳（メタデータ） (2020-10-12T14:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。