論文の概要: Are formal and functional linguistic mechanisms dissociated?

• arxiv url: http://arxiv.org/abs/2503.11302v1
• Date: Fri, 14 Mar 2025 11:11:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:07:56.045474
• Title: Are formal and functional linguistic mechanisms dissociated?
• Title（参考訳）: 形式的および機能的言語機構は関連しているのか?
• Authors: Michael Hanna, Sandro Pezzelle, Yonatan Belinkov,
• Abstract要約: 大きな言語モデル(LLM)は、流動的で文法的なテキストを生成するのに優れるが、機能的な言語的タスクには耐え難い。 最近の研究は、形式的および機能的な言語的タスクを成功させるために、LLMはそれぞれ異なるメカニズムを使うべきであることを示唆している。 形式的タスクと機能的タスクの回路間の重なりは実際にほとんどないが、形式的言語的タスク間の重なりもほとんどない。
• 参考スコア（独自算出の注目度）: 35.514624827207136
• License:
• Abstract: Although large language models (LLMs) are increasingly capable, these capabilities are unevenly distributed: they excel at formal linguistic tasks, such as producing fluent, grammatical text, but struggle more with functional linguistic tasks like reasoning and consistent fact retrieval. Inspired by neuroscience, recent work suggests that to succeed on both formal and functional linguistic tasks, LLMs should use different mechanisms for each; such localization could either be built-in or emerge spontaneously through training. In this paper, we ask: do current models, with fast-improving functional linguistic abilities, exhibit distinct localization of formal and functional linguistic mechanisms? We answer this by finding and comparing the "circuits", or minimal computational subgraphs, responsible for various formal and functional tasks. Comparing 5 LLMs across 10 distinct tasks, we find that while there is indeed little overlap between circuits for formal and functional tasks, there is also little overlap between formal linguistic tasks, as exists in the human brain. Thus, a single formal linguistic network, unified and distinct from functional task circuits, remains elusive. However, in terms of cross-task faithfulness - the ability of one circuit to solve another's task - we observe a separation between formal and functional mechanisms, suggesting that shared mechanisms between formal tasks may exist.
• Abstract（参考訳）: 大規模言語モデル(LLM)はますます能力が増しているが、これらの機能は不均一に分散されており、流動的で文法的なテキストを生成するといった形式的な言語的タスクに優れるが、推論や一貫した事実検索のような機能的な言語的タスクに苦しむ。 神経科学に触発された最近の研究は、正式な言語タスクと機能的な言語タスクの両方を成功させるために、LSMはそれぞれ異なるメカニズムを使うべきであることを示唆している。 本稿では, 機能的言語能力の向上をめざした現行モデルは, 形式的および機能的言語機構の明確な局在化を示すか? 我々は、様々な形式的および機能的なタスクに責任を負う「回路」または最小限の計算部分グラフを発見し、比較することによって、この問題に答える。 10の異なるタスクにまたがる5つのLLMを比較すると、フォーマルなタスクと機能的なタスクの回路の間には実際にほとんど重複がないが、人間の脳にあるように、フォーマルな言語的タスクの間には重複がほとんどないことが分かる。 このように、機能的タスク回路と一体化して区別される単一の形式的言語ネットワークは、いまだ解明されていない。 しかしながら、クロスタスクの忠実さ(ある回路が他の回路のタスクを解く能力)の観点からは、形式的および機能的メカニズムの分離が観察され、形式的タスク間の共有メカニズムが存在する可能性が示唆された。

関連論文リスト

• The Geometry of Prompting: Unveiling Distinct Mechanisms of Task Adaptation in Language Models [40.128112851978116]
  本研究では,異なるプロンプト法が言語モデルにおける表現の幾何学に与える影響について検討する。 本分析では,文脈内学習における入力分布サンプルとラベル意味論の重要性を強調した。 我々の研究は、大規模言語モデルの理論的理解に寄与し、より効果的で表現を意識した促進戦略の開発の基礎となる。
  論文  参考訳（メタデータ） (2025-02-11T23:09:50Z)
• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• The LLM Language Network: A Neuroscientific Approach for Identifying Causally Task-Relevant Units [16.317199232071232]
  大規模言語モデル(LLM)は、言語タスクだけでなく、言語的でない様々なタスクにも顕著な能力を示す。 人間の脳では、神経科学は言語処理を選択的に因果的にサポートするコア言語システムを特定している。 言語選択単位を18のLLMで同定し、神経科学で用いられるのと同じ局所化手法を用いて同定する。
  論文  参考訳（メタデータ） (2024-11-04T17:09:10Z)
• An Incomplete Loop: Deductive, Inductive, and Abductive Learning in Large Language Models [99.31449616860291]
  現代の言語モデル(LM)は、異なる方法で新しいタスクを実行することを学べる。 次の命令では、ターゲットタスクは自然言語で明示的に記述され、少数ショットプロンプトでは、タスクは暗黙的に指定される。 命令推論では、LMはインコンテキストの例を示し、自然言語のタスク記述を生成するように促される。
  論文  参考訳（メタデータ） (2024-04-03T19:31:56Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Dissociating language and thought in large language models [52.39241645471213]
  大規模言語モデル(LLM)は、人間の言語を習得する上で、今までに最も近いモデルである。 我々は、この区別を人間の神経科学に根ざし、形式的、機能的な能力は異なる神経機構に依存していることを示した。 LLMは形式的能力は驚くほど優れているが、機能的能力のタスクにおける性能はいまだに不明瞭である。
  論文  参考訳（メタデータ） (2023-01-16T22:41:19Z)
• Multitasking Inhibits Semantic Drift [46.71462510028727]
  潜在言語政策(LLP)における学習のダイナミクスについて検討する。 LLPは長距離強化学習の課題を解くことができる。 これまでの研究では、LPPトレーニングは意味的ドリフトの傾向が見られた。
  論文  参考訳（メタデータ） (2021-04-15T03:42:17Z)
• A Matter of Framing: The Impact of Linguistic Formalism on Probing Results [69.36678873492373]
  BERT (Delvin et al.) のような事前訓練されたコンテキスト化エンコーダは、下流タスクで顕著なパフォーマンスを示す。 調査における最近の研究は、事前学習中にこれらのモデルによって暗黙的に学習された言語知識について調査している。 形式主義の選択は調査結果に影響を及ぼすか? BERTによる意味的役割情報とプロトロール情報のエンコーディングにおける言語学的意義の相違は,形式主義に依存している。
  論文  参考訳（メタデータ） (2020-04-30T17:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。