論文の概要: Scaling Makes It Possible: How Large Models Master Impossible Languages

• arxiv url: http://arxiv.org/abs/2611.02015v1
• Date: Sun, 01 Nov 2026 15:58:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.520535
• Title: Scaling Makes It Possible: How Large Models Master Impossible Languages
• Title（参考訳）: スケールが不可能になる - 大規模モデルがいかに不可能な言語をマスターするか
• Abstract要約: 言語モデル(LM)は自然言語のタスクに優れていますが、不可能な言語を学ぶ能力は相変わらず議論の余地があります。 セマンティック・コヒーレンス(セマンティック・コヒーレンス)を導入し,セマンティック情報がどのように言語構造で表現されるかを測定する。 LMの規模を拡大することは、学習の焦点を文法的な規則から意味論的理解へと根本的にシフトすることを示します。
• 参考スコア（独自算出の注目度）: 48.622514180159044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While language models (LMs) excel in natural language tasks, their ability to learn impossible languages--those that violate the structural, cognitive, or logical constraints that make human languages learnable and functional--remains debatable. This controversy is further fueled by a divide between linguistic theorists and empirical researchers working with small-scale LMs. To address this controversy, we introduce semantic coherence. This concept measures how effectively semantic information is expressed in language structures and examines the learning capabilities of LMs across multiple scales. By fine-tuning billion-parameter LMs on impossible language samples, we demonstrate that larger LMs achieve similar performance on impossible and possible languages, whereas million-parameter LMs exhibit significant degradation when trained on impossible languages. This performance gap widens as semantic complexity increases. We further show that scaling up the LM size fundamentally shifts the learning focus from grammatical rules to semantic understanding, with billion-scale LMs exhibiting a threefold reduction in sensitivity to low-level linguistic perturbations while maintaining stable performance under high-level semantic perturbations.
• Abstract（参考訳）: 言語モデル(LM)は自然言語のタスクに優れていますが、言語の構造的、認知的、論理的制約に違反している言語を学習する能力は、人間の言語を学習しやすく、機能的に残すことができます。 この論争は、言語理論家と小規模のLMを扱う経験的研究者の意見の相違によってさらに加速される。 この論争に対処するために、セマンティック・コヒーレンスを導入する。 この概念は、言語構造において意味情報を効果的に表現し、複数のスケールにわたるLMの学習能力を調べる。 不可能な言語サンプル上で10億パラメータのLMを微調整することにより、より大きなLMが、不可能で可能な言語上で同様の性能を達成するのに対し、100万パラメータのLMは、不可能な言語で訓練した場合に顕著な劣化を示すことを示した。 このパフォーマンスギャップは、意味的な複雑さが増加するにつれて拡大します。 さらに,LMの規模を拡大することで,文法規則から意味理解へと学習の焦点を根本的にシフトさせ,低レベルの言語摂動に対する感受性を3倍に低下させるとともに,高レベルの意味摂動下での安定的な性能を維持していることを示す。

関連論文リスト

• Language Surgery in Multilingual Large Language Models [39.66404344691661]
  大規模言語モデル(LLM)はタスクや言語にまたがる顕著な一般化機能を示している。 本稿では, LLMにおける自然に出現する表現アライメント, 特に中層における表現アライメントについて検討する。 Inference-Time Language Control (ITLC) を提案する。
  論文  参考訳（メタデータ） (2025-06-14T11:09:50Z)
• The Emergence of Abstract Thought in Large Language Models Beyond Any Language [95.50197866832772]
  大規模言語モデル(LLM)は様々な言語で効果的に機能する。 予備的研究では、LLMの隠れた活性化は、英語以外のプロンプトに反応してもしばしば英語に類似している。 近年の結果は多言語のパフォーマンスが強く、他の言語での特定のタスクにおける英語のパフォーマンスを超えている。
  論文  参考訳（メタデータ） (2025-06-11T16:00:54Z)
• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
  言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。 トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-05-21T08:35:05Z)
• LinguaLens: Towards Interpreting Linguistic Mechanisms of Large Language Models via Sparse Auto-Encoder [47.81850176849213]
  スパースオートエンコーダ(SAE)に基づく大規模言語モデルの言語メカニズム解析のためのフレームワークを提案する。 我々は4次元(形態学、構文学、意味論、プラグマティクス)にわたる中国語と英語の言語的特徴を幅広く抽出する。 本研究は, LLMにおける言語知識の内在的表現, 層間および言語間分布のパターンを明らかにし, モデル出力の制御の可能性を示した。
  論文  参考訳（メタデータ） (2025-02-27T18:16:47Z)
• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• From Babbling to Fluency: Evaluating the Evolution of Language Models in Terms of Human Language Acquisition [6.617999710257379]
  本稿では,LMの能力を評価するための3段階のフレームワークを提案する。 言語研究の手法を用いて, LMの生成能力を評価する。
  論文  参考訳（メタデータ） (2024-10-17T06:31:49Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。