論文の概要: Language Generation: Complexity Barriers and Implications for Learning
- arxiv url: http://arxiv.org/abs/2511.05759v1
- Date: Fri, 07 Nov 2025 23:06:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-11 21:18:44.565022
- Title: Language Generation: Complexity Barriers and Implications for Learning
- Title（参考訳）: 言語生成:複雑さの障壁と学習の意味
- Authors: Marcelo Arenas, Pablo Barceló, Luis Cofré, Alexander Kozachinskiy,
- Abstract要約: 単純でよく研究された言語ファミリであっても、成功した生成に必要なサンプルの数は極端に多いことが示される。
これらの結果は、理論的可能性と効率的な学習可能性の間に大きなギャップがあることを明らかにする。
- 参考スコア（独自算出の注目度）: 51.449718747429756
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Kleinberg and Mullainathan showed that, in principle, language generation is always possible: with sufficiently many positive examples, a learner can eventually produce sentences indistinguishable from those of a target language. However, the existence of such a guarantee does not speak to its practical feasibility. In this work, we show that even for simple and well-studied language families -- such as regular and context-free languages -- the number of examples required for successful generation can be extraordinarily large, and in some cases not bounded by any computable function. These results reveal a substantial gap between theoretical possibility and efficient learnability. They suggest that explaining the empirical success of modern language models requires a refined perspective -- one that takes into account structural properties of natural language that make effective generation possible in practice.
- Abstract（参考訳）: Kleinberg と Mullainathan は、原則として、言語生成は常に可能であることを示した。
しかし、そのような保証の存在はその現実的な実現性には言及していない。
本研究は、正規言語や文脈自由言語など、単純でよく研究されている言語ファミリーにおいても、成功に必要な例の数は極端に大きくなり、計算可能な関数に縛られない場合もあることを示します。これらの結果は、理論的可能性と効率的な学習性の間に大きなギャップがあることを示します。現代の言語モデルの実証的な成功を説明するには、実際に可能となる自然言語の構造的特性を考慮に入れた、洗練された視点が必要であることを示唆します。
関連論文リスト
- Randomly Sampled Language Reasoning Problems Elucidate Limitations of In-Context Learning [9.75748930802634]
機械学習の性能を向上させるために,テキスト内学習の能力について検討する。
非常に単純なドメインを考える: 単純な言語タスクにおける次のトークン予測。
この課題において LLM は n-gram モデルに一様に劣ることがわかった。
論文 参考訳（メタデータ） (2025-01-06T07:57:51Z) - Exploring Facets of Language Generation in the Limit [10.18252143035175]
任意の可算言語コレクションは、その極限において非一様生成の強い特性を持つ生成子を持つことを示す。
我々は,[KM24]の生成アルゴリズムにおける妥当性と幅の緊張関係を,徹底的な生成の定義を導入して定式化する。
また,包括的生成が可能な言語コレクションの正確な特徴付けも提供する。
論文 参考訳（メタデータ） (2024-11-22T22:13:40Z) - Large Models of What? Mistaking Engineering Achievements for Human Linguistic Agency [0.11510009152620666]
我々は,Large Language Models(LLM)の言語能力に関する主張は,少なくとも2つの根拠のない仮定に基づいていると主張している。
言語完全性は、自然言語のような明瞭で完全なものが存在すると仮定する。
データ完全性の仮定は、言語がデータによって定量化され、完全にキャプチャされるという信念に依存している。
論文 参考訳（メタデータ） (2024-07-11T18:06:01Z) - The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。
学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。
分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
論文 参考訳（メタデータ） (2024-04-11T17:58:05Z) - Neural Abstructions: Abstractions that Support Construction for Grounded
Language Learning [69.1137074774244]
言語の相互作用を効果的に活用するには、言語基底に対する2つの最も一般的なアプローチの制限に対処する必要がある。
本稿では,ラベル条件付き生成モデルの推論手順に対する制約のセットであるニューラル・アブストラクションの考え方を紹介する。
この手法により,マインクラフトにおけるオープンエンドハウスタスクのセマンティックな変更をユーザ人口が構築できることが示される。
論文 参考訳（メタデータ） (2021-07-20T07:01:15Z) - Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。
意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。
言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
論文 参考訳（メタデータ） (2021-04-18T08:13:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。