論文の概要: Kallini et al. (2024) do not compare impossible languages with constituency-based ones
- arxiv url: http://arxiv.org/abs/2410.12271v1
- Date: Wed, 16 Oct 2024 06:16:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 13:44:26.364857
- Title: Kallini et al. (2024) do not compare impossible languages with constituency-based ones
- Title(参考訳): Kallini et al. (2024) は、不可能な言語と選挙区に基づく言語を比較しない
- Authors: Tim Hunter,
- Abstract要約: 言語理論の中心的な目的は、「可能な人間言語」という概念を特徴づけることである。
NLPアプリケーションにおける最近の大規模言語モデル(LLM)は、LLMがこの目標を満たす計算機器である可能性を高める。
私は、この矛盾を説明し、根底にある問題を適切にテストする比較を構築するためのいくつかの方法を提案します。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: A central goal of linguistic theory is to find a precise characterization of the notion "possible human language", in the form of a computational device that is capable of describing all and only the languages that can be acquired by a typically developing human child. The success of recent large language models (LLMs) in NLP applications arguably raises the possibility that LLMs might be computational devices that meet this goal. This would only be the case if, in addition to succeeding in learning human languages, LLMs struggle to learn "impossible" human languages. Kallini et al. (2024; "Mission: Impossible Language Models", Proc. ACL) conducted experiments aiming to test this by training GPT-2 on a variety of synthetic languages, and found that it learns some more successfully than others. They present these asymmetries as support for the idea that LLMs' inductive biases align with what is regarded as "possible" for human languages, but the most significant comparison has a confound that makes this conclusion unwarranted. In this paper I explain the confound and suggest some ways forward towards constructing a comparison that appropriately tests the underlying issue.
- Abstract(参考訳): 言語理論の中心的な目標は、「可能な人間の言語」という概念を、一般的に発達している人間の子供によって獲得される全ての言語を記述できる計算装置の形で正確に特徴づけることである。
NLPアプリケーションにおける最近の大規模言語モデル(LLM)の成功は、LLMがこの目標を満たす計算機器である可能性を高める。
人間の言語を学ぶことに加えて、LLMが「不可能」な言語を学ぶのに苦労している場合のみである。
Kallini et al (2024; "Mission: Impossible Language Models", ACL) は、様々な合成言語で GPT-2 を訓練することで、これをテストする実験を行い、他の言語よりもうまく学習できることを発見した。
彼らはこれらの非対称性を、LLMの帰納的バイアスが人間の言語にとって「可能な」ものと見なされるものと一致するという考えを支持するものとして提示するが、最も重要な比較は、この結論を不確実なものにする欠点を持っている。
本稿では,その欠点を解説し,その基礎となる課題を適切に検証する比較を構築するためのいくつかの方法を提案する。
関連論文リスト
- Large Models of What? Mistaking Engineering Achievements for Human Linguistic Agency [0.11510009152620666]
我々は,Large Language Models(LLM)の言語能力に関する主張は,少なくとも2つの根拠のない仮定に基づいていると主張している。
言語完全性は、自然言語のような明瞭で完全なものが存在すると仮定する。
データ完全性の仮定は、言語がデータによって定量化され、完全にキャプチャされるという信念に依存している。
論文 参考訳(メタデータ) (2024-07-11T18:06:01Z) - Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。
Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。
言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
論文 参考訳(メタデータ) (2024-06-28T17:03:51Z) - Can Large Language Models Code Like a Linguist?: A Case Study in Low Resource Sound Law Induction [6.697759280660703]
本稿では,大規模言語モデルのプログラミング能力を利用した言語に依存しない手法を提案する。
音響変化例からPython音声法則プログラムを生成する。
論文 参考訳(メタデータ) (2024-06-18T15:46:04Z) - The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。
学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。
分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
論文 参考訳(メタデータ) (2024-04-11T17:58:05Z) - Language Generation in the Limit [0.7787343335258782]
候補言語の可算リストに限って生成できるエージェントが存在することを示す。
これは、言語学習のよく研究されたモデルにおいて、ゴールドとアングルインによる否定的な結果と劇的に対照的である。
論文 参考訳(メタデータ) (2024-04-10T05:53:25Z) - Hire a Linguist!: Learning Endangered Languages with In-Context
Linguistic Descriptions [52.95579788485411]
lingOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。
GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。
GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
論文 参考訳(メタデータ) (2024-02-28T03:44:01Z) - Mission: Impossible Language Models [29.249131112359503]
我々は、複雑さの異なる合成不可能な言語のセットを開発する。
一端には、英語の単語のランダムなシャッフルや不可逆的なシャッフルなど、本質的に不可能な言語がある。
一方、言語は直感的には不可能ではないかもしれないが、言語学ではそう考えられていることが多い。
論文 参考訳(メタデータ) (2024-01-12T07:24:26Z) - How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。
最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - Instruction-Following Evaluation for Large Language Models [52.90926820437014]
大規模言語モデルに対するインストラクション・フォロー・エスバル(IFEval)を提案する。
IFEvalは、単純で簡単に再現できる評価ベンチマークである。
市場における2つのLLMの評価結果を示す。
論文 参考訳(メタデータ) (2023-11-14T05:13:55Z) - Evaluating Neural Language Models as Cognitive Models of Language
Acquisition [4.779196219827507]
我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。
小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。
子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
論文 参考訳(メタデータ) (2023-10-31T00:16:17Z) - CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。
CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。
言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
論文 参考訳(メタデータ) (2022-11-04T12:56:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。