論文の概要: Kallini et al. (2024) do not compare impossible languages with constituency-based ones

• arxiv url: http://arxiv.org/abs/2410.12271v1
• Date: Wed, 16 Oct 2024 06:16:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:44:26.364857
• Title: Kallini et al. (2024) do not compare impossible languages with constituency-based ones
• Title（参考訳）: Kallini et al. (2024) は、不可能な言語と選挙区に基づく言語を比較しない
• Authors: Tim Hunter,
• Abstract要約: 言語理論の中心的な目的は、「可能な人間言語」という概念を特徴づけることである。 NLPアプリケーションにおける最近の大規模言語モデル(LLM)は、LLMがこの目標を満たす計算機器である可能性を高める。 私は、この矛盾を説明し、根底にある問題を適切にテストする比較を構築するためのいくつかの方法を提案します。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: A central goal of linguistic theory is to find a precise characterization of the notion "possible human language", in the form of a computational device that is capable of describing all and only the languages that can be acquired by a typically developing human child. The success of recent large language models (LLMs) in NLP applications arguably raises the possibility that LLMs might be computational devices that meet this goal. This would only be the case if, in addition to succeeding in learning human languages, LLMs struggle to learn "impossible" human languages. Kallini et al. (2024; "Mission: Impossible Language Models", Proc. ACL) conducted experiments aiming to test this by training GPT-2 on a variety of synthetic languages, and found that it learns some more successfully than others. They present these asymmetries as support for the idea that LLMs' inductive biases align with what is regarded as "possible" for human languages, but the most significant comparison has a confound that makes this conclusion unwarranted. In this paper I explain the confound and suggest some ways forward towards constructing a comparison that appropriately tests the underlying issue.
• Abstract（参考訳）: 言語理論の中心的な目標は、「可能な人間の言語」という概念を、一般的に発達している人間の子供によって獲得される全ての言語を記述できる計算装置の形で正確に特徴づけることである。 NLPアプリケーションにおける最近の大規模言語モデル(LLM)の成功は、LLMがこの目標を満たす計算機器である可能性を高める。 人間の言語を学ぶことに加えて、LLMが「不可能」な言語を学ぶのに苦労している場合のみである。 Kallini et al (2024; "Mission: Impossible Language Models", ACL) は、様々な合成言語で GPT-2 を訓練することで、これをテストする実験を行い、他の言語よりもうまく学習できることを発見した。 彼らはこれらの非対称性を、LLMの帰納的バイアスが人間の言語にとって「可能な」ものと見なされるものと一致するという考えを支持するものとして提示するが、最も重要な比較は、この結論を不確実なものにする欠点を持っている。 本稿では,その欠点を解説し,その基礎となる課題を適切に検証する比較を構築するためのいくつかの方法を提案する。

関連論文リスト

• Dictionary Insertion Prompting for Multilingual Reasoning on Multilingual Large Language Models [52.00446751692225]
  textbfDictionary textbfInsertion textbfPrompting (textbfDIP) という,新規かつシンプルで効果的な方法を提案する。 非英語のプロンプトを提供する際、DIPは単語辞書を調べ、単語の英語のプロンプトをLLMのプロンプトに挿入する。 そして、英語へのより良い翻訳とより良い英語モデル思考のステップを可能にし、明らかにより良い結果をもたらす。
  論文  参考訳（メタデータ） (2024-11-02T05:10:50Z)
• HLB: Benchmarking LLMs' Humanlikeness in Language Use [2.438748974410787]
  20大言語モデル(LLM)を評価する総合的人間類似度ベンチマーク(HLB)を提案する。 実験では2000人以上の被験者から回答を収集し,LSMの成果と比較した。 以上の結果から,LLMが様々な言語レベルにおいてヒトの反応をいかにうまく再現するかの微妙な相違が明らかとなった。
  論文  参考訳（メタデータ） (2024-09-24T09:02:28Z)
• CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.7413285637879]
  CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。 各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。 Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
  論文  参考訳（メタデータ） (2024-08-23T11:43:00Z)
• No Such Thing as a General Learner: Language models and their dual optimization [3.2228025627337864]
  我々は、人間もLLMも、様々な意味で一般の学習者ではないと論じている。 言語に対する人間の認知バイアスの重要性について,LLMのパフォーマンスが人間と類似しているか異同であるかは,重要な議論を軽視するものではないと論じる。
  論文  参考訳（メタデータ） (2024-08-18T17:01:42Z)
• Large Models of What? Mistaking Engineering Achievements for Human Linguistic Agency [0.11510009152620666]
  我々は,Large Language Models(LLM)の言語能力に関する主張は,少なくとも2つの根拠のない仮定に基づいていると主張している。 言語完全性は、自然言語のような明瞭で完全なものが存在すると仮定する。 データ完全性の仮定は、言語がデータによって定量化され、完全にキャプチャされるという信念に依存している。
  論文  参考訳（メタデータ） (2024-07-11T18:06:01Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Language Generation in the Limit [0.7787343335258782]
  候補言語の可算リストに限って生成できるエージェントが存在することを示す。 これは、言語学習のよく研究されたモデルにおいて、ゴールドとアングルインによる否定的な結果と劇的に対照的である。
  論文  参考訳（メタデータ） (2024-04-10T05:53:25Z)
• Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions [52.95579788485411]
  lingOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。 GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。 GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-28T03:44:01Z)
• Mission: Impossible Language Models [29.249131112359503]
  我々は、複雑さの異なる合成不可能な言語のセットを開発する。 一端には、英語の単語のランダムなシャッフルや不可逆的なシャッフルなど、本質的に不可能な言語がある。 一方、言語は直感的には不可能ではないかもしれないが、言語学ではそう考えられていることが多い。
  論文  参考訳（メタデータ） (2024-01-12T07:24:26Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。