論文の概要: Language in Vivo vs. in Silico: Size Matters but Larger Language Models Still Do Not Comprehend Language on a Par with Humans

• arxiv url: http://arxiv.org/abs/2404.14883v1
• Date: Tue, 23 Apr 2024 10:09:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 14:31:13.225381
• Title: Language in Vivo vs. in Silico: Size Matters but Larger Language Models Still Do Not Comprehend Language on a Par with Humans
• Title（参考訳）: ヴィヴォ対シリコの言語:大きさは問題だが、より大きい言語モデルでは、人間と親しい関係にある言語をいまだに理解していない
• Authors: Vittoria Dentella, Fritz Guenther, Evelina Leivada,
• Abstract要約: 本研究では,人間とモデルの違いがモデルサイズに寄与するかどうかを判断する上で,モデルスケーリングが果たす役割について検討する。 アナフォラ, 中心埋め込み, 比較, 負極性を含む文法判断タスクにおいて, 3つの大言語モデル(LLM)を検証した。 モデルのサイズが大きくなると性能は向上するが、LLMは人間ほど(非)文法性に敏感ではない。
• 参考スコア（独自算出の注目度）: 1.8434042562191815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the limits of language is a prerequisite for Large Language Models (LLMs) to act as theories of natural language. LLM performance in some language tasks presents both quantitative and qualitative differences from that of humans, however it remains to be determined whether such differences are amenable to model size. This work investigates the critical role of model scaling, determining whether increases in size make up for such differences between humans and models. We test three LLMs from different families (Bard, 137 billion parameters; ChatGPT-3.5, 175 billion; ChatGPT-4, 1.5 trillion) on a grammaticality judgment task featuring anaphora, center embedding, comparatives, and negative polarity. N=1,200 judgments are collected and scored for accuracy, stability, and improvements in accuracy upon repeated presentation of a prompt. Results of the best performing LLM, ChatGPT-4, are compared to results of n=80 humans on the same stimuli. We find that increased model size may lead to better performance, but LLMs are still not sensitive to (un)grammaticality as humans are. It seems possible but unlikely that scaling alone can fix this issue. We interpret these results by comparing language learning in vivo and in silico, identifying three critical differences concerning (i) the type of evidence, (ii) the poverty of the stimulus, and (iii) the occurrence of semantic hallucinations due to impenetrable linguistic reference.
• Abstract（参考訳）: 言語の限界を理解することは、Large Language Models (LLM) が自然言語の理論として機能する前提条件である。 いくつかの言語タスクにおけるLLM性能は、人間のそれと量的および質的な違いの両方を示すが、そのような違いがモデルサイズに影響を及ぼすかどうかは定かでない。 本研究は, モデルスケーリングにおける重要な役割を解明し, 人体とモデルの違いに応じてサイズが大きくなるかを決定する。 我々は, アナフォラ, 中心埋め込み, 比較, 負極性を含む文法的判断タスクにおいて, 異なる家系(Bard, 137億パラメータ; ChatGPT-3.5, 175億パラメータ; ChatGPT-4, 1.5兆パラメータ)のLSMを検証した。 N=1,200判定は、プロンプトの繰り返し提示による精度、安定性、精度の向上のために収集され、スコアされる。 最高のLDMであるChatGPT-4の結果は、同じ刺激のn=80人の結果と比較された。 モデルのサイズが大きくなると性能は向上するが、LLMは人間ほど(非)文法性に敏感ではない。 スケーリングだけでこの問題を解決できる可能性はあるが、ありそうにない。 言語学習をin vivoとsilicoで比較することでこれらの結果を解釈し,3つの重要な違いを同定する。 (i)証拠の種類 (二)刺激の貧困、及び 三 不可解な言語的言及による意味幻覚の発生

関連論文リスト

• Large Models of What? Mistaking Engineering Achievements for Human Linguistic Agency [0.11510009152620666]
  我々は,Large Language Models(LLM)の言語能力に関する主張は,少なくとも2つの根拠のない仮定に基づいていると主張している。 言語完全性は、自然言語のような明瞭で完全なものが存在すると仮定する。 データ完全性の仮定は、言語がデータによって定量化され、完全にキャプチャされるという信念に依存している。
  論文  参考訳（メタデータ） (2024-07-11T18:06:01Z)
• Multilingual Trolley Problems for Language Models [138.0995992619116]
  この研究は、「道徳機械実験」という人間の道徳的嗜好に関する大規模横断的な研究から着想を得たものである。 大規模な言語モデル(LLM)は、英語、韓国語、ハンガリー語、中国語などの言語では人間の好みと一致しているが、ヒンディー語やソマリ語(アフリカ)のような言語では一致していないことを示す。 また, LLMが道徳的選択に与える説明を特徴付けるとともに, GPT-3によるGPT-4の決定と実用主義の裏側において, 公平性が最も有力であることを示す。
  論文  参考訳（メタデータ） (2024-07-02T14:02:53Z)
• Large GPT-like Models are Bad Babies: A Closer Look at the Relationship between Linguistic Competence and Psycholinguistic Measures [25.210837736795565]
  我々は、BabyLM事前学習コーパスの厳密なバージョンに基づいて、異なるサイズのGPTライクな言語モデルを訓練する。 これら3つの課題に対して,各課題におけるモデルの幅と深さの相違により,LMサイズと性能の正の相関が認められた。 このことは、モデリング処理の努力と言語能力は、発達可能なコーパス上でのGPTライクなLMのトレーニングとは異なるアプローチを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2023-11-08T09:26:27Z)
• Roles of Scaling and Instruction Tuning in Language Perception: Model vs. Human Attention [58.817405319722596]
  本研究は,複数の大規模言語モデル (LLM) を異なる大きさで自己意識的に比較し,言語知覚に対するスケーリングと指導指導の効果を評価する。 その結果,スケーリングは人間の類似性を向上し,簡単なパターン依存を減らし,効果的な注意力を高める一方で,命令チューニングは行わないことがわかった。 また、現在のLLMは、注目されているネイティブスピーカーよりも、常に非ネイティブに近づき、全てのモデルの準最適言語知覚が示唆されている。
  論文  参考訳（メタデータ） (2023-10-29T17:16:40Z)
• Can Large Language Models Capture Dissenting Human Voices? [7.668954669688971]
  大規模言語モデル(LLM)は、幅広いタスクの解決において素晴らしい成果を上げている。 2つの異なる手法を用いてLLM分布の性能とアライメントを評価する。 LLMはNLIタスクを解く能力に限界を示し、同時に人間の不一致分布を捉えないことを示す。
  論文  参考訳（メタデータ） (2023-05-23T07:55:34Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• Structured, flexible, and robust: benchmarking and improving large language models towards more human-like behavior in out-of-distribution reasoning tasks [39.39138995087475]
  言語単独で統計的パターンを学習することで、どの程度の人間的な思考を捉えることができるのかを問う。 本ベンチマークは2つの問題解決領域(計画と説明生成)を含み,一般化を必要とするように設計されている。 このベンチマークでは、人間はLSMよりもはるかに堅牢であることが分かりました。
  論文  参考訳（メタデータ） (2022-05-11T18:14:33Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Do Multilingual Language Models Capture Differing Moral Norms? [71.52261949766101]
  大量多言語文表現は、未処理データの大規模なコーパスに基づいて訓練される。 これは、高資源言語からの道徳的判断を含む文化的価値をモデルが把握する原因となる可能性がある。 特定の言語におけるデータ不足は、ランダムで潜在的に有害な信念を発達させる可能性がある。
  論文  参考訳（メタデータ） (2022-03-18T12:26:37Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。