論文の概要: The Sociolinguistic Foundations of Language Modeling
- arxiv url: http://arxiv.org/abs/2407.09241v1
- Date: Fri, 12 Jul 2024 13:12:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-15 23:28:21.030802
- Title: The Sociolinguistic Foundations of Language Modeling
- Title（参考訳）: 言語モデリングの社会言語学的基礎
- Authors: Jack Grieve, Sara Bartl, Matteo Fuoli, Jason Grafmiller, Weihang Huang, Alejandro Jawerbaum, Akira Murakami, Marcus Perlman, Dana Roemling, Bodo Winter,
- Abstract要約: 我々は、大きな言語モデルは本質的に言語の多様性のモデルであると主張する。
この視点が言語モデリングにおける5つの基本的な課題にどのように対処できるかについて議論する。
- 参考スコア（独自算出の注目度）: 34.02231580843069
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce a sociolinguistic perspective on language modeling. We claim that large language models are inherently models of varieties of language, and we consider how this insight can inform the development and deployment of large language models. We begin by presenting a technical definition of the concept of a variety of language as developed in sociolinguistics. We then discuss how this perspective can help address five basic challenges in language modeling: social bias, domain adaptation, alignment, language change, and scale. Ultimately, we argue that it is crucial to carefully define and compile training corpora that accurately represent the specific varieties of language being modeled to maximize the performance and societal value of large language models.
- Abstract（参考訳）: 本稿では,言語モデリングにおける社会言語学的視点を紹介する。
我々は、大規模言語モデルは本質的に言語モデルのモデルであり、この洞察が大規模言語モデルの開発と展開にどのように役立つかを考える。
我々はまず、社会言語学で開発された様々な言語の概念の技術的な定義を提示することから始める。
次に、この視点が言語モデリングにおける5つの基本的な課題(社会的バイアス、ドメイン適応、アライメント、言語の変化、スケール)にどのように対処できるかについて議論する。
最終的に、大規模言語モデルの性能と社会的価値を最大化するために、モデル化されている特定の言語の種類を正確に表現したトレーニングコーパスを慎重に定義し、コンパイルすることが重要であると論じる。
関連論文リスト
- Language Models as Models of Language [0.0]
この章は、理論言語学への現代言語モデルの潜在的貢献について批判的に考察する。
言語モデルが階層的な構文構造を学習し,様々な言語現象に対する感受性を示すことを示唆する経験的証拠の蓄積を概説する。
私は、理論言語学者と計算研究者の緊密な協力が貴重な洞察をもたらすと結論づける。
論文 参考訳（メタデータ） (2024-08-13T18:26:04Z) - Modelling Language [0.0]
本稿では,大規模言語モデルが言語科学モデルとして機能する上で重要な科学的役割を担っていることを論じる。
これは、大規模な言語モデルが科学モデルとしてどのように機能するかを示すために、科学哲学における最近の研究に基づいている。
論文 参考訳（メタデータ） (2024-04-15T08:40:01Z) - Formal Aspects of Language Modeling [74.16212987886013]
大規模言語モデルは最も一般的なNLP発明の1つとなっている。
これらのノートは、ETH Z "urich course on large language model" の理論的部分の伴奏である。
論文 参考訳（メタデータ） (2023-11-07T20:21:42Z) - Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。
大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
論文 参考訳（メタデータ） (2023-10-23T03:48:24Z) - The Less the Merrier? Investigating Language Representation in
Multilingual Models [8.632506864465501]
多言語モデルにおける言語表現について検討する。
我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
論文 参考訳（メタデータ） (2023-10-20T02:26:34Z) - When Large Language Models Meet Personalization: Perspectives of
Challenges and Opportunities [60.5609416496429]
大規模言語モデルの能力は劇的に改善されている。
このような大きな飛躍的なAI能力は、パーソナライゼーションの実施方法のパターンを変えるだろう。
大規模言語モデルを汎用インターフェースとして活用することにより、パーソナライズシステムはユーザ要求を計画にコンパイルすることができる。
論文 参考訳（メタデータ） (2023-07-31T02:48:56Z) - Beyond the limitations of any imaginable mechanism: large language
models and psycholinguistics [0.0]
大規模な言語モデルは、言語のためのモデルを提供する。
実践的な道具として有用であり、言語と思考の関係を再放送する基盤として、イラストレーター比較や哲学として有用である。
論文 参考訳（メタデータ） (2023-02-28T20:49:38Z) - Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
比喩的・比喩的な言語は言論において一般的である。
現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。
ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
論文 参考訳（メタデータ） (2022-04-26T23:42:22Z) - Curriculum: A Broad-Coverage Benchmark for Linguistic Phenomena in
Natural Language Understanding [1.827510863075184]
Curriculumは広範囲言語現象の評価のためのNLIベンチマークの新しいフォーマットである。
この言語フェノメナ駆動型ベンチマークは、モデル行動の診断とモデル学習品質の検証に有効なツールであることを示す。
論文 参考訳（メタデータ） (2022-04-13T10:32:03Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳（メタデータ） (2021-09-01T09:32:06Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。