論文の概要: Language, Language Models, and What We're Talking About
- arxiv url: http://arxiv.org/abs/2609.03577v1
- Date: Thu, 03 Sep 2026 09:27:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.001062
- Title: Language, Language Models, and What We're Talking About
- Title(参考訳): 言語、言語モデル、そして我々が話していること
- Abstract要約: 翻訳データや合成データに関するモデルを訓練し、専門化するシステムの性質に注意を向けたい。
最初に、技術製品として設計された言語モデルと、言語自体を研究するためのツールとして設計された言語モデルとの明確な区別を考慮しなければ、この疑問に答えることはできない、と私は論じる。
- 参考スコア(独自算出の注目度): 17.406192329306247
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models are commonly discussed as technical artefacts, but they are obviously shaped by the linguistic worlds conveyed by data during their training. Using Italian language models as evidence, I want to bring attention to the nature of the systems which result from training and specialising models on translated and synthetic data, and further curating them, and to the meaning of testing them on equally unnatural data. Are these eventually models of Italian? Are they models of language? Does NLP still care about language? These questions yield another, more concrete question: what language do we actually want language models to produce? I argue that this question cannot be answered if we do not first consider a clearer distinction between language models designed as technical products and language models designed as tools for studying language itself. The answers then might be diverse, the languages we are talking about might be diverse, and the picture might not be as pessimistic as we fear.
- Abstract(参考訳): 言語モデルは一般的に技術的成果物として議論されるが、それらは明らかに訓練中にデータによって伝えられる言語の世界によって形作られたものである。
イタリア語のモデルを証拠として用いて、翻訳データや合成データのモデルを訓練し、専門化し、さらにそれをキュレートし、等しく不自然なデータでそれらをテストする意味を持つシステムの性質に注意を向けたい。
これらは最終的にイタリアのモデルですか?
それらは言語のモデルか?
NLPはまだ言語に関心がありますか?
言語モデルが実際に生成したいのは,どのような言語なのですか?
最初に、技術製品として設計された言語モデルと、言語自体を研究するためのツールとして設計された言語モデルとの明確な区別を考慮しなければ、この疑問に答えることはできない、と私は論じる。
答えは多様かもしれないし、私たちが話している言語は多様かもしれないし、写真は私たちが恐れているほど悲観的ではないかもしれない。
関連論文リスト
- Language Specific Knowledge: Do Models Know Better in X than in English? [9.923619418000488]
コードスイッチングは、異なる言語間で同じ発話、思考、会話を交互に行う一般的な現象である。
我々はこの現象を表すために言語特化知識(LSK)という用語を作った。
英語以外の言語でチェーン・オブ・シークレット・推論を用いることで,言語モデルの性能が向上することがわかった。
論文 参考訳(メタデータ) (2025-05-21T00:31:13Z) - How Linguistics Learned to Stop Worrying and Love the Language Models [17.413438037432414]
我々は、LMの成功は言語理論と構造を研究する必要性を損なうと論じている。
言語学に根ざした議論や考え方を再考せざるを得ない。
言語モデルと言語学の関係について楽観的な見解を提供する。
論文 参考訳(メタデータ) (2025-01-28T16:13:19Z) - Lost in Translation: Large Language Models in Non-English Content
Analysis [0.0]
大規模言語モデルは、オンラインで言語を分析し、生成するAIシステムを構築する上で、支配的なアプローチとなっている。
近年、研究者やテクノロジー企業は、大規模言語モデルの能力を英語以外の言語にも拡張しようと試みている。
論文 参考訳(メタデータ) (2023-06-12T19:10:47Z) - Neural Machine Translation for the Indigenous Languages of the Americas:
An Introduction [102.13536517783837]
アメリカ大陸のほとんどの言語は、もしあるならば、並列データと単言語データしか持たない。
これらの言語におけるNLPコミュニティの関心が高まった結果、最近の進歩、発見、オープンな質問について論じる。
論文 参考訳(メタデータ) (2023-06-11T23:27:47Z) - Speaking Multiple Languages Affects the Moral Bias of Language Models [70.94372902010232]
事前訓練された多言語言語モデル(PMLM)は、複数の言語からのデータや言語間転送を扱う際に一般的に用いられる。
モデルは英語から道徳的規範を捉え、他の言語に強制するか?
我々の実験は、事実、PMLMが道徳的バイアスを符号化していることを示しているが、これらは必ずしも人間の意見の文化的相違や共通点に対応しているわけではない。
論文 参考訳(メタデータ) (2022-11-14T20:08:54Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳(メタデータ) (2022-10-14T02:35:19Z) - Do Multilingual Language Models Capture Differing Moral Norms? [71.52261949766101]
大量多言語文表現は、未処理データの大規模なコーパスに基づいて訓練される。
これは、高資源言語からの道徳的判断を含む文化的価値をモデルが把握する原因となる可能性がある。
特定の言語におけるデータ不足は、ランダムで潜在的に有害な信念を発達させる可能性がある。
論文 参考訳(メタデータ) (2022-03-18T12:26:37Z) - Language Models are not Models of Language [0.0]
トランスファーラーニングにより、言語モデリングタスクでトレーニングされた大規模なディープラーニングニューラルネットワークにより、パフォーマンスが大幅に向上した。
深層学習モデルは言語の理論的モデルではないので、言語モデルという用語は誤解を招く。
論文 参考訳(メタデータ) (2021-12-13T22:39:46Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳(メタデータ) (2021-08-06T23:49:18Z) - PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D
World [86.21137454228848]
我々はPIGLeTを物理力学モデルと別言語モデルに分類する。
PIGLeTは文を読み、次に何が起こるか神経的にシミュレートし、その結果を文字通りの記号表現を通して伝達する。
80%以上の英語の文から「次に何が起こるか」を正確に予測することができ、100倍以上のテキスト・テキスト・アプローチを10%以上上回っている。
論文 参考訳(メタデータ) (2021-06-01T02:32:12Z) - Should we Stop Training More Monolingual Models, and Simply Use Machine
Translation Instead? [2.62121275102348]
機械翻訳は成熟した技術であり、低リソース言語のためのネイティブ言語モデルのトレーニングに深刻な反論を提起する。
英語モデルは前例のないペースで改善され、機械翻訳が改善されているため、低リソース言語からのデータを英語に翻訳することが経験的で環境的な観点からより効果的です。
論文 参考訳(メタデータ) (2021-04-21T10:21:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。