論文の概要: Theoretical and Methodological Framework for Studying Texts Produced by Large Language Models
- arxiv url: http://arxiv.org/abs/2408.16740v1
- Date: Thu, 29 Aug 2024 17:34:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-30 12:51:37.076633
- Title: Theoretical and Methodological Framework for Studying Texts Produced by Large Language Models
- Title（参考訳）: 大規模言語モデルによるテキストの理論的・方法論的枠組み
- Authors: Jiří Milička,
- Abstract要約: 本稿では,大規模言語モデル(LLM)の研究における概念的,方法論的,技術的課題について述べる。
LLMを基質とし、モデルがシミュレートするエンティティを区別する理論的な枠組みの上に構築されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper addresses the conceptual, methodological and technical challenges in studying large language models (LLMs) and the texts they produce from a quantitative linguistics perspective. It builds on a theoretical framework that distinguishes between the LLM as a substrate and the entities the model simulates. The paper advocates for a strictly non-anthropomorphic approach to models while cautiously applying methodologies used in studying human linguistic behavior to the simulated entities. While natural language processing researchers focus on the models themselves, their architecture, evaluation, and methods for improving performance, we as quantitative linguists should strive to build a robust theory concerning the characteristics of texts produced by LLMs, how they differ from human-produced texts, and the properties of simulated entities. Additionally, we should explore the potential of LLMs as an instrument for studying human culture, of which language is an integral part.
- Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)の研究における概念的,方法論的,技術的課題と,定量的言語学の観点からそれらが生み出すテキストについて述べる。
LLMを基質とし、モデルがシミュレートするエンティティを区別する理論的な枠組みの上に構築されている。
本論文は、モデルに対する厳密な非人為的アプローチを提唱する一方で、人間の言語行動の研究に用いた方法論をシミュレートされた実体に慎重に適用する。
自然言語処理の研究者は、モデル自体、アーキテクチャ、評価、性能向上のための方法に重点を置いているが、我々は量的言語学者として、LLMが生成するテキストの特性、人為的なテキストとどのように異なるか、そしてシミュレーションされたエンティティの性質について、堅牢な理論を構築することに努めるべきである。
また, 言語が不可欠な部分である人類文化研究の手段として, LLMsの可能性を探る必要がある。
関連論文リスト
- Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。
伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。
ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-12T04:16:44Z) - Linguistically Grounded Analysis of Language Models using Shapley Head Values [2.914115079173979]
最近提案されたシェープヘッド値(SHV)を用いた言語モデル探索手法を利用した形態素合成現象の処理について検討する。
英語のBLiMPデータセットを用いて、BERTとRoBERTaという2つの広く使われているモデルに対して、我々のアプローチを検証し、言語構造がどのように扱われるかを比較する。
以上の結果から,SHVに基づく属性は両モデルにまたがる異なるパターンを明らかにし,言語モデルがどのように言語情報を整理・処理するかの洞察を与える。
論文 参考訳（メタデータ） (2024-10-17T09:48:08Z) - Language Evolution with Deep Learning [49.879239655532324]
計算モデリングは言語の出現の研究において重要な役割を担っている。
構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。
この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
論文 参考訳（メタデータ） (2024-03-18T16:52:54Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳（メタデータ） (2024-02-28T04:56:21Z) - Large language models as linguistic simulators and cognitive models in human research [0.0]
人間のようなテキストを生成する大きな言語モデル(LLM)の台頭は、行動や認知研究における人間の参加者を置き換える可能性についての議論を巻き起こした。
心理学・社会科学における言語モデルの基本的有用性を評価するために,この代替視点を批判的に評価する。
この視点は、行動科学と認知科学における言語モデルの役割を再定義し、言語シミュレータや認知モデルとして機能し、マシンインテリジェンスと人間の認知と思考の類似点と相違点に光を当てている。
論文 参考訳（メタデータ） (2024-02-06T23:28:23Z) - Formal Aspects of Language Modeling [74.16212987886013]
大規模言語モデルは最も一般的なNLP発明の1つとなっている。
これらのノートは、ETH Z "urich course on large language model" の理論的部分の伴奏である。
論文 参考訳（メタデータ） (2023-11-07T20:21:42Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳（メタデータ） (2023-09-29T17:57:00Z) - Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。
本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳（メタデータ） (2023-09-02T22:14:26Z) - Large Linguistic Models: Analyzing theoretical linguistic abilities of
LLMs [7.4815059492034335]
大規模言語モデルでは,言語データの一貫性のある形式解析が可能であることを示す。
形式言語学の3つのサブフィールド(構文、音韻学、意味論)に焦点を当てる。
この調査の行は、モデル表現が明示的なプロンプトによってアクセスされる深層学習の行動解釈可能性を示している。
論文 参考訳（メタデータ） (2023-05-01T17:09:33Z) - An Overview on Language Models: Recent Developments and Outlook [32.528770408502396]
従来の言語モデル(CLM)は、因果的に言語シーケンスの確率を予測することを目的としている。
事前学習言語モデル(PLM)はより広範な概念をカバーし、因果逐次モデリングと下流アプリケーションのための微調整の両方に使用することができる。
論文 参考訳（メタデータ） (2023-03-10T07:55:00Z) - Explaining Large Language Model-Based Neural Semantic Parsers (Student
Abstract) [0.0]
大規模言語モデル (LLM) は意味解析などの構造化予測タスクにおいて強力な機能を示した。
我々の研究は、LLMに基づく意味的行動を説明するための様々な方法について研究している。
今後の研究をより深く理解していきたいと考えています。
論文 参考訳（メタデータ） (2023-01-25T16:12:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。