論文の概要: On the referential capacity of language models: An internalist rejoinder to Mandelkern & Linzen
- arxiv url: http://arxiv.org/abs/2406.00159v1
- Date: Fri, 31 May 2024 19:43:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 08:23:47.946687
- Title: On the referential capacity of language models: An internalist rejoinder to Mandelkern & Linzen
- Title（参考訳）: 言語モデルにおける参照能力について:マンデルケルンとリンゼンの内在論
- Authors: Giosue Baggio, Elliot Murphy,
- Abstract要約: 最近の論文で、Mandelkern & Linzen (2024) は言語モデル(LM)の単語が参照するかどうかという問題に対処している。
彼らの議論は、哲学的意味論における外部主義の伝統から引かれており、これは「「言葉と世界」を結び付ける」言葉の能力であると見なしている。
このコメンタリーでは、まずM&Lの主張を、自然言語表現の狭いクラスに適用するものとして評価する。
それらの公式化によって、LMにおける参照に関する不確実な一般化がもたらされることを示唆する。
- 参考スコア（独自算出の注目度）: 1.03590082373586
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In a recent paper, Mandelkern & Linzen (2024) - henceforth M&L - address the question of whether language models' (LMs) words refer. Their argument draws from the externalist tradition in philosophical semantics, which views reference as the capacity of words to "achieve 'word-to-world' connections". In the externalist framework, causally uninterrupted chains of usage, tracing every occurrence of a name back to its bearer, guarantee that, for example, 'Peano' refers to the individual Peano (Kripke 1980). This account is externalist both because words pick out referents 'out there' in the world, and because what determines reference are coordinated linguistic actions by members of a community, and not individual mental states. The "central question to ask", for M&L, is whether LMs too belong to human linguistic communities, such that words by LMs may also trace back causally to their bearers. Their answer is a cautious "yes": inputs to LMs are linguistic "forms with particular histories of referential use"; "those histories ground the referents of those forms"; any occurrence of 'Peano' in LM outputs is as causally connected to the individual Peano as any other occurrence of the same proper name in human speech or text; therefore, occurrences of 'Peano' in LM outputs refer to Peano. In this commentary, we first qualify M&L's claim as applying to a narrow class of natural language expressions. Thus qualified, their claim is valid, and we emphasise an additional motivation for that in Section 2. Next, we discuss the actual scope of their claim, and we suggest that the way they formulate it may lead to unwarranted generalisations about reference in LMs. Our critique is likewise applicable to other externalist accounts of LMs (e.g., Lederman & Mahowald 2024; Mollo & Milliere 2023). Lastly, we conclude with a comment on the status of LMs as members of human linguistic communities.
- Abstract（参考訳）: 最近の論文では、Mandelkern & Linzen (2024) が言語モデル(LM)の単語が参照するかどうかという問題に対処している。
彼らの主張は、哲学的意味論における外部主義の伝統からきており、言葉の能力は「「言葉と世界」のつながりをつかむ」のであると見なしている。
外部主義の枠組みでは、因果的に不断な用法連鎖が、名前のあらゆる発生をその持ち手に遡らせ、例えば「ピアノ」が個々のピアノを指すことを保証している(Kripke 1980)。
この説明は、言葉が世界の「外に」参照者を選ぶことと、参照を決定するものは、個々の精神状態ではなく、コミュニティのメンバーによって協調された言語行動であるからである。
M&Lは、LMが人間の言語コミュニティに属しているかどうかを問う。
彼らの答えは慎重な"yes"である: LMへの入力は言語的"特定の参照使用履歴を持つ形式"であり、"これらの歴史はそれらの形態の参照を根拠としている"; LMのアウトプットにおける"Peano"の発生は、人間のスピーチやテキストにおける同じ適切な名前の他の発生と同様に、個々の"Peano"に因果的に関連している; LMのアウトプットにおける"Peano"の発生は、Peanoを参照している。
このコメンタリーでは、まずM&Lの主張を、自然言語表現の狭いクラスに適用するものとして評価する。
したがって、彼らの主張は有効であり、第2節でそれに対する追加の動機を強調します。
次に,それらの主張の実際の範囲について論じるとともに,それらの定式化によって,LMにおける参照に関する不確実な一般化がもたらされることを示唆する。
私たちの批判は、LMの他の外部論者(例えば、Lederman & Mahowald 2024; Mollo & Milliere 2023)にも当てはまります。
最後に、人間の言語コミュニティのメンバーとしてのLMの現状についてコメントを締めくくった。
関連論文リスト
- Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。
異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
論文 参考訳（メタデータ） (2024-10-24T04:02:30Z) - Fairness Definitions in Language Models Explained [2.443957114877221]
言語モデル (LM) は様々な自然言語処理 (NLP) タスクにおいて例外的な性能を示した。
これらの進歩にもかかわらず、LMは性別や人種などのセンシティブな属性に関連する社会的バイアスを継承し、増幅することができる。
本稿では,LM に適用されるフェアネスの定義を明らかにするための体系的な調査を提案する。
論文 参考訳（メタデータ） (2024-07-26T01:21:25Z) - Black Big Boxes: Do Language Models Hide a Theory of Adjective Order? [5.395055685742631]
英語や他の言語では、複雑な名詞句の複数の形容詞は、多くの言語理論の標的となった複雑な順序付けパターンを示している。
本稿では,人体における形容詞順選好(AOP)を説明するために設計された既存の仮説を概観し,言語モデルにおけるAOPを学習するための設定を開発する。
理論言語学で特定された因子によって生成される予測よりも,全てのモデルの予測が人間のAOPにずっと近いことが判明した。
論文 参考訳（メタデータ） (2024-07-02T10:29:09Z) - Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
大規模言語モデル(LLM)の時代における意味表現の役割について検討する。
本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。
AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
論文 参考訳（メタデータ） (2024-05-02T17:32:59Z) - Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。
我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。
その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
論文 参考訳（メタデータ） (2024-04-29T17:58:36Z) - Large language models and linguistic intentionality [0.0]
代わりに、言語モデルが言語内容の最高のメタセマンティック理論によって与えられる基準を満たすかどうかを検討するべきだと論じる。
LLMが精神的な意図性のために妥当な条件を満たせなかったことが、アウトプットを意味のないものにしていると考えるのは間違いだと私は主張する。
論文 参考訳（メタデータ） (2024-04-15T08:37:26Z) - CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。
ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
論文 参考訳（メタデータ） (2023-12-07T15:12:12Z) - Do Language Models' Words Refer? [22.981391870419216]
我々は、言語モデル(LM)が、普通の言語利用者のように世界と相互作用しないと主張している。
LMへの入力が単にテキストの文字列であるとしても、それらは自然史を持つテキストの文字列であり、LMの単語を外部の世界と参照的に接触させるのに十分である。
論文 参考訳（メタデータ） (2023-08-10T13:39:40Z) - Word Embeddings Are Steers for Language Models [57.83026781380927]
このようなステアをLM-Steersと呼び、すべてのサイズのLMに存在するものを見つけます。
言語モデルのデトックス化や感情制御といったタスクでは、LM-Steersは同等または優れたパフォーマンスを達成することができる。
LM-Steerは明示的な形式計算により異なる言語モデル間で転送可能である。
論文 参考訳（メタデータ） (2023-05-22T07:52:04Z) - Language Models as Agent Models [42.37422271002712]
LMは、特定の狭義の意図的なコミュニケーションのモデルである、と私は主張する。
今日の非破壊的かつエラーを起こしやすいモデルでさえ、LMはきめ細かいコミュニケーション意図の表現を推論し、使用します。
論文 参考訳（メタデータ） (2022-12-03T20:18:16Z) - Are Representations Built from the Ground Up? An Empirical Examination
of Local Composition in Language Models [91.3755431537592]
構成的・非構成的句を表現することは言語理解にとって重要である。
まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。
意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
論文 参考訳（メタデータ） (2022-10-07T14:21:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。