論文の概要: Do Language Models' Words Refer?

• arxiv url: http://arxiv.org/abs/2308.05576v3
• Date: Mon, 4 Mar 2024 14:24:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 22:03:33.231888
• Title: Do Language Models' Words Refer?
• Title（参考訳）: 言語モデルの言葉は参照しますか。
• Authors: Matthew Mandelkern and Tal Linzen
• Abstract要約: 我々は、言語モデル(LM)が、普通の言語利用者のように世界と相互作用しないと主張している。 LMへの入力が単にテキストの文字列であるとしても、それらは自然史を持つテキストの文字列であり、LMの単語を外部の世界と参照的に接触させるのに十分である。
• 参考スコア（独自算出の注目度）: 22.981391870419216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What do language models (LMs) do with language? Everyone agrees that they can produce sequences of (mostly) coherent strings of English. But do those sentences mean something, or are LMs simply babbling in a convincing simulacrum of language use? Here we will address one aspect of this broad question: whether LMs' words can refer, that is, achieve "word-to-world" connections. There is prima facie reason to think they do not since LMs do not interact with the world in the way that ordinary language users do. Drawing on insights from the externalist tradition in philosophy of language, we argue that those appearances are misleading: even if the inputs to an LM are simply strings of text, they are strings of text with natural histories, and that may suffice to put LMs' words into referential contact with the external world.
• Abstract（参考訳）: 言語モデル(LM)は言語と何をしますか? 誰もが、英語の(ほとんど)コヒーレントな文字列のシーケンスを作成できることに同意する。 しかし、これらの文は何かを意味するのか、それとも、LMは単に説得力のある言語使用のシミュラクルで揺れているのだろうか? ここでは、この広い問いの1つの側面として、LMの単語が「世界への言葉」接続を達成できるかどうかについて述べる。 lmsが通常の言語ユーザーのように世界と相互作用しないからではないと考えるのは、原始的な理由がある。 言語哲学における外部主義の伝統から洞察を得て、これらの外見は誤解を招く: LMへの入力が単にテキストの文字列であるとしても、それらは自然史を持つテキストの文字列であり、それがLMの言葉を外部世界との参照的接触に含めるのに十分である。

関連論文リスト

• On the referential capacity of language models: An internalist rejoinder to Mandelkern & Linzen [1.03590082373586]
  最近の論文で、Mandelkern & Linzen (2024) は言語モデル(LM)の単語が参照するかどうかという問題に対処している。 彼らの議論は、哲学的意味論における外部主義の伝統から引かれており、これは「「言葉と世界」を結び付ける」言葉の能力であると見なしている。 このコメンタリーでは、まずM&Lの主張を、自然言語表現の狭いクラスに適用するものとして評価する。 それらの公式化によって、LMにおける参照に関する不確実な一般化がもたらされることを示唆する。
  論文  参考訳（メタデータ） (2024-05-31T19:43:20Z)
• Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions [52.95579788485411]
  lingOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。 GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。 GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-28T03:44:01Z)
• "Understanding AI": Semantic Grounding in Large Language Models [0.0]
  LLMを含む生成モデルが自己教師型学習の鍵となるため、私たちは最近、AIの世代的転換を目撃しました。 セマンティック・グラウンディングの課題を評価するために,5つの方法論を区別し,議論する。
  論文  参考訳（メタデータ） (2024-02-16T14:23:55Z)
• Why LLMs Hallucinate, and How to Get (Evidential) Closure: Perceptual, Intensional, and Extensional Learning for Faithful Natural Language Generation [0.0]
  LLMは、その出力がそれらが証拠を持つ主張と同義であることに制約されないため、幻覚的であることを示す。 次に, LLM を制約して, 明らかな閉包を満たす出力を生成する方法を示す。
  論文  参考訳（メタデータ） (2023-10-23T20:35:52Z)
• When Language Models Fall in Love: Animacy Processing in Transformer Language Models [38.79717627047192]
  我々は,トランスフォーマー言語モデル (LM) が,アニマシーが典型的である実体を提示するとき,人間のように振る舞うことを示す。 また、愛のピーナッツのような非典型的なアニメーターの物語を提示しても、LMは適応することを示した。 我々は、LMがアニマシーについて学べる限られた信号にもかかわらず、それらが実際に英語で利用可能な関連する語彙的意味ニュアンスに敏感である、と結論付けた。
  論文  参考訳（メタデータ） (2023-10-23T14:57:52Z)
• Word Embeddings Are Steers for Language Models [57.83026781380927]
  このようなステアをLM-Steersと呼び、すべてのサイズのLMに存在するものを見つけます。 言語モデルのデトックス化や感情制御といったタスクでは、LM-Steersは同等または優れたパフォーマンスを達成することができる。 LM-Steerは明示的な形式計算により異なる言語モデル間で転送可能である。
  論文  参考訳（メタデータ） (2023-05-22T07:52:04Z)
• Language Models as Agent Models [42.37422271002712]
  LMは、特定の狭義の意図的なコミュニケーションのモデルである、と私は主張する。 今日の非破壊的かつエラーを起こしやすいモデルでさえ、LMはきめ細かいコミュニケーション意図の表現を推論し、使用します。
  論文  参考訳（メタデータ） (2022-12-03T20:18:16Z)
• Extensible Prompts for Language Models on Zero-shot Language Style Customization [89.1622516945109]
  X-Promptは、自然言語(NL)を超えた大きな言語モデル(LLM)を指示する 新しい想像的単語を登録することで、LLMにNL単語で記述するのが難しい概念を理解するよう指示することができる。 これらの虚構語は、様々なプロンプトでNL語のように(再)使用できるように、分布外頑健であるように設計されている。
  論文  参考訳（メタデータ） (2022-12-01T16:11:56Z)
• Language Models of Code are Few-Shot Commonsense Learners [106.1531522893209]
  自然言語入力が与えられた場合、目標はイベントや推論グラフなどのグラフを生成することだ。 既存のアプローチは、出力グラフをノードとエッジのフラットリストとしてシリアライズする。 コード生成タスクとして構造化コモンセンス推論タスクをフレーム化する場合、事前学習されたコードLMは自然言語のLMよりも構造化コモンセンス推論タスクの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-13T16:09:36Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。