論文の概要: Language Writ Large: LLMs, ChatGPT, Grounding, Meaning and Understanding
- arxiv url: http://arxiv.org/abs/2402.02243v1
- Date: Sat, 3 Feb 2024 19:19:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 21:17:30.748408
- Title: Language Writ Large: LLMs, ChatGPT, Grounding, Meaning and Understanding
- Title（参考訳）: llms, chatgpt, 接頭辞, 意味と理解
- Authors: Stevan Harnad
- Abstract要約: 私は、ChatGPTが予想よりずっと良いことをしてくれるかもしれない良心的な偏見について、いくつかの悩みを提起します。
これらのバイアスはLLMスケールで言語自体の性質に固有のものであり、ChatGPTが欠如していることと密接に関連している。
これらの収束バイアスは、(1)直接感触的接地に基づく間接的言語接地(indirect verbal grounding)の寄生、(2)言語定義の円形性、(3)言語生成と理解のミラー化、(4)LLMスケールでの命題における象徴性、(5)ニューラルネットによるカテゴリー学習における人間のカテゴリー認識の計算的相違、および(6)a)
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Apart from what (little) OpenAI may be concealing from us, we all know
(roughly) how ChatGPT works (its huge text database, its statistics, its vector
representations, and their huge number of parameters, its next-word training,
and so on). But none of us can say (hand on heart) that we are not surprised by
what ChatGPT has proved to be able to do with these resources. This has even
driven some of us to conclude that ChatGPT actually understands. It is not true
that it understands. But it is also not true that we understand how it can do
what it can do. I will suggest some hunches about benign biases: convergent
constraints that emerge at LLM scale that may be helping ChatGPT do so much
better than we would have expected. These biases are inherent in the nature of
language itself, at LLM scale, and they are closely linked to what it is that
ChatGPT lacks, which is direct sensorimotor grounding to connect its words to
their referents and its propositions to their meanings. These convergent biases
are related to (1) the parasitism of indirect verbal grounding on direct
sensorimotor grounding, (2) the circularity of verbal definition, (3) the
mirroring of language production and comprehension, (4) iconicity in
propositions at LLM scale, (5) computational counterparts of human categorical
perception in category learning by neural nets, and perhaps also (6) a
conjecture by Chomsky about the laws of thought. The exposition will be in the
form of a dialogue with ChatGPT-4.
- Abstract（参考訳）: OpenAIが私たちから何を隠しているかは別として、ChatGPTがどのように機能するか(大体、巨大なテキストデータベース、その統計、ベクトル表現、そして膨大な数のパラメータ、その次の単語のトレーニングなど)は知っています。
しかし、チャットgptがこれらのリソースでできることが証明されたことに、私たちは(心の中で)驚かない。
これは、ChatGPTが実際に理解していると結論付けるきっかけにもなった。
それが理解できるのは事実ではない。
しかし、それが何ができるのかを理解することも事実ではない。
LLMスケールで現れる収束的制約は、ChatGPTが予想していたよりもずっと良いことをするのに役立つかもしれません。
これらのバイアスはLLMスケールで言語自体の性質に固有のものであり、ChatGPTが欠落していることと密接に関連している。
これらの収束バイアスは、(1)直接感性基底に基づく間接的言語基底の寄生、(2)言語定義の循環性、(3)言語生成と理解のミラーリング、(4)llmスケールにおける命題の象徴性、(5)ニューラルネットワークによるカテゴリー学習における人間のカテゴリー認識の計算的対応、および(6)チョムスキーによる思考の法則に関する予想にも関係している。
展示はChatGPT-4との対話の形で行われる。
関連論文リスト
- Counting the Bugs in ChatGPT's Wugs: A Multilingual Investigation into
the Morphological Capabilities of a Large Language Model [23.60677380868016]
大規模言語モデル (LLM) は近年,人間の言語スキルと比較する上で,目覚ましい言語能力に達している。
そこで本研究では,4言語でChatGPTの形態的能力の厳密な分析を行う。
ChatGPTは、特に英語の目的構築システムでは大幅に性能が低下している。
論文 参考訳（メタデータ） (2023-10-23T17:21:03Z) - Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳（メタデータ） (2023-10-20T00:37:28Z) - A blind spot for large language models: Supradiegetic linguistic information [0.602276990341246]
ChatGPTのような大きな言語モデル(LLM)は、驚くべきことに人間らしく、言語的な流布を実現する。
本稿では,言語学,具体的認知,認知科学,数学,歴史など,いくつかの分野の思想を用いて,この枠組みの詳細について検討する。
これらの概念を用いて,ChatGPT などの LLM がパリンドロム処理に苦慮する理由,シンボルの視覚的特徴,シュメール・キュニフォームの翻訳,整数列の継続について検討する。
論文 参考訳（メタデータ） (2023-06-11T22:15:01Z) - Does ChatGPT have Theory of Mind? [2.3129337924262927]
心の理論 (Theory of Mind, ToM) とは、人間の思考と意思決定を理解する能力である。
本稿では,最近のChatGPT伝統における大規模言語モデル(Large Language Models)がToMをどの程度持っているかを検討する。
論文 参考訳（メタデータ） (2023-05-23T12:55:21Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on
Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。
これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。
ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文 参考訳（メタデータ） (2023-02-08T12:35:34Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - Is ChatGPT A Good Translator? Yes With GPT-4 As The Engine [97.8609714773255]
機械翻訳におけるChatGPTの評価には,翻訳プロンプト,多言語翻訳,翻訳堅牢性などが含まれる。
ChatGPTは商用翻訳製品と競合するが、低リソースや遠方の言語では遅れている。
GPT-4エンジンの打ち上げにより、ChatGPTの翻訳性能は大幅に向上した。
論文 参考訳（メタデータ） (2023-01-20T08:51:36Z) - The Goldilocks of Pragmatic Understanding: Fine-Tuning Strategy Matters
for Implicature Resolution by LLMs [26.118193748582197]
我々は、広く使われている最先端モデルの4つのカテゴリを評価する。
2進推論を必要とする発話のみを評価するにもかかわらず、3つのカテゴリのモデルはランダムに近い性能を示す。
これらの結果は、特定の微調整戦略がモデルにおける実用的理解を誘導する上ではるかに優れていることを示唆している。
論文 参考訳（メタデータ） (2022-10-26T19:04:23Z) - "I'd rather just go to bed": Understanding Indirect Answers [61.234722570671686]
我々は,質問に対する間接的応答の理解という,現実的な推論問題をダイアログで再検討する。
最初の大規模英語コーパス「Circa」を34,268対(極性質問,間接回答)で作成・リリースする。
本稿では,質問応答対のカテゴリを予測するためにBERTに基づくニューラルモデルを提案する。
論文 参考訳（メタデータ） (2020-10-07T14:41:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。