論文の概要: A Philosophical Introduction to Language Models -- Part I: Continuity
With Classic Debates
- arxiv url: http://arxiv.org/abs/2401.03910v1
- Date: Mon, 8 Jan 2024 14:12:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 16:04:32.636086
- Title: A Philosophical Introduction to Language Models -- Part I: Continuity
With Classic Debates
- Title(参考訳): 言語モデルに関する哲学入門-その1:古典的議論との連続性
- Authors: Rapha\"el Milli\`ere, Cameron Buckner
- Abstract要約: この記事では、哲学者の言語モデルに関するプライマーとしての役割と、その重要性に関する世論調査としての役割について述べる。
言語モデルの成功は、人工ニューラルネットワークに関する長年の仮定に挑戦するものだ、と我々は主張する。
これは、共用紙(Part II)のステージを設定し、言語モデルの内部動作を探索するための新しい経験的手法に転換する。
- 参考スコア(独自算出の注目度): 0.05657375260432172
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models like GPT-4 have achieved remarkable proficiency in a
broad spectrum of language-based tasks, some of which are traditionally
associated with hallmarks of human intelligence. This has prompted ongoing
disagreements about the extent to which we can meaningfully ascribe any kind of
linguistic or cognitive competence to language models. Such questions have deep
philosophical roots, echoing longstanding debates about the status of
artificial neural networks as cognitive models. This article -- the first part
of two companion papers -- serves both as a primer on language models for
philosophers, and as an opinionated survey of their significance in relation to
classic debates in the philosophy cognitive science, artificial intelligence,
and linguistics. We cover topics such as compositionality, language
acquisition, semantic competence, grounding, world models, and the transmission
of cultural knowledge. We argue that the success of language models challenges
several long-held assumptions about artificial neural networks. However, we
also highlight the need for further empirical investigation to better
understand their internal mechanisms. This sets the stage for the companion
paper (Part II), which turns to novel empirical methods for probing the inner
workings of language models, and new philosophical questions prompted by their
latest developments.
- Abstract(参考訳): GPT-4のような大規模言語モデルは、言語に基づくタスクの幅広い範囲で卓越した熟練を実現している。
このことは、言語モデルに対するいかなる言語的または認知的能力も有意に説明できる範囲について、継続的な意見の相違を引き起こしている。
このような疑問は深い哲学的ルーツを持ち、認知モデルとしてのニューラルネットワークの現状に関する長年の議論を反映している。
この記事は2つの共著の第1部であり、哲学者の言語モデルに関するプライマーとして、また哲学の認知科学、人工知能、言語学における古典的な議論に関連するそれらの重要性に関する意見調査としての役割を果たす。
我々は,構成性,言語習得,意味能力,接地,世界モデル,文化知識の伝達といったトピックを取り上げている。
言語モデルの成功は、ニューラルネットワークに関する長期にわたる仮定に挑戦していると論じている。
しかし、内部メカニズムをよりよく理解するためには、さらなる実験的な調査の必要性も強調する。
これは、言語モデルの内部動作を探索する新しい経験的手法と、それらの最新の発展によって引き起こされた新たな哲学的問題に転換する、共用紙(Part II)のステージを定めている。
関連論文リスト
- Visually Grounded Language Learning: a review of language games,
datasets, tasks, and models [60.2604624857992]
多くのVision+Language (V+L)タスクは、視覚的モダリティでシンボルをグラウンドできるモデルを作成することを目的として定義されている。
本稿では,V+L分野において提案されるいくつかの課題とモデルについて,系統的な文献レビューを行う。
論文 参考訳(メタデータ) (2023-12-05T02:17:29Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳(メタデータ) (2023-07-25T17:59:18Z) - From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought [124.40905824051079]
言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。
我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2023-06-22T05:14:00Z) - Feature Interactions Reveal Linguistic Structure in Language Models [2.0178765779788495]
本研究では,ポストホック解釈における特徴帰属手法の文脈における特徴的相互作用について検討した。
私たちは、正規言語分類タスクで完璧にモデルをトレーニングする灰色のボックスの方法論を開発します。
特定の構成下では、いくつかの手法が実際にモデルが獲得した文法規則を明らかにすることができることを示す。
論文 参考訳(メタデータ) (2023-06-21T11:24:41Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳(メタデータ) (2023-06-04T15:44:51Z) - Dissociating language and thought in large language models [55.51583339260924]
大規模言語モデル(LLM)は、人間の言語を習得する上で、今までに最も近いモデルである。
言語規則とパターンの理解-および機能的言語能力-世界における言語の理解と利用-を区別してLLMを評価する。
論文 参考訳(メタデータ) (2023-01-16T22:41:19Z) - Language Models as Inductive Reasoners [125.99461874008703]
本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。
タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。
我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
論文 参考訳(メタデータ) (2022-12-21T11:12:14Z) - Integrating Linguistic Theory and Neural Language Models [2.870517198186329]
理論的言語学とニューラル言語モデルが相互にどのように関係しているかを説明するためのケーススタディをいくつか提示する。
この論文は、言語モデルにおける構文意味インタフェースの異なる側面を探求する3つの研究に貢献する。
論文 参考訳(メタデータ) (2022-07-20T04:20:46Z) - Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。
我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。
本稿では,構文研究における様々な研究課題の意義について概説する。
論文 参考訳(メタデータ) (2021-10-17T18:25:23Z) - The Rediscovery Hypothesis: Language Models Need to Meet Linguistics [8.293055016429863]
現代言語モデルの性能向上に言語知識が必須条件であるかどうかを検討する。
その結果, 言語構造を探索した場合, かなり圧縮されるが, 事前学習目的によく適合する言語モデルは, 良好なスコアを保っていることがわかった。
この結果は再発見仮説を支持し,本論文の第2の貢献である言語モデル目標と言語情報との関連性に関する情報論的枠組みを導出する。
論文 参考訳(メタデータ) (2021-03-02T15:57:39Z) - Language Modelling as a Multi-Task Problem [12.48699285085636]
言語モデルが訓練中のマルチタスク学習の学習原理に適合するかどうかを検討する。
実験では、言語モデリングのより一般的なタスクの目的の中で、マルチタスク設定が自然に現れることを示した。
論文 参考訳(メタデータ) (2021-01-27T09:47:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。