論文の概要: Toward a Thermodynamics of Meaning
- arxiv url: http://arxiv.org/abs/2009.11963v1
- Date: Thu, 24 Sep 2020 21:56:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-15 04:04:23.853236
- Title: Toward a Thermodynamics of Meaning
- Title(参考訳): 意味の熱力学に向けて
- Authors: Jonathan Scott Enderle
- Abstract要約: この論文は、非常に単純な言語モデルでさえ世界の構造的事実を学習すると主張している。
この視点は、言語モデルが実際に何を学ぶかについての質問に答えるだけでなく、AIにおける意味決定戦略としての共起予測の一貫性と驚くべき成功を説明することを約束する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As language models such as GPT-3 become increasingly successful at generating
realistic text, questions about what purely text-based modeling can learn about
the world have become more urgent. Is text purely syntactic, as skeptics argue?
Or does it in fact contain some semantic information that a sufficiently
sophisticated language model could use to learn about the world without any
additional inputs? This paper describes a new model that suggests some
qualified answers to those questions. By theorizing the relationship between
text and the world it describes as an equilibrium relationship between a
thermodynamic system and a much larger reservoir, this paper argues that even
very simple language models do learn structural facts about the world, while
also proposing relatively precise limits on the nature and extent of those
facts. This perspective promises not only to answer questions about what
language models actually learn, but also to explain the consistent and
surprising success of cooccurrence prediction as a meaning-making strategy in
AI.
- Abstract(参考訳): gpt-3のような言語モデルが現実的なテキストの生成に成功すればするほど、純粋なテキストベースのモデリングが世界について学べるものについて疑問が高まる。
テキストは純粋に統語的であるか。
それとも、十分に洗練された言語モデルが、追加の入力なしで世界について学ぶのに使える意味情報を含んでいるのだろうか?
本稿は,これらの質問に対する適度な回答を示す新しいモデルについて述べる。
熱力学系とはるかに大きな貯水池の平衡関係として記述されるテキストと世界との関係を理論化することにより、非常に単純な言語モデルでさえ世界の構造的事実を学習すると同時に、それらの事実の性質と範囲に比較的厳密な制限を提起する。
この視点は、言語モデルが実際に何を学ぶかについての質問に答えるだけでなく、AIにおける意味決定戦略としての共起予測の一貫性と驚くべき成功を説明することを約束する。
関連論文リスト
- On General Language Understanding [18.2932386988379]
本稿では,モデル品質の測定方法の妥当性に関する疑問を解き明かすことができる理解モデルの概要を概説する。
A) 異なる言語使用状況タイプが異なる特徴を持っていること、B) 言語理解は多面的な現象であること、C) 理解指標の選択はベンチマークの限界を示すこと、である。
論文 参考訳(メタデータ) (2023-10-27T10:36:54Z) - Large Language Models for Scientific Synthesis, Inference and
Explanation [56.41963802804953]
大規模言語モデルがどのように科学的合成、推論、説明を行うことができるかを示す。
我々は,この「知識」を科学的文献から合成することで,大きな言語モデルによって強化できることを示す。
このアプローチは、大きな言語モデルが機械学習システムの予測を説明することができるというさらなる利点を持っている。
論文 参考訳(メタデータ) (2023-10-12T02:17:59Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳(メタデータ) (2023-07-25T17:59:18Z) - Learn to Explain: Multimodal Reasoning via Thought Chains for Science
Question Answering [124.16250115608604]
本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。
また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。
我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
論文 参考訳(メタデータ) (2022-09-20T07:04:24Z) - GreaseLM: Graph REASoning Enhanced Language Models for Question
Answering [159.9645181522436]
GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。
GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
論文 参考訳(メタデータ) (2022-01-21T19:00:05Z) - PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D
World [86.21137454228848]
我々はPIGLeTを物理力学モデルと別言語モデルに分類する。
PIGLeTは文を読み、次に何が起こるか神経的にシミュレートし、その結果を文字通りの記号表現を通して伝達する。
80%以上の英語の文から「次に何が起こるか」を正確に予測することができ、100倍以上のテキスト・テキスト・アプローチを10%以上上回っている。
論文 参考訳(メタデータ) (2021-06-01T02:32:12Z) - Fusing Context Into Knowledge Graph for Commonsense Reasoning [21.33294077354958]
外部エンティティ記述を利用して,グラフエンティティのコンテキスト情報を提供する。
CommonsenseQAタスクでは、まず質問と選択から概念を抽出し、これらの概念の間に関連するトリプルを見つけます。
CommonsenseQAデータセットでは、80.7%(シングルモデル)と83.3%(アンサンブルモデル)の精度で最新の結果を達成しています。
論文 参考訳(メタデータ) (2020-12-09T00:57:49Z) - Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。
言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。
単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
論文 参考訳(メタデータ) (2020-11-22T17:28:50Z) - Towards Interpretable Natural Language Understanding with Explanations
as Latent Variables [146.83882632854485]
そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。
我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
論文 参考訳(メタデータ) (2020-10-24T02:05:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。