論文の概要: Evolution of Natural Language Processing Technology: Not Just Language
Processing Towards General Purpose AI
- arxiv url: http://arxiv.org/abs/2310.06228v1
- Date: Tue, 10 Oct 2023 00:41:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 21:06:11.415343
- Title: Evolution of Natural Language Processing Technology: Not Just Language
Processing Towards General Purpose AI
- Title（参考訳）: 自然言語処理技術の進化:汎用AIに向けた言語処理だけではない
- Authors: Masahiro Yamamoto
- Abstract要約: 本報告は,最先端NLPがいかにして「実践が完璧である」原理を実現するかの技術的説明を提供する。
深層学習を用いて大量のテキストデータを学習した結果,初期予測を超える成果が報告されている。
大量のテキストデータを用いて「実践は完璧」という概念を具現化した学習者の正確な例である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since the invention of computers, communication through natural language
(actual human language) has been a dream technology. However, natural language
is extremely difficult to mathematically formulate, making it difficult to
realize as an algorithm without considering programming. While there have been
numerous technological developments, one cannot say that any results allowing
free utilization have been achieved thus far. In the case of language learning
in humans, for instance when learning one's mother tongue or foreign language,
one must admit that this process is similar to the adage "practice makes
perfect" in principle, even though the learning method is significant up to a
point. Deep learning has played a central role in contemporary AI technology in
recent years. When applied to natural language processing (NLP), this produced
unprecedented results. Achievements exceeding the initial predictions have been
reported from the results of learning vast amounts of textual data using deep
learning. For instance, four arithmetic operations could be performed without
explicit learning, thereby enabling the explanation of complex images and the
generation of images from corresponding explanatory texts. It is an accurate
example of the learner embodying the concept of "practice makes perfect" by
using vast amounts of textual data. This report provides a technological
explanation of how cutting-edge NLP has made it possible to realize the
"practice makes perfect" principle. Additionally, examples of how this can be
applied to business are provided. We reported in June 2022 in Japanese on the
NLP movement from late 2021 to early 2022. We would like to summarize this as a
memorandum since this is just the initial movement leading to the current large
language models (LLMs).
- Abstract（参考訳）: コンピュータの発明以来、自然言語(現実の人間言語)によるコミュニケーションは夢の技術となっている。
しかし、自然言語の数学的定式化は非常に困難であり、プログラミングを考慮せずにアルゴリズムとして実現することは困難である。
技術開発は数多く行われているが、自由利用を可能にする結果がこれまでに達成されたとは言い切れない。
人間の言語学習の場合、例えば母国語や外国語を学習する場合、学習方法が一点まで重要なものであるにもかかわらず、この過程は原則として「実践が完璧になる」という格言に類似していることを認めなければならない。
近年、ディープラーニングは現代のAI技術において中心的な役割を果たしている。
自然言語処理(NLP)に適用すると、前例のない結果が得られた。
深層学習を用いて大量のテキストデータを学習した結果,初期予測を超える成果が報告されている。
例えば、4つの算術演算を明示的な学習なしに行うことができ、複雑な画像の説明と対応する説明文からの画像の生成を可能にする。
大量のテキストデータを用いて「実践は完璧」という概念を具現化した学習者の正確な例である。
本報告は,最先端NLPがいかにして「実践が完璧である」原理を実現するかの技術的説明を提供する。
また、ビジネスにどのように適用できるかの例も提供されている。
2022年6月に日本におけるNLP運動について報告した。
現在の大規模言語モデル(llm)への最初の動きに過ぎないので、これを覚書として要約したいと思います。
関連論文リスト
- Performance Prediction of Data-Driven Knowledge summarization of High
Entropy Alloys (HEAs) literature implementing Natural Language Processing
algorithms [0.0]
自然言語処理(NLP)の目標は、マシンインテリジェンスに人間の脳と同じように言葉を処理させることだ。
Geneism, Sumy, Luhn, Latent Semantic Analysis (LSA), Kull-back-Liebler (KL) al-gorithmの5つのNLPアルゴリズムが実装されている。
Luhnアルゴリズムは、他の使われているアルゴリズムと比較して知識要約タスクの精度が最も高い。
論文 参考訳（メタデータ） (2023-11-06T16:22:32Z) - Learning to Model the World with Language [100.76069091703505]
人間と対話し、世界で行動するためには、エージェントは人々が使用する言語の範囲を理解し、それを視覚の世界に関連付ける必要がある。
私たちのキーとなるアイデアは、エージェントが将来を予測するのに役立つ信号として、このような多様な言語を解釈すべきである、ということです。
我々は、将来のテキストや画像表現を予測するマルチモーダル世界モデルを学ぶエージェントであるDynalangでこれをインスタンス化する。
論文 参考訳（メタデータ） (2023-07-31T17:57:49Z) - Why can neural language models solve next-word prediction? A
mathematical perspective [53.807657273043446]
本研究では,英語文の実例をモデル化するための形式言語群について検討する。
我々の証明は、ニューラルネットワークモデルにおける埋め込み層と完全に接続されたコンポーネントの異なる役割を強調します。
論文 参考訳（メタデータ） (2023-06-20T10:41:23Z) - AI2: The next leap toward native language based and explainable machine
learning framework [1.827510863075184]
提案されたフレームワークは、AI$2$と名付けられ、自然言語インターフェースを使用して、非スペシャリストが機械学習アルゴリズムの恩恵を受けることができる。
AI$2$フレームワークの主なコントリビューションは、ユーザーが機械学習アルゴリズムを英語で呼び出すことで、インターフェースの使用が容易になる。
もうひとつのコントリビューションは、データの適切な記述とロードを支援する前処理モジュールだ。
論文 参考訳（メタデータ） (2023-01-09T14:48:35Z) - Robotic Skill Acquisition via Instruction Augmentation with
Vision-Language Models [70.82705830137708]
言語条件制御のためのデータ駆動型インストラクション拡張(DIAL)について紹介する。
我々は,CLIPのセマンティック理解を利用したセミ言語ラベルを用いて,未知の実演データの大規模なデータセットに知識を伝達する。
DIALは、模倣学習ポリシーによって、新しい能力を獲得し、元のデータセットにない60の新しい命令を一般化することができる。
論文 参考訳（メタデータ） (2022-11-21T18:56:00Z) - What is Wrong with Language Models that Can Not Tell a Story? [20.737171876839238]
本稿では,物語のより深い理解とより長い主観的興味あるテキストの生成が,現代自然言語処理(NLP)の進歩を妨げる重要なボトルネックであると主張している。
ナラティブ処理の作業に使用できる適切なデータセットや評価方法,さらには運用上の概念さえ存在しないことを実証する。
論文 参考訳（メタデータ） (2022-11-09T17:24:33Z) - Do As I Can, Not As I Say: Grounding Language in Robotic Affordances [119.29555551279155]
大規模な言語モデルは、世界に関する豊富な意味知識を符号化することができる。
このような知識は、自然言語で表現された高レベルで時間的に拡張された命令を動作させようとするロボットにとって極めて有用である。
低レベルのスキルを大規模言語モデルと組み合わせることで,言語モデルが複雑かつ時間的に拡張された命令を実行する手順について高いレベルの知識を提供することを示す。
論文 参考訳（メタデータ） (2022-04-04T17:57:11Z) - Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。
このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。
新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
論文 参考訳（メタデータ） (2022-02-03T18:55:52Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Federated Learning Meets Natural Language Processing: A Survey [12.224792145700562]
Federated Learningは、複数の分散エッジデバイス(モバイルなど)やサーバから、ローカルデータのプライバシを犠牲にすることなく、マシンラーニングモデルを学習することを目的としている。
最近の自然言語処理技術は、ディープラーニングと大規模な事前学習言語モデルに依存している。
論文 参考訳（メタデータ） (2021-07-27T05:07:48Z) - Language Conditioned Imitation Learning over Unstructured Data [9.69886122332044]
本稿では,自由形式の自然言語条件付けを模倣学習に組み込む手法を提案する。
我々のアプローチは、単一のニューラルネットワークとしてピクセル、自然言語理解、マルチタスク連続制御のエンドツーエンドから知覚を学習する。
言語アノテーションのコストを1%以下に抑えつつ,言語条件付き性能を劇的に向上させることを示す。
論文 参考訳（メタデータ） (2020-05-15T17:08:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。