論文の概要: Alice's Adventures in a Differentiable Wonderland -- Volume I, A Tour of the Land

• arxiv url: http://arxiv.org/abs/2404.17625v1
• Date: Fri, 26 Apr 2024 15:19:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 20:00:20.306236
• Title: Alice's Adventures in a Differentiable Wonderland -- Volume I, A Tour of the Land
• Title（参考訳）: Alice's Adventures in a Differentiable Wonderland -- Volume I, A Tour of the Land
• Authors: Simone Scardapane,
• Abstract要約: この本は、現代の(深層)ニューラルネットワークの設計を自己完結した紹介である。 この250ページのボリュームの焦点は、$n$Dデータを処理するための効率的なブロックの構築である。
• 参考スコア（独自算出の注目度）: 5.540111184767844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This book is a self-contained introduction to the design of modern (deep) neural networks. Because the term "neural" comes with a lot of historical baggage, I prefer the simpler term "differentiable models" in the text. The focus of this 250-pages volume is on building efficient blocks for processing $n$D data, including convolutions, transformers, graph layers, and modern recurrent models (including linearized transformers and structured state-space models). Because the field is evolving quickly, I have tried to strike a good balance between theory and code, historical considerations and recent trends. I assume the reader has some exposure to machine learning and linear algebra, but I try to cover the preliminaries when necessary. The volume is a refined draft from a set of lecture notes for a course called Neural Networks for Data Science Applications that I teach in Sapienza. I do not cover many advanced topics (generative modeling, explainability, prompting, agents), which will be published over time in the companion website.
• Abstract（参考訳）: この本は、現代の(深層)ニューラルネットワークの設計を自己完結した紹介である。 神経」という言葉は多くの歴史的な手荷物を伴っているので、私はテキストの「微分可能なモデル」という単純な用語を好む。 この250ページのボリュームは、畳み込み、トランスフォーマー、グラフ層、現代的なリカレントモデル(線形化されたトランスフォーマーや構造化状態空間モデルを含む)を含む$n$Dデータを処理するための効率的なブロックを構築することに焦点を当てている。 この分野は急速に進化していますので、理論とコード、歴史的考察、最近のトレンドのバランスを保とうとしています。 読者は機械学習や線形代数にある程度触れていると思いますが、必要であれば予備項をカバーしようとします。 この巻は、私がSapienzaで教えたNeural Networks for Data Science Applications(ニューラルネットワーク・フォー・データサイエンス・アプリケーション)というコースの講義ノートから、洗練された草稿である。 私は、多くの高度なトピック(生成モデリング、説明可能性、プロンプト、エージェント)をカバーしていません。

関連論文リスト

• Universal Sparse Autoencoders: Interpretable Cross-Model Concept Alignment [6.614005142754584]
  ユニバーサルスパースオートエンコーダ(英: Universal Sparse Autoencoders、USAEs)は、複数のディープニューラルネットワークにまたがる解釈可能な概念を明らかにするためのフレームワークである。 USAEは、複数のモデルの内部アクティベーションを一度に再構築し解釈できる普遍的な概念空間を学ぶ。
  論文  参考訳（メタデータ） (2025-02-06T02:06:16Z)
• Engineering A Large Language Model From Scratch [0.0]
  AtinukeはTransformerベースのニューラルネットワークで、さまざまな言語タスクのパフォーマンスを最適化する。 特徴を抽出し、複雑なマッピングを学習することで、人間のような言語をエミュレートすることができる。 システムは、解釈可能で堅牢なまま、自然言語タスクの最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-01-30T04:29:48Z)
• TextBind: Multi-turn Interleaved Multimodal Instruction-following in the Wild [102.93338424976959]
  マルチターンインターリーブ型インストラクションフォロー機能を備えた,より大規模な言語モデルを実現するための,ほとんどアノテーションのないフレームワークであるTextBindを紹介する。 提案手法では,画像キャプチャペアのみが必要であり,言語モデルからマルチターンマルチモーダル・インストラクション・レスポンス・会話を生成する。 そこで我々は,画像エンコーダとデコーダモデルをシームレスに統合する言語モデル中心アーキテクチャであるMIMを考案した。
  論文  参考訳（メタデータ） (2023-09-14T15:34:01Z)
• MaMMUT: A Simple Architecture for Joint Learning for MultiModal Tasks [59.09343552273045]
  本稿では,これらの異なる視覚言語タスクの協調学習に驚くほど有効であるマルチモーダルタスクのためのデコーダのみのモデルを提案する。 これらの多様な目的の合同学習は単純で効果的であり、これらのタスク間でのモデルの重量共有を最大化することを示した。 我々のモデルは,画像テキストとテキスト画像検索,ビデオ質問応答,オープン語彙検出タスクにおける技術の現状を達成し,より大きく,より広範囲に訓練された基礎モデルよりも優れている。
  論文  参考訳（メタデータ） (2023-03-29T16:42:30Z)
• PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
  本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。 我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。 562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
  論文  参考訳（メタデータ） (2023-03-06T18:58:06Z)
• Transformadores: Fundamentos teoricos y Aplicaciones [0.40611352512781856]
  Transformersは、元々自然言語処理用に設計されたニューラルネットワークアーキテクチャである。 その特徴的な特徴は、自分自身のシーケンスへの注意に基づく自己注意システムである。 この論文は、スペイン語圏のコミュニティに科学的知識をもたらすためにスペイン語で書かれている。
  論文  参考訳（メタデータ） (2023-02-18T13:30:32Z)
• Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer [59.73454783958702]
  本稿では,多くの結合演算子を連結して出力論理式をモデル化するシンボリック推論アーキテクチャを提案する。 特に,このような結合鎖のアンサンブルが'ツリー構造'の1次論理式であるFOETの広い部分集合を表現できることを実証する。 変圧器における多頭部自己保持モジュールは,確率的述語空間における結合作用素の結合境界を実装する特別なニューラル演算子として理解することができる。
  論文  参考訳（メタデータ） (2022-10-06T07:39:58Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• A Differentiable Recipe for Learning Visual Non-Prehensile Planar Manipulation [63.1610540170754]
  視覚的非包括的平面操作の問題に焦点をあてる。 本稿では,ビデオデコードニューラルモデルと接触力学の先行情報を組み合わせた新しいアーキテクチャを提案する。 モジュラーで完全に差別化可能なアーキテクチャは、目に見えないオブジェクトやモーションの学習専用手法よりも優れていることが分かりました。
  論文  参考訳（メタデータ） (2021-11-09T18:39:45Z)
• Automated Source Code Generation and Auto-completion Using Deep Learning: Comparing and Discussing Current Language-Model-Related Approaches [0.0]
  本稿では、異なるディープラーニングアーキテクチャを比較して、プログラミングコードに基づく言語モデルを作成し、使用する。 それぞれのアプローチのさまざまな長所と短所と、言語モデルを評価したり、実際のプログラミングコンテキストでそれらを適用するためのギャップについて論じる。
  論文  参考訳（メタデータ） (2020-09-16T15:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。