論文の概要: Discrete Latent Structure in Neural Networks

• arxiv url: http://arxiv.org/abs/2301.07473v2
• Date: Fri, 22 Nov 2024 12:22:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:01:59.150182
• Title: Discrete Latent Structure in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける離散遅延構造
• Authors: Vlad Niculae, Caio F. Corro, Nikita Nangia, Tsvetomila Mihaylova, André F. T. Martins,
• Abstract要約: このテキストは、離散的な潜在構造を持つ学習のための3つの広義の戦略を探求する。 たいていは、同じ基本ブロックの小さなセットで構成されているが、それらが異なる使い方をしており、適用性や特性が著しく異なることを示している。
• 参考スコア（独自算出の注目度）: 32.41642110537956
• License:
• Abstract: Many types of data from fields including natural language processing, computer vision, and bioinformatics, are well represented by discrete, compositional structures such as trees, sequences, or matchings. Latent structure models are a powerful tool for learning to extract such representations, offering a way to incorporate structural bias, discover insight about the data, and interpret decisions. However, effective training is challenging, as neural networks are typically designed for continuous computation. This text explores three broad strategies for learning with discrete latent structure: continuous relaxation, surrogate gradients, and probabilistic estimation. Our presentation relies on consistent notations for a wide range of models. As such, we reveal many new connections between latent structure learning strategies, showing how most consist of the same small set of fundamental building blocks, but use them differently, leading to substantially different applicability and properties.
• Abstract（参考訳）: 自然言語処理、コンピュータビジョン、バイオインフォマティクスなどの分野のデータは、木、配列、マッチングといった独立した構成構造によってよく表される。 潜在構造モデルは、そのような表現を抽出し、構造バイアスを取り入れ、データについての洞察を発見し、決定を解釈する手段を提供するための強力なツールである。 しかしながら、ニューラルネットワークは通常、継続的な計算のために設計されているため、効果的なトレーニングは難しい。 このテキストは、連続緩和(continuous relaxation)、代理勾配(surrogate gradients)、確率的推定(probabilistic estimation)という、独立した潜在構造を持つ学習のための3つの幅広い戦略を探求する。 私たちのプレゼンテーションは、幅広いモデルに対して一貫した表記に依存しています。 このように、我々は、潜在構造学習戦略の間に多くの新しいつながりを明らかにし、ほとんどのものが同じ基本構造ブロックの小さな集合で構成されていることを示すが、それらを異なる使い方で使用することにより、適用可能性と特性が著しく異なることを示す。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Learning Dynamic Bayesian Networks from Data: Foundations, First Principles and Numerical Comparisons [2.403231673869682]
  データから動的ベイズネットワーク(DBN)を学習する基礎について紹介する。 一般化の形式と、特定の変数分布に対する共通型DBNの集合について述べる。
  論文  参考訳（メタデータ） (2024-06-25T14:28:17Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Topics as Entity Clusters: Entity-based Topics from Large Language Models and Graph Neural Networks [0.6486052012623045]
  本稿では,エンティティのバイモーダルベクトル表現を用いたトピッククラスタリング手法を提案する。 我々のアプローチは、最先端のモデルと比較してエンティティを扱うのに適している。
  論文  参考訳（メタデータ） (2023-01-06T10:54:54Z)
• Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
  トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。 ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。 本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
  論文  参考訳（メタデータ） (2022-12-01T02:05:44Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• Learning Probabilistic Structural Representation for Biomedical Image Segmentation [37.07198480786721]
  構造表現を学習する最初の深層学習法を提案する。 我々は、この手法の強み、すなわち位相的整合性の良いピクセルマップよりも真の構造を生成することを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-03T06:00:26Z)
• Learning compositional structures for semantic graph parsing [81.41592892863979]
  本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。 本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
  論文  参考訳（メタデータ） (2021-06-08T14:20:07Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。