論文の概要: Latent Communication in Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2406.11014v1
• Date: Sun, 16 Jun 2024 17:13:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 19:23:12.334346
• Title: Latent Communication in Artificial Neural Networks
• Title（参考訳）: ニューラルネットワークにおける潜時通信
• Authors: Luca Moschella,
• Abstract要約: この論文は神経表現の普遍性と再利用性に焦点を当てている。 我々の研究から得られた顕著な観察は、潜在表現における類似性の出現である。
• 参考スコア（独自算出の注目度）: 2.5947832846531886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As NNs permeate various scientific and industrial domains, understanding the universality and reusability of their representations becomes crucial. At their core, these networks create intermediate neural representations, indicated as latent spaces, of the input data and subsequently leverage them to perform specific downstream tasks. This dissertation focuses on the universality and reusability of neural representations. Do the latent representations crafted by a NN remain exclusive to a particular trained instance, or can they generalize across models, adapting to factors such as randomness during training, model architecture, or even data domain? This adaptive quality introduces the notion of Latent Communication -- a phenomenon that describes when representations can be unified or reused across neural spaces. A salient observation from our research is the emergence of similarities in latent representations, even when these originate from distinct or seemingly unrelated NNs. By exploiting a partial correspondence between the two data distributions that establishes a semantic link, we found that these representations can either be projected into a universal representation, coined as Relative Representation, or be directly translated from one space to another. Latent Communication allows for a bridge between independently trained NN, irrespective of their training regimen, architecture, or the data modality they were trained on -- as long as the data semantic content stays the same (e.g., images and their captions). This holds true for both generation, classification and retrieval downstream tasks; in supervised, weakly supervised, and unsupervised settings; and spans various data modalities including images, text, audio, and graphs -- showcasing the universality of the Latent Communication phenomenon. [...]
• Abstract（参考訳）: NNが様々な科学分野や産業分野に浸透するにつれ、その表現の普遍性と再利用性を理解することが重要である。 コアでは、これらのネットワークは入力データの潜在空間として示される中間的なニューラル表現を生成し、その後、特定の下流タスクを実行するためにそれらを活用する。 この論文は神経表現の普遍性と再利用性に焦点を当てている。 NNが作成した潜在表現は、トレーニング中のランダム性、モデルアーキテクチャ、さらにはデータドメインといった要因に適応して、特定のトレーニングされたインスタンスに限定するのでしょうか? この適応的な品質は、Latent Communicationの概念を紹介します。これは、表現がニューラルスペース間で統一または再利用可能であることを記述した現象です。我々の研究から得られた顕著な観察は、Latent Expressionsの類似性の出現です。これは、区別されたあるいは一見無関係なNNから生まれたものであるとしても、遅延表現の出現です。セマンティックリンクを確立する2つのデータディストリビューション間の部分的な対応を利用して、これらの表現が、Relative Representationと呼ばれる普遍的な表現に投影されるか、別の空間に直接変換されるかのどちらかを見つけました。Latent Communicationは、トレーニング規則、アーキテクチャ、またはデータモダリティに関係なく、独立にトレーニングされたNN間の橋渡しを可能にします -- セマンティックコンテンツが同じままである限り(例、イメージ、そしてキャプション)、トレーニングされたデータモダリティです。 これは下流のタスクの生成、分類、検索の両方に当てはまり、教師付き、弱教師付き、教師なしの設定であり、画像、テキスト、オーディオ、グラフなど様々なデータモダリティにまたがる。 [...]

関連論文リスト

• Disentangling Representations through Multi-task Learning [0.0]
  分類タスクを最適に解決するエージェントにおいて,不整合表現の出現を保証する実験および理論的結果を提供する。 マルチタスク分類を訓練したRNNにおいて,これらの予測を実験的に検証した。 私たちは、トランスフォーマーが特に、そのユニークな世界理解能力を説明するような、無関係な表現に向いていることに気付きました。
  論文  参考訳（メタデータ） (2024-07-15T21:32:58Z)
• Evaluating alignment between humans and neural network representations in image-based learning tasks [5.657101730705275]
  トレーニング済みの860ドルのニューラルネットワークモデルの表現が、人間の学習軌跡にどのようにマッピングされているかテストしました。 トレーニングデータセットのサイズは人間の選択に沿った中核的な決定要因であるのに対し、マルチモーダルデータ(テキストと画像)による対照的なトレーニングは、人間の一般化を予測するために現在公開されているモデルの一般的な特徴であることがわかった。 結論として、事前訓練されたニューラルネットワークは、タスク間で伝達可能な認知の基本的な側面を捉えているように見えるため、認知モデルのための表現を抽出するのに役立つ。
  論文  参考訳（メタデータ） (2023-06-15T08:18:29Z)
• Less Data, More Knowledge: Building Next Generation Semantic Communication Networks [180.82142885410238]
  本稿では、スケーラブルなエンドツーエンドセマンティック通信ネットワークの最初の厳密なビジョンを示す。 まず、セマンティック・コミュニケーション・ネットワークの設計は、データ駆動型ネットワークから知識駆動型ネットワークへどのように移行する必要があるかについて議論する。 意味表現と言語を用いることで、従来の送信機と受信機が教師と見習いになることを示す。
  論文  参考訳（メタデータ） (2022-11-25T19:03:25Z)
• Interpretable part-whole hierarchies and conceptual-semantic relationships in neural networks [4.153804257347222]
  本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。 本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-03-07T10:56:13Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Semantic Representation and Inference for NLP [2.969705152497174]
  この論文は、新しい意味表現と推論のための深層学習の利用について考察する。 我々は,自動クレーム検証を目的とした,現実の事実クレームの公開データセットとして最大である。 語句表現を外部単語埋め込みと知識グラフで豊かにすることにより,句の構成性を文脈的に操作する。
  論文  参考訳（メタデータ） (2021-06-15T13:22:48Z)
• Learning Deep Interleaved Networks with Asymmetric Co-Attention for Image Restoration [65.11022516031463]
  本稿では,高品質(本社)画像再構成のために,異なる状態の情報をどのように組み合わせるべきかを学習するディープインターリーブドネットワーク(DIN)を提案する。 本稿では,各インターリーブノードにアタッチメントされた非対称なコアテンション(AsyCA)を提案し,その特性依存性をモデル化する。 提案したDINはエンドツーエンドで訓練でき、様々な画像復元タスクに適用できる。
  論文  参考訳（メタデータ） (2020-10-29T15:32:00Z)
• Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization [59.5104563755095]
  本稿では,医用画像分類分野におけるディープニューラルネットワークの一般化能力向上のための,シンプルだが効果的なアプローチを提案する。 医用画像の領域変数がある程度コンパクトであることに感銘を受けて,変分符号化による代表的特徴空間の学習を提案する。
  論文  参考訳（メタデータ） (2020-09-27T12:30:30Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。