論文の概要: An Analysis of Embedding Layers and Similarity Scores using Siamese Neural Networks

• arxiv url: http://arxiv.org/abs/2401.00582v1
• Date: Sun, 31 Dec 2023 20:21:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 16:43:44.509150
• Title: An Analysis of Embedding Layers and Similarity Scores using Siamese Neural Networks
• Title（参考訳）: siameseニューラルネットワークを用いた埋め込み層と類似度スコアの解析
• Authors: Yash Bingi and Yiqiao Yin
• Abstract要約: 本研究では,OpenAIやGoogleのPaLM,BERTといった業界の主要企業からの埋め込みアルゴリズムについて検討する。 医療データを用いて,各埋め込み層の類似度を解析し,各アルゴリズムの性能差を観察した。 また、各モデルを強化し、付加的な符号化層を提供するため、シームズニューラルネットワークを実装した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Lanugage Models (LLMs) are gaining increasing popularity in a variety of use cases, from language understanding and writing to assistance in application development. One of the most important aspects for optimal funcionality of LLMs is embedding layers. Word embeddings are distributed representations of words in a continuous vector space. In the context of LLMs, words or tokens from the input text are transformed into high-dimensional vectors using unique algorithms specific to the model. Our research examines the embedding algorithms from leading companies in the industry, such as OpenAI, Google's PaLM, and BERT. Using medical data, we have analyzed similarity scores of each embedding layer, observing differences in performance among each algorithm. To enhance each model and provide an additional encoding layer, we also implemented Siamese Neural Networks. After observing changes in performance with the addition of the model, we measured the carbon footage per epoch of training. The carbon footprint associated with large language models (LLMs) is a significant concern, and should be taken into consideration when selecting algorithms for a variety of use cases. Overall, our research compared the accuracy different, leading embedding algorithms and their carbon footage, allowing for a holistic review of each embedding algorithm.
• Abstract（参考訳）: 言語理解や記述からアプリケーション開発の支援まで、さまざまなユースケースにおいて、LLM(Large Lanugage Models)が人気を集めています。 LLMの最適函手性にとって最も重要な側面の1つは、層を埋め込むことである。 単語埋め込みは連続ベクトル空間における単語の分散表現である。 llmの文脈では、入力テキストからの単語やトークンはモデル特有の一意なアルゴリズムを用いて高次元ベクトルに変換される。 本稿では,OpenAIやGoogleのPaLM,BERTなど,業界の主要企業の組み込みアルゴリズムについて検討する。 医療データを用いて,各埋め込み層の類似度を解析し,各アルゴリズムの性能差を観察した。 各モデルを強化し、追加のエンコーディング層を提供するため、siameseニューラルネットワークも実装しました。 モデルの追加により性能の変化を観察した後,訓練の時期ごとの炭素映像を測定した。 大規模言語モデル(LLM)に関連する炭素フットプリントは重要な問題であり、様々なユースケースのアルゴリズムを選択する際に考慮すべきである。 全体として, 埋込みアルゴリズムとカーボン映像の精度を比較した結果, 埋込みアルゴリズムの全体的評価が可能となった。

関連論文リスト

• Masked Image Modeling: A Survey [73.21154550957898]
  マスク付き画像モデリングは、コンピュータビジョンにおける強力な自己教師付き学習技術として登場した。 我々は近年,分類学を構築し,最も顕著な論文をレビューしている。 我々は,最も人気のあるデータセット上で,様々なマスク付き画像モデリング手法の性能評価結果を集約する。
  論文  参考訳（メタデータ） (2024-08-13T07:27:02Z)
• MST: Adaptive Multi-Scale Tokens Guided Interactive Segmentation [8.46894039954642]
  対話型セグメンテーションのための新しいマルチスケールトークン適応アルゴリズムを提案する。 マルチスケールトークンでトップk演算を行うことで、計算の複雑さが大幅に単純化される。 また,コントラスト損失に基づくトークン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-09T07:59:42Z)
• Measuring Distributional Shifts in Text: The Advantage of Language Model-Based Embeddings [11.393822909537796]
  実運用における機械学習モデル監視の重要な部分は、入力と出力データのドリフトを測定することである。 大規模言語モデル(LLM)の最近の進歩は、意味的関係を捉える上での有効性を示している。 このような埋め込みを利用してテキストデータの分布変化を測定するクラスタリングに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-04T20:46:48Z)
• Gramian Attention Heads are Strong yet Efficient Vision Learners [26.79263390835444]
  複数のヘッダ分類器(e, classification head)を組み込むことで表現性を向上する新しいアーキテクチャ設計を提案する。 本手法では,資源オーバーヘッドを最小に抑えつつ,複数の軽量ヘッドを強化するために,一対の特徴的類似性を利用したアグリゲーションを用いる。 われわれのモデルは最終的に、ImageNet-1Kの精度の細かいトレードオフに関して、最先端のCNNやViTを上回ることになる。
  論文  参考訳（メタデータ） (2023-10-25T09:08:58Z)
• Adaptive Context Selection for Polyp Segmentation [99.9959901908053]
  本稿では,ローカルコンテキストアテンション(LCA)モジュール,グローバルコンテキストモジュール(GCM)モジュール,適応選択モジュール(ASM)モジュールで構成される適応コンテキスト選択に基づくエンコーダデコーダフレームワークを提案する。 LCAモジュールは、エンコーダ層からデコーダ層へローカルなコンテキスト機能を提供する。 GCMは、グローバルなコンテキストの特徴をさらに探求し、デコーダ層に送信することを目的としている。ASMは、チャンネルワイドアテンションを通じて、コンテキスト特徴の適応的選択と集約に使用される。
  論文  参考訳（メタデータ） (2023-01-12T04:06:44Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Deep ensembles based on Stochastic Activation Selection for Polyp Segmentation [82.61182037130406]
  本研究は,大腸内視鏡検査における画像分割,特に正確なポリープ検出とセグメンテーションを扱う。 イメージセグメンテーションの基本アーキテクチャはエンコーダとデコーダで構成されている。 我々はデコーダのバックボーンを変更することで得られるDeepLabアーキテクチャのバリエーションを比較した。
  論文  参考訳（メタデータ） (2021-04-02T02:07:37Z)
• Towards Understanding the Behaviors of Optimal Deep Active Learning Algorithms [19.65665942630067]
  アクティブラーニング(AL)アルゴリズムは、モデルがデータ選択プロセスを導くため、より少ないデータでより良いパフォーマンスを達成できます。 alの最適形状についてはほとんど研究されていないため、研究者たちはモデルがどこが不足しているかを理解するのに役立つだろう。 我々は,この最適オラクルを探索し,いくつかのタスクで解析するシミュレーションアニーリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-29T22:56:42Z)
• Captum: A unified and generic model interpretability library for PyTorch [49.72749684393332]
  我々は,PyTorch用の新しい,統一されたオープンソースモデル解釈可能性ライブラリを紹介する。 このライブラリには、多くの勾配と摂動に基づく属性アルゴリズムの汎用的な実装が含まれている。 分類モデルと非分類モデルの両方に使用できる。
  論文  参考訳（メタデータ） (2020-09-16T18:57:57Z)
• Online Sequential Extreme Learning Machines: Features Combined From Hundreds of Midlayers [0.0]
  本稿では階層型オンラインシーケンシャル学習アルゴリズム(H-OS-ELM)を提案する。 アルゴリズムは、一定のブロックサイズまたは異なるブロックサイズでチャンクごとにチャンクを学習することができる。
  論文  参考訳（メタデータ） (2020-06-12T00:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。