論文の概要: LangVAE and LangSpace: Building and Probing for Language Model VAEs

• arxiv url: http://arxiv.org/abs/2505.00004v1
• Date: Sat, 29 Mar 2025 12:10:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 01:46:36.972973
• Title: LangVAE and LangSpace: Building and Probing for Language Model VAEs
• Title（参考訳）: LangVAEとLangSpace: 言語モデルVAEの構築と検証
• Authors: Danilo S. Carvalho, Yingji Zhang, Harriet Unsworth, André Freitas,
• Abstract要約: 本稿では,事前学習された大言語モデル(LLM)上に,変分オートエンコーダ(VAE)のモジュール構造を構築するための新しいフレームワークであるLangVAEを紹介する。 LangVAEとLangSpaceは、柔軟で効率的でスケーラブルなテキスト表現の構築と分析方法を提供する。
• 参考スコア（独自算出の注目度）: 9.95951754461435
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present LangVAE, a novel framework for modular construction of variational autoencoders (VAEs) on top of pre-trained large language models (LLMs). Such language model VAEs can encode the knowledge of their pre-trained components into more compact and semantically disentangled representations. The representations obtained in this way can be analysed with the LangVAE companion framework: LangSpace, which implements a collection of probing methods, such as vector traversal and interpolation, disentanglement measures, and cluster visualisations. LangVAE and LangSpace offer a flexible, efficient and scalable way of building and analysing textual representations, with simple integration for models available on the HuggingFace Hub. Additionally, we conducted a set of experiments with different encoder and decoder combinations, as well as annotated inputs, revealing a wide range of interactions across architectural families and sizes w.r.t. generalisation and disentanglement. Our findings demonstrate a promising framework for systematising the experimentation and understanding of textual representations.
• Abstract（参考訳）: 本稿では,事前学習された大規模言語モデル(LLM)上に,変分オートエンコーダ(VAE)のモジュール構造を構築するための新しいフレームワークであるLangVAEを紹介する。 このような言語モデルVAEは、事前訓練されたコンポーネントの知識をよりコンパクトで意味論的に無関係な表現にエンコードすることができる。 この方法で得られた表現は、LangVAEのコンパニオンフレームワークで分析することができる。 LangVAEとLangSpaceは、柔軟で効率的でスケーラブルなテキスト表現の構築と分析の方法を提供する。 さらに,異なるエンコーダとデコーダの組み合わせ,および注釈付き入力を用いて一連の実験を行った。 本研究は,テキスト表現の実験と理解を体系化する上で,有望な枠組みを示すものである。

関連論文リスト

• SJTU:Spatial judgments in multimodal models towards unified segmentation through coordinate detection [4.930667479611019]
  本稿では,マルチモーダルモデルにおける空間的判断 -コーディネート検出による統一を目指して- マルチモーダル空間における空間推論を通した視覚言語モデルとのセグメンテーション手法の統合手法を提案する。 ベンチマークデータセット間で優れたパフォーマンスを示し、COCO 2017では0.5958、Pascal VOCでは0.6758、IoUスコアを達成しました。
  論文  参考訳（メタデータ） (2024-12-03T16:53:58Z)
• Language Representations Can be What Recommenders Need: Findings and Potentials [57.90679739598295]
  先進的なLM表現から線形にマッピングされた項目表現は、より優れたレコメンデーション性能が得られることを示す。 この結果は、先進言語表現空間と効果的な項目表現空間との同型性を示唆している。 本研究は,自然言語処理とリコメンデーションシステムコミュニティの両方に刺激を与える言語モデリングと行動モデリングの関連性を強調した。
  論文  参考訳（メタデータ） (2024-07-07T17:05:24Z)
• Composition Vision-Language Understanding via Segment and Depth Anything Model [2.0836143651641033]
  このライブラリは、DAM(Depth Anything Model)、SAM(Segment Anything Model)、GPT-4V(GPT-4V)の機能を相乗化する。 シンボリック・インスタンスレベルでのセグメンテーションと深度解析の融合により、我々のライブラリは言語モデルに対するニュアンスな入力を提供する。 本研究は,ニューラルシンボリック統合による視覚言語モデルの進展を示す。
  論文  参考訳（メタデータ） (2024-06-07T16:28:06Z)
• LlaMaVAE: Guiding Large Language Model Generation via Continuous Latent Sentence Spaces [1.529963465178546]
  本稿では,表現型エンコーダモデルとデコーダモデル(SentenceT5,LlaMA)とVAEアーキテクチャを組み合わせたLlaMaVAEを提案する。 実験の結果、LlaMaVAEは従来の最先端のVAE言語モデルであるOptimusよりも、様々なタスクで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-20T17:25:23Z)
• Towards More Unified In-context Visual Understanding [74.55332581979292]
  マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。 まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。 次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
  論文  参考訳（メタデータ） (2023-12-05T06:02:21Z)
• Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational AutoEncoders [5.037881619912574]
  本稿では,トランスフォーマーを用いたVAEにおける構造構文注入のための潜時空間分離法について検討する。 具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するかを検討する。 我々の経験的評価は、自然言語文と数学的表現に基づいて行われ、提案したエンドツーエンドのVAEアーキテクチャにより、潜在空間の全体構造がより良くなることを示している。
  論文  参考訳（メタデータ） (2023-11-14T22:47:23Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。