論文の概要: How Far Do Simple Transformations Translate Across Text Embedding Models?

• arxiv url: http://arxiv.org/abs/2608.05980v1
• Date: Thu, 06 Aug 2026 12:57:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.904472
• Title: How Far Do Simple Transformations Translate Across Text Embedding Models?
• Title（参考訳）: テキスト埋め込みモデル間の単純な変換はどこまで可能か?
• Abstract要約: 単純変換がヘテロジニアステキスト埋め込みモデル間で表現を変換できるかどうかを検討する。 我々は、単純化されたベンチマークを超える現実的なテキスト設定において、潜在普遍性の仮説をテストする。 全体としては、不均一な埋め込み空間は、いくつかの文献でよく示唆されるような単純な写像によって普遍的に関係がないことを示す。
• 参考スコア（独自算出の注目度）: 1.7812673697676977
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We investigate whether simple transformations can translate representations across heterogeneous text embedding models. Understanding how independently trained models organize semantic information is an enabler for AI-to-AI latent communication without decoding into human-readable text. Focusing on lightweight translators such as linear mappings, we test the literature hypothesis of latent universality in a realistic text setting beyond simplified benchmarks. Across nine embedding models differing in architecture, pooling strategy, and training objective, we evaluate compatibility using CKA, downstream transfer, fidelity, and retrieval. Simple translators recover meaningful shared structure and support transfer for some compatible pairs, but fail sharply for others. Compatibility depends jointly on architecture, training objective, pooling, and data distribution. Overall, the results show that heterogeneous embedding spaces are not universally related by simple mappings as often suggested in some literature.
• Abstract（参考訳）: 単純変換がヘテロジニアステキスト埋め込みモデル間で表現を変換できるかどうかを検討する。 セマンティック情報を組織化するための独立したモデルを理解することは、人間の読みやすいテキストに復号することなく、AIからAIへの潜在コミュニケーションを可能にする。 線形写像のような軽量な翻訳子に着目し、単純化されたベンチマークを超える現実的なテキスト設定において、潜在普遍性の文献仮説を検証した。 アーキテクチャ,プーリング戦略,トレーニング目標の異なる9つの埋め込みモデルに対して,CKA,下流転送,忠実度,検索を用いて互換性を評価する。 単純なトランスレータは意味のある共有構造を復元し、いくつかの互換性のあるペアの転送をサポートするが、他では急激に失敗する。 互換性は、アーキテクチャ、トレーニング目標、プーリング、データ分散に大きく依存します。 全体としては、不均一な埋め込み空間は、いくつかの文献でよく示唆されるような単純な写像によって普遍的に関係がないことを示す。

関連論文リスト

• Does Linguistic Structure Enrichment Enhance Coherence Assessment? Not With Current Architectures [1.756239703835073]
  統語的・修辞的な情報でテキストを豊かにすることで、一貫性の予測が向上するかどうかを検討する。 実験と分析により、付加された情報が言語モデルのアーキテクチャと構造的および構文的に相容れないため、プレーンテキストはより高い精度を達成できたことが示された。
  論文  参考訳（メタデータ） (2026-09-09T22:53:50Z)
• TextLDM: Language Modeling with Continuous Latent Diffusion [89.69255520673248]
  拡散変換器(DiT)は、VAEラテント空間におけるフローマッチングで訓練され、画像やビデオ間で統一された視覚生成を行う。 最小限のアーキテクチャ変更で視覚的潜伏拡散のレシピをテキスト生成に転送するTextLDMを提案する。
  論文  参考訳（メタデータ） (2026-05-08T13:54:34Z)
• Zero-Shot Synthetic-to-Real Handwritten Text Recognition via Task Analogies [60.84720484975815]
  手書きテキスト認識(HTR)モデルは、しばしば実際のテキストに一般化するのに苦労する。 完全ゼロショット合成-実一般化設定に取り組む。 提案手法は,1つ以上のソース言語において,合成言語から実際の手書き言語に移行する際に,モデルパラメータがどのように変化するかを学習する。
  論文  参考訳（メタデータ） (2026-04-08T07:33:31Z)
• Explicit Grammar Semantic Feature Fusion for Robust Text Classification [0.0]
  自然言語処理により、コンピュータはテキストを効率的に分析し分類することで人間の言語を理解することができる。 既存のモデルは、計算集約的で資源制約のある環境に適さないトランスフォーマーモデルで大きなコーパスから学習することで特徴を捉えている。 本研究は,意味情報とともに包括的文法規則を取り入れて,頑健で軽量な分類モデルを構築することを目的とする。
  論文  参考訳（メタデータ） (2026-02-24T10:25:29Z)
• Negative Matters: Multi-Granularity Hard-Negative Synthesis and Anchor-Token-Aware Pooling for Enhanced Text Embeddings [25.565372681837697]
  クエリに類似するレベルが異なる多様な負のサンプルを生成するために,マルチグラニュラリティ・ハード負(MGH)合成フレームワークを導入する。 また,Anchor Token Aware(ATA)プーリング手法を提案する。
  論文  参考訳（メタデータ） (2025-08-31T13:24:48Z)
• Contextually Guided Transformers via Low-Rank Adaptation [14.702057924366345]
  変換器をベースとした大規模言語モデル(LLM)は、テキスト処理において優れているが、特殊な振る舞いのプロンプトに依存しているため、計算オーバーヘッドが生じる。 本稿では,モデル重みにコンテキストをエンコードすることで,明示的なプロンプトの必要性を解消するトランスフォーマーアーキテクチャの修正を提案する。
  論文  参考訳（メタデータ） (2025-06-06T01:34:39Z)
• Mind the Gap: A Generalized Approach for Cross-Modal Embedding Alignment [0.0]
  Retrieval-Augmented Generation (RAG) システムは、意味的ギャップによって異なるテキストモダリティ間でコンテキストを検索する。 本稿では,これらのギャップを効率的に埋める汎用投影法を提案する。 私たちのアプローチでは、トレーニングや推論に最小限のリソースを必要とするため、スピード、正確性、データ効率を重視しています。
  論文  参考訳（メタデータ） (2024-10-30T20:28:10Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Two-Level Transformer and Auxiliary Coherence Modeling for Improved Text Segmentation [9.416757363901295]
  単純だが明示的なコヒーレンスモデリングを用いたテキストセグメンテーションのための新しい教師付きモデルを提案する。 我々のモデルは、2つの階層的に連結されたトランスフォーマーネットワークからなるニューラルネットワークであり、文レベルのセグメンテーション目標と、正しい文列と腐敗した文列を区別するコヒーレンス目標を結合するマルチタスク学習モデルである。
  論文  参考訳（メタデータ） (2020-01-03T17:06:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。