Fugu-MT 論文翻訳(概要): AnglE-optimized Text Embeddings

論文の概要: AnglE-optimized Text Embeddings

arxiv url: http://arxiv.org/abs/2309.12871v8
Date: Wed, 17 Jul 2024 14:33:21 GMT
ステータス: 処理完了
システム内更新日: 2024-07-18 23:28:28.614995
Title: AnglE-optimized Text Embeddings
Title（参考訳）: AnglEを最適化したテキスト埋め込み
Authors: Xianming Li, Jing Li,
Abstract要約: 本稿では,AnglEと呼ばれる新しい角度最適化テキスト埋め込みモデルを提案する。 AnglE の中核となる考え方は、複素空間に角度最適化を導入することである。短文STS、長文STS、ドメイン固有のSTSタスクなど、さまざまなタスクで大規模な実験が行われた。
参考スコア（独自算出の注目度）: 4.545354973721937
License: http://creativecommons.org/licenses/by/4.0/
Abstract: High-quality text embedding is pivotal in improving semantic textual similarity (STS) tasks, which are crucial components in Large Language Model (LLM) applications. However, a common challenge existing text embedding models face is the problem of vanishing gradients, primarily due to their reliance on the cosine function in the optimization objective, which has saturation zones. To address this issue, this paper proposes a novel angle-optimized text embedding model called AnglE. The core idea of AnglE is to introduce angle optimization in a complex space. This novel approach effectively mitigates the adverse effects of the saturation zone in the cosine function, which can impede gradient and hinder optimization processes. To set up a comprehensive STS evaluation, we experimented on existing short-text STS datasets and a newly collected long-text STS dataset from GitHub Issues. Furthermore, we examine domain-specific STS scenarios with limited labeled data and explore how AnglE works with LLM-annotated data. Extensive experiments were conducted on various tasks including short-text STS, long-text STS, and domain-specific STS tasks. The results show that AnglE outperforms the state-of-the-art (SOTA) STS models that ignore the cosine saturation zone. These findings demonstrate the ability of AnglE to generate high-quality text embeddings and the usefulness of angle optimization in STS.
Abstract（参考訳）: 高品質なテキスト埋め込みは、Large Language Model (LLM)アプリケーションにおいて重要なコンポーネントであるセマンティックテキスト類似性(STS)タスクの改善において重要な要素である。しかし、既存のテキスト埋め込みモデルが直面する共通の課題は、主に飽和ゾーンを持つ最適化対象のコサイン関数に依存するため、勾配の消失である。そこで本研究では,AnglEと呼ばれる新しい角度最適化テキスト埋め込みモデルを提案する。 AnglEの中核となる考え方は、複素空間に角度最適化を導入することである。この手法は、勾配を阻害し最適化を妨げうるコサイン関数における飽和域の悪影響を効果的に軽減する。包括的なSTS評価を設定するために、既存の短文STSデータセットとGitHub Issuesから新たに収集された長文STSデータセットを実験した。さらに、ラベル付きデータに制限のあるドメイン固有のSTSシナリオについて検討し、LLMアノテーション付きデータでAnglEがどのように動作するかを検討する。短文STS、長文STS、ドメイン固有のSTSタスクなど、さまざまなタスクで大規模な実験が行われた。その結果、AnglEはコサイン飽和ゾーンを無視したSOTA(State-of-the-art STS)モデルよりも優れていた。これらの結果は、AnglEが高品質なテキスト埋め込みを生成する能力と、STSにおける角度最適化の有用性を示している。

関連論文リスト

TG-LLaVA: Text Guided LLaVA via Learnable Latent Embeddings [61.9257731511557]
視覚言語モデル(VLM)を最適化するためのテキストガイド付きLLaVA(TG-LLaVA)を提案する。学習可能な潜伏埋め込みをブリッジとして使用し、テキスト命令を分析し、視覚エンコーダに解析結果をガイダンスとして付加する。テキストのガイダンスによって、視覚エンコーダは、人間が質問を考えるとき、画像の最も関連性の高い部分に集中する方法と同様に、テキスト関連の特徴を抽出することができる。
論文参考訳（メタデータ） (2024-09-15T00:38:34Z)
Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss [3.435381469869212]
本稿では,Sentence-BERT STSタスクのための革新的な回帰フレームワークを提案する。これは2つの単純で効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。実験結果から,本手法は7つのSTSベンチマークにおいて有意な性能を達成できることが示された。
論文参考訳（メタデータ） (2024-06-08T02:52:43Z)
Linguistically Conditioned Semantic Textual Similarity [6.049872961766425]
我々は、C-STS検証セットを再注釈し、元のラベルのアノテーションエラーによるインスタンスの55%でアノテーションの不一致を観察する。 80%以上のF1スコアでCSTSデータからアノテーションエラーを識別できる自動エラー識別パイプラインを提案する。そこで本研究では,C-STSデータのベースライン上の性能を大幅に改善する手法を提案する。
論文参考訳（メタデータ） (2024-06-06T01:23:45Z)
CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文参考訳（メタデータ） (2024-05-17T07:43:25Z)
Text Encoders Lack Knowledge: Leveraging Generative LLMs for Domain-Specific Semantic Textual Similarity [2.861144046639872]
セマンティックテキスト類似性(STS)は,複数のベンチマークにおいて高い性能を維持しつつ,テキスト生成問題としてキャスト可能であることを示す。 2つのテキスト間のセマンティックな類似性を特徴付ける際に、既存のエンコーダベースのSTSモデルよりも優れた生成LLMを示す。以上の結果から,複雑なドメイン固有のSTSタスクにおいて,STS固有のプロンプト戦略を持つ生成言語モデルが最先端のパフォーマンスを達成することが示唆された。
論文参考訳（メタデータ） (2023-09-12T19:32:45Z)
TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文参考訳（メタデータ） (2023-06-06T03:37:41Z)
Tracking Objects and Activities with Attention for Temporal Sentence Grounding [51.416914256782505]
時間文 (TSG) は、意味的に自然言語のクエリと一致した時間セグメントを、トリミングされていないセグメントでローカライズすることを目的としている。本稿では,(A)マルチモーダル・検索空間を生成するクロスモーダル・ターゲット・ジェネレータと(B)マルチモーダル・ターゲットの動作を追跡し,クエリ関連セグメントを予測するテンポラル・センセント・トラッカーとを含む,新しいテンポラル・センセント・トラッカー・ネットワーク(TSTNet)を提案する。
論文参考訳（メタデータ） (2023-02-21T16:42:52Z)
SPTS v2: Single-Point Scene Text Spotting [146.98118405786445]
新たなフレームワークであるSPTS v2では,単一ポイントアノテーションを用いて高いパフォーマンスのテキストスポッティングモデルをトレーニングすることができる。 SPTS v2は、より少ないパラメータで従来の最先端のシングルポイントテキストスポッターより優れていることを示す。実験により、シーンテキストスポッティングにおける単一点表現の潜在的好みが示唆される。
論文参考訳（メタデータ） (2023-01-04T14:20:14Z)
Unsupervised Sentence Textual Similarity with Compositional Phrase Semantics [8.729329792251578]
テキスト類似度の測定(STS)は、多くのダウンストリームNLPアプリケーションに適用可能な古典的なタスクである。本稿では、様々な領域で動作するが、最小限のデータと計算資源しか必要としない教師なしSTSに焦点を当てる。
論文参考訳（メタデータ） (2022-10-05T14:14:04Z)
Composable Text Controls in Latent Space with ODEs [97.12426987887021]
本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
論文参考訳（メタデータ） (2022-08-01T06:51:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。