論文の概要: STEB: Style Text Embedding Benchmark
- arxiv url: http://arxiv.org/abs/2606.31741v1
- Date: Tue, 30 Jun 2026 14:35:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.270971
- Title: STEB: Style Text Embedding Benchmark
- Title(参考訳): STEB: ベンチマークを組み込むスタイルのテキスト
- Abstract要約: Style Text Embedding Benchmarkは、スタイル埋め込みの評価を標準化するオープンソースのベンチマークである。
StEBは7つの言語にまたがる96のデータセットを含み、オーサシップ検証、オーサシップ検索、AIテキスト検出、言語的特徴の探索などのアプリケーションにまたがる。
セマンティックな埋め込みは、スタイリスティックなタスクでは一貫して失敗し、評価された全てのタスクに対して普遍的に優れているスタイルの埋め込みは存在しない。
- 参考スコア(独自算出の注目度): 1.4783646973333087
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While semantic embeddings are rigorously evaluated on the Massive Text Embedding Benchmark, the evaluation of style embeddings remains fragmented, with each work relying on their own set of tasks and datasets. To bridge this gap, we introduce the Style Text Embedding Benchmark, a comprehensive open-source benchmark intended to standardize the evaluation of style embeddings. STEB encompasses 96 datasets across 7 languages, spanning applications such as authorship verification, authorship retrieval, AI-text detection, probing of linguistic features, and others. We find that semantic embeddings consistently fail in stylistic tasks, and that there is no style embedding that is universally superior across all tasks evaluated. We open-source the STEB code base at: https://github.com/rrivera1849/STEB.
- Abstract(参考訳): セマンティック埋め込みはMassive Text Embedding Benchmarkで厳格に評価されているが、スタイル埋め込みの評価は断片的であり、それぞれの作業はそれぞれのタスクとデータセットに依存している。
このギャップを埋めるため、我々はスタイル埋め込みの評価を標準化するためのオープンソースベンチマークであるStyle Text Embedding Benchmarkを紹介した。
STEBは7つの言語にまたがる96のデータセットを含み、著者の検証、著者の検索、AIテキストの検出、言語的特徴の探索などのアプリケーションにまたがる。
セマンティックな埋め込みは、スタイリスティックなタスクでは一貫して失敗し、評価された全てのタスクに対して普遍的に優れているスタイルの埋め込みは存在しない。
https://github.com/rrivera1849/STEB。
関連論文リスト
- Skeletons Matter: Dynamic Data Augmentation for Text-to-Query [66.52311036179294]
テキスト・ツー・クエリー・タスク・パラダイムを正式に定義し、様々なクエリー言語にまたがるセマンティック・パース・タスクを統一する。
問合せスケルトンをText-to-Queryタスクの共有最適化ターゲットとして同定し、一般的な動的データ拡張フレームワークを提案する。
4つのText-to-Queryベンチマーク実験により,本手法が最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2025-11-24T09:39:03Z) - Text-based Aerial-Ground Person Retrieval [55.31140361809554]
本研究はTAG-PR(Text-based Aerial-Ground Person Retrieval)を紹介する。
異質な空中・地上からの人物画像をテキスト記述で検索することを目的としている。
論文 参考訳(メタデータ) (2025-11-11T15:49:04Z) - Context is Gold to find the Gold Passage: Evaluating and Training Contextual Document Embeddings [25.966475857117175]
本研究では,文書ワイドコンテキストを利用した検索モデルの評価を行うためのベンチマークであるConTEBを紹介する。
以上の結果から,最先端の埋め込みモデルは,コンテキストが必要な検索シナリオで苦労していることがわかった。
InSeNTは、遅延チャンキングプーリングと組み合わせることで文脈表現学習が促進される、新しい対照的なポストトレーニング手法である。
論文 参考訳(メタデータ) (2025-05-30T16:43:28Z) - WritingBench: A Comprehensive Benchmark for Generative Writing [87.48445972563631]
writeBenchは、6つのコア書き込みドメインと100の技術的記述を含む大規模言語モデル(LLM)を評価するために設計されたベンチマークである。
本稿では、LCMがインスタンス固有の評価基準を動的に生成することを可能にするクエリ依存評価フレームワークを提案する。
このフレームワークは、基準対応スコアリングのための微調整された批評家モデルによって補完され、スタイル、フォーマット、長さの評価を可能にする。
論文 参考訳(メタデータ) (2025-03-07T08:56:20Z) - FaMTEB: Massive Text Embedding Benchmark in Persian Language [9.204800002382042]
本稿では,Massive Text Embedding Benchmark (MTEB)上に構築されたペルシア語(Farsi)テキスト埋め込みの総合ベンチマークを提案する。
私たちのベンチマークには、7つの異なるタスクにまたがる63のデータセットが含まれています。
ペルシャ語および多言語埋め込みモデルの性能を様々なタスクで評価する。
論文 参考訳(メタデータ) (2025-02-17T09:05:21Z) - PLATTER: A Page-Level Handwritten Text Recognition System for Indic Scripts [20.394597266150534]
我々はPage-Level hAndwriTTen TExt Recognition(PLATTER)のエンドツーエンドフレームワークを提案する。
第2に,言語に依存しないHTDモデルの性能測定にPLATTERを用いることを実証する。
最後に、厳密にキュレートされたページレベルのインデックス手書きOCRデータセットである、手書きのIndic Scripts (CHIPS) のコーパスをリリースする。
論文 参考訳(メタデータ) (2025-02-10T05:50:26Z) - Discourse Features Enhance Detection of Document-Level Machine-Generated Content [53.41994768824785]
機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。
既存のMGC検出器は、しばしば表面レベルの情報のみに焦点を当て、暗黙的かつ構造的な特徴を見渡す。
これらの課題を克服するために、新しい方法論とデータセットを導入します。
論文 参考訳(メタデータ) (2024-12-17T08:47:41Z) - TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。
TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。
分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文 参考訳(メタデータ) (2023-06-06T03:37:41Z) - MTEB: Massive Text Embedding Benchmark [6.023518635799927]
セマンティックテキストの類似性に対する最先端の埋め込みがクラスタリングや再ランク付けといった他のタスクにも同じようにうまく適用できるかどうかは不明だ。
Massive Text Embedding Benchmark (MTEB)は、58のデータセットと112の言語をカバーする8つの埋め込みタスクにまたがる。
論文 参考訳(メタデータ) (2022-10-13T19:42:08Z) - DeepStyle: User Style Embedding for Authorship Attribution of Short
Texts [57.503904346336384]
オーサシップアトリビューション(AA)は、多くのアプリケーションで重要で広く研究されている研究トピックです。
近年の研究では、深層学習がAAタスクの精度を大幅に向上させることが示されている。
本稿では,ユーザの健全な書き込みスタイルの表現を学習する新しい埋め込み型フレームワークであるDeepStyleを提案する。
論文 参考訳(メタデータ) (2021-03-14T15:56:37Z) - Learning to Select Bi-Aspect Information for Document-Scale Text Content
Manipulation [50.01708049531156]
我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。
詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。
出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
論文 参考訳(メタデータ) (2020-02-24T12:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。