論文の概要: Why Not Simply Translate? A First Swedish Evaluation Benchmark for Semantic Similarity

• arxiv url: http://arxiv.org/abs/2009.03116v2
• Date: Sun, 29 Nov 2020 10:04:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 02:56:38.589781
• Title: Why Not Simply Translate? A First Swedish Evaluation Benchmark for Semantic Similarity
• Title（参考訳）: なぜ単に翻訳しないのか? 意味的類似性に関する最初のスウェーデン評価ベンチマーク
• Authors: Tim Isbister and Magnus Sahlgren
• Abstract要約: 本稿では,テキスト意味的類似性に関するスウェーデン初の評価ベンチマークを提案する。 ベンチマークは、Googleの機械翻訳APIを通じて、英語のSTS-Bデータセットを単純に実行することでコンパイルされる。 結果のデータセットに明らかな問題がいくつかあるが、このベンチマークを使用して、現在存在するスウェーデンのテキスト表現の大部分を比較している。
• 参考スコア（独自算出の注目度）: 3.6296396308298795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents the first Swedish evaluation benchmark for textual semantic similarity. The benchmark is compiled by simply running the English STS-B dataset through the Google machine translation API. This paper discusses potential problems with using such a simple approach to compile a Swedish evaluation benchmark, including translation errors, vocabulary variation, and productive compounding. Despite some obvious problems with the resulting dataset, we use the benchmark to compare the majority of the currently existing Swedish text representations, demonstrating that native models outperform multilingual ones, and that simple bag of words performs remarkably well.
• Abstract（参考訳）: 本稿では,スウェーデン初のテキスト意味類似性評価ベンチマークを提案する。 ベンチマークは、Googleの機械翻訳APIを通じて、単に英語のSTS-Bデータセットを実行することでコンパイルされる。 本稿では,スウェーデン評価ベンチマークのコンパイルにおいて,翻訳誤り,語彙変動,生産的複合化などの単純な手法を用いる場合の潜在的な問題について述べる。 結果のデータセットに明らかな問題がいくつかあるが、このベンチマークを使用して、既存のスウェーデンのテキスト表現の大部分を比較し、ネイティブモデルが多言語モデルよりも優れており、単純な単語の袋が驚くほどうまく機能していることを示した。

関連論文リスト

• SWEb: A Large Web Dataset for the Scandinavian Languages [11.41086713693524]
  本稿はスカンジナビア語における最大の事前学習データセットであるスカンジナビア語WEb(SWEb)について述べる。 本稿では,ルールベースのアプローチと比較して,複雑性を著しく低減する新しいモデルベースのテキスト抽出手法を提案する。 また、スウェーデンの言語モデルを評価するための新しいクローゼスタイルのベンチマークを導入し、このテストを用いて、SWEbデータでトレーニングされたモデルとFinalWebでトレーニングされたモデルを比較し、競合する結果と比較した。
  論文  参考訳（メタデータ） (2024-10-06T11:55:15Z)
• Revisiting a Pain in the Neck: Semantic Phrase Processing Benchmark for Language Models [10.482557806309174]
  セマンティックフレーズ処理タスクにおける言語モデル(LM)のテストを可能にする総合評価スイートであるLexBenchを紹介する。 我々のベンチマークにより、モデルアーキテクチャにおける15のLMの性能と、分類、抽出、解釈タスクにおけるパラメータスケールを評価する。 我々のベンチマーク結果は,意味的フレーズ理解におけるLMの汎用的能力の向上を目的とした今後の研究に役立つだろう。
  論文  参考訳（メタデータ） (2024-05-05T09:20:38Z)
• End-to-End Evaluation for Low-Latency Simultaneous Speech Translation [55.525125193856084]
  本稿では,低遅延音声翻訳の様々な側面を現実的な条件下で実行し,評価するための第1の枠組みを提案する。 これには、オーディオのセグメンテーションと、異なるコンポーネントの実行時間が含まれる。 また、このフレームワークを用いて低遅延音声翻訳の異なるアプローチを比較する。
  論文  参考訳（メタデータ） (2023-08-07T09:06:20Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• NMTScore: A Multilingual Analysis of Translation-based Text Similarity Measures [42.46681912294797]
  我々は多言語NMTの共通フレームワークにおける翻訳に基づく類似度尺度を解析する。 文の埋め込みなどのベースラインと比較して、翻訳に基づく尺度はパラフレーズの識別において競争力があることが証明されている。 措置は人間の判断と相対的に高い相関を示す。
  論文  参考訳（メタデータ） (2022-04-28T17:57:17Z)
• A new approach to calculating BERTScore for automatic assessment of translation quality [0.0]
  本研究は,BERTScore測定値の文レベルにおける翻訳品質評価への適用性に焦点をあてる。 実験は、事前訓練された多言語BERTと、一対のモノリンガルBERTモデルを用いて行われた。 このような変換がミスマッチの防止に有効であることを実証し,マルチ言語モデルの埋め込みを用いた場合よりも,このアプローチの方が優れた結果が得られることを示した。
  論文  参考訳（メタデータ） (2022-03-10T19:25:16Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• Exploring Swedish & English fastText Embeddings for NER with the Transformer [1.6507910904669727]
  比較的小さなコーパスからの埋め込みはより大きなコーパスからの埋め込みよりも優れていることを示す。 より少ないトレーニングデータで、下流タスクにおいて、両方の言語でより良いパフォーマンスを得る。 n-gramという文字は、形態学的に豊かな言語であるスウェーデン語にとって有用である。
  論文  参考訳（メタデータ） (2020-07-23T08:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。