論文の概要: Embedding-Enhanced Giza++: Improving Alignment in Low- and High-
Resource Scenarios Using Embedding Space Geometry
- arxiv url: http://arxiv.org/abs/2104.08721v1
- Date: Sun, 18 Apr 2021 05:21:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 14:09:40.086560
- Title: Embedding-Enhanced Giza++: Improving Alignment in Low- and High-
Resource Scenarios Using Embedding Space Geometry
- Title（参考訳）: embedd-enhanced giza++:embedd space geometryを用いた低・高リソースシナリオのアライメント改善
- Authors: Kelly Marchisio, Conghao Xiong, and Philipp Koehn
- Abstract要約: 一般的な自然言語処理タスクは数十年前にGIZA++によって最近までワードアライメントが支配されてきた。
Embedding-Enhanced Giza++を紹介します。
5億行から190万行のbitextでテストされたシナリオでは,giza++を単調に上回っている。
- 参考スコア（独自算出の注目度）: 5.185780049813253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A popular natural language processing task decades ago, word alignment has
been dominated until recently by GIZA++, a statistical method based on the
30-year-old IBM models. Though recent years have finally seen Giza++
performance bested, the new methods primarily rely on large machine translation
models, massively multilingual language models, or supervision from Giza++
alignments itself. We introduce Embedding-Enhanced Giza++, and outperform
Giza++ without any of the aforementioned factors. Taking advantage of
monolingual embedding space geometry of the source and target language only, we
exceed Giza++'s performance in every tested scenario for three languages. In
the lowest-resource scenario of only 500 lines of bitext, we improve
performance over Giza++ by 10.9 AER. Our method scales monotonically
outperforming Giza++ for all tested scenarios between 500 and 1.9 million lines
of bitext. Our code will be made publicly available.
- Abstract（参考訳）: 数十年前に人気の自然言語処理タスクである単語アライメントは、30年前のIBMモデルに基づく統計手法であるGIZA++によって最近まで支配されていた。
近年ではGiza++のパフォーマンスが向上したが、新しい手法は主に大規模な機械翻訳モデル、多言語言語モデル、あるいはGiza++アライメント自体の監督に依存している。
Embedding-Enhanced Giza++を紹介します。
ソースとターゲット言語の単一言語埋め込み空間幾何を活用することで、3つの言語のテストシナリオ毎にGiza++のパフォーマンスを上回ります。
わずか500行のbitextの最小リソースシナリオでは、10.9 AERでGiza++のパフォーマンスを改善する。
5億行から190万行のbitextでテストされたシナリオでは,giza++を単調に上回っている。
私たちのコードは公開されます。
関連論文リスト
- Generative Representational Instruction Tuning [93.63474742655058]
GritLM 7B がMassive Text Embedding Benchmark (MTEB) に新たな技術状況を設定する
GritLM 8x7Bは、私たちが試したすべてのオープンな生成言語モデルよりも優れています。
論文 参考訳（メタデータ） (2024-02-15T12:12:19Z) - Aya Model: An Instruction Finetuned Open-Access Multilingual Language
Model [33.87586041774359]
Ayaは101言語で命令に従う多言語生成言語モデルであり、50%以上が低リソースであると考えられている。
99言語にまたがる多言語evalの最先端性を広げる広範な評価スイートを導入する。
我々は、最適微調整混合物組成、データプルーニング、およびモデルの毒性、バイアス、安全性について詳細な調査を行う。
論文 参考訳（メタデータ） (2024-02-12T17:34:13Z) - ReGAL: Refactoring Programs to Discover Generalizable Abstractions [66.37493420911979]
Generalizable Abstraction Learning (ReGAL)は、コードカプセル化によって再利用可能な関数のライブラリを学ぶ方法である。
ReGALによって発見された共有関数ライブラリは、プログラムが様々な領域で容易に予測できることを示している。
CodeLlama-13Bでは、ReGALはグラフィックスで11.5%、日付理解で26.1%、MinecraftベースのテキストゲームであるTextCraftで8.1%という絶対的な精度向上を実現している。
論文 参考訳（メタデータ） (2024-01-29T18:45:30Z) - LangSplat: 3D Language Gaussian Splatting [45.24029938947954]
LangSplatは、3D空間内で正確で効率的なオープン語彙クエリを可能にする3D言語フィールドである。
LangSplat は従来の最先端手法 LERF を大きなマージンで大幅に上回っている。
論文 参考訳（メタデータ） (2023-12-26T15:14:37Z) - Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation [25.474639218436916]
言語モデルに融合した足場プログラムを用いて自己改善を行う。
言語モデルにより、様々な自己改善戦略が提案されている。
これは、近代的な言語モデルであるGPT-4が、自分自身を改善のために呼び出すことができるコードを書くことができることを実証している。
論文 参考訳（メタデータ） (2023-10-03T17:59:32Z) - GlobalBench: A Benchmark for Global Progress in Natural Language
Processing [114.24519009839142]
GlobalBenchは、すべての言語におけるすべてのNLPデータセットの進捗を追跡することを目的としている。
話者当たりのユーティリティと、全言語にわたるテクノロジのエクイティをトラックする。
現在、GlobalBenchは190言語で966のデータセットをカバーしており、62言語にまたがる1,128のシステムサブミッションを持っている。
論文 参考訳（メタデータ） (2023-05-24T04:36:32Z) - PanGu-{\Sigma}: Towards Trillion Parameter Language Model with Sparse
Heterogeneous Computing [64.53242758625922]
PanGu-SigmaはAscend 910 AIプロセッサとMindSporeフレームワークのクラスタでトレーニングされている。
さまざまな中国のNLPダウンストリームタスクのゼロショット学習において、最先端のパフォーマンスを提供する。
論文 参考訳（メタデータ） (2023-03-20T03:39:27Z) - Interactive Language: Talking to Robots in Real Time [8.932689947991292]
本稿では,対話型,リアルタイム,自然言語で構築可能なロボットを現実世界で構築するためのフレームワークを提案する。
生成されたポリシーは、以前のものよりも桁違いに多くのコマンドを実行することができる。
同じ方針は、人間によってリアルタイム言語を介して誘導され、広範囲の正確な長距離再配置目標に対処することができる。
論文 参考訳（メタデータ） (2022-10-12T17:03:41Z) - Text to Image Generation: Leaving no Language Behind [6.243995448840211]
本稿では,3つの人気テキスト・画像生成装置の性能が言語にどのように依存するかを検討する。
その結果,英語以外の言語を使用する場合,性能が著しく低下することが示唆された。
これは、この新技術が母国語以外の英語話者によって利用できることを保証するための基本である。
論文 参考訳（メタデータ） (2022-08-19T13:24:56Z) - A Systematic Evaluation of Large Language Models of Code [88.34057460577957]
コードの大規模な言語モデル(LM)は、最近、コードを完成させ、自然言語記述からコードを合成する大きな可能性を示しています。
現在の最先端のコードLMは公開されておらず、モデルやデータ設計の決定について多くの疑問が残されている。
Codexはオープンソースではありませんが、既存のオープンソースモデルはいくつかのプログラミング言語でクローズな結果が得られることが分かりました。
GPT-2アーキテクチャに基づいた2.7Bパラメータを持つ新しいモデルPolyCoderをリリースし、12のプログラミング言語を1台のマシンで249GBのコードでトレーニングした。
論文 参考訳（メタデータ） (2022-02-26T15:53:55Z) - Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。
元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
論文 参考訳（メタデータ） (2021-10-20T10:38:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。