論文の概要: Embedding-Enhanced Giza++: Improving Alignment in Low- and High- Resource Scenarios Using Embedding Space Geometry

• arxiv url: http://arxiv.org/abs/2104.08721v1
• Date: Sun, 18 Apr 2021 05:21:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:09:40.086560
• Title: Embedding-Enhanced Giza++: Improving Alignment in Low- and High- Resource Scenarios Using Embedding Space Geometry
• Title（参考訳）: embedd-enhanced giza++:embedd space geometryを用いた低・高リソースシナリオのアライメント改善
• Authors: Kelly Marchisio, Conghao Xiong, and Philipp Koehn
• Abstract要約: 一般的な自然言語処理タスクは数十年前にGIZA++によって最近までワードアライメントが支配されてきた。 Embedding-Enhanced Giza++を紹介します。 5億行から190万行のbitextでテストされたシナリオでは,giza++を単調に上回っている。
• 参考スコア（独自算出の注目度）: 5.185780049813253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A popular natural language processing task decades ago, word alignment has been dominated until recently by GIZA++, a statistical method based on the 30-year-old IBM models. Though recent years have finally seen Giza++ performance bested, the new methods primarily rely on large machine translation models, massively multilingual language models, or supervision from Giza++ alignments itself. We introduce Embedding-Enhanced Giza++, and outperform Giza++ without any of the aforementioned factors. Taking advantage of monolingual embedding space geometry of the source and target language only, we exceed Giza++'s performance in every tested scenario for three languages. In the lowest-resource scenario of only 500 lines of bitext, we improve performance over Giza++ by 10.9 AER. Our method scales monotonically outperforming Giza++ for all tested scenarios between 500 and 1.9 million lines of bitext. Our code will be made publicly available.
• Abstract（参考訳）: 数十年前に人気の自然言語処理タスクである単語アライメントは、30年前のIBMモデルに基づく統計手法であるGIZA++によって最近まで支配されていた。 近年ではGiza++のパフォーマンスが向上したが、新しい手法は主に大規模な機械翻訳モデル、多言語言語モデル、あるいはGiza++アライメント自体の監督に依存している。 Embedding-Enhanced Giza++を紹介します。 ソースとターゲット言語の単一言語埋め込み空間幾何を活用することで、3つの言語のテストシナリオ毎にGiza++のパフォーマンスを上回ります。 わずか500行のbitextの最小リソースシナリオでは、10.9 AERでGiza++のパフォーマンスを改善する。 5億行から190万行のbitextでテストされたシナリオでは,giza++を単調に上回っている。 私たちのコードは公開されます。

関連論文リスト

• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• SemGrasp: Semantic Grasp Generation via Language Aligned Discretization [53.43801984965309]
  本稿では,SemGraspと呼ばれるセマンティックなグリップ生成手法を提案する。 そこで本研究では,握り空間を意味空間に整合させる離散表現を導入し,握り姿勢の生成を可能にする。 その後、MLLM(Multimodal Large Language Model)が微調整され、オブジェクト、把握、言語を統一意味空間内で統合する。
  論文  参考訳（メタデータ） (2024-04-04T16:58:26Z)
• Generative Representational Instruction Tuning [89.76840377003178]
  GritLM 7B がMassive Text Embedding Benchmark (MTEB) に新たな技術状況を設定する GritLM 8x7Bは、私たちが試したすべてのオープンな生成言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-02-15T12:12:19Z)
• Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model [33.87586041774359]
  Ayaは101言語で命令に従う多言語生成言語モデルであり、50%以上が低リソースであると考えられている。 99言語にまたがる多言語evalの最先端性を広げる広範な評価スイートを導入する。 我々は、最適微調整混合物組成、データプルーニング、およびモデルの毒性、バイアス、安全性について詳細な調査を行う。
  論文  参考訳（メタデータ） (2024-02-12T17:34:13Z)
• ReGAL: Refactoring Programs to Discover Generalizable Abstractions [59.05769810380928]
  Generalizable Abstraction Learning (ReGAL)は、再利用可能な関数のライブラリをコード化して学習する手法である。 ReGALによって発見された共有関数ライブラリは、プログラムが様々な領域で容易に予測できることを示している。 CodeLlama-13Bでは、ReGALはLOGOで11.5%、日付理解で26.1%、TextCraftで8.1%という絶対精度が向上し、3つのドメインのうち2つでGPT-3.5を上回った。
  論文  参考訳（メタデータ） (2024-01-29T18:45:30Z)
• LangSplat: 3D Language Gaussian Splatting [42.16849512832556]
  LangSplatは、3D空間内で正確で効率的なオープン語彙クエリを可能にする3D言語フィールドを構築する。 LangSplat は従来の最先端手法 LERF を大きなマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2023-12-26T15:14:37Z)
• Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation [23.31928097405939]
  言語モデルに融合した足場プログラムを用いて自己改善を行う。 言語モデルにより、様々な自己改善戦略が提案されている。 これは、近代的な言語モデルであるGPT-4が、自分自身を改善のために呼び出すことができるコードを書くことができることを実証している。
  論文  参考訳（メタデータ） (2023-10-03T17:59:32Z)
• GlobalBench: A Benchmark for Global Progress in Natural Language Processing [114.24519009839142]
  GlobalBenchは、すべての言語におけるすべてのNLPデータセットの進捗を追跡することを目的としている。 話者当たりのユーティリティと、全言語にわたるテクノロジのエクイティをトラックする。 現在、GlobalBenchは190言語で966のデータセットをカバーしており、62言語にまたがる1,128のシステムサブミッションを持っている。
  論文  参考訳（メタデータ） (2023-05-24T04:36:32Z)
• Interactive Language: Talking to Robots in Real Time [8.932689947991292]
  本稿では,対話型,リアルタイム,自然言語で構築可能なロボットを現実世界で構築するためのフレームワークを提案する。 生成されたポリシーは、以前のものよりも桁違いに多くのコマンドを実行することができる。 同じ方針は、人間によってリアルタイム言語を介して誘導され、広範囲の正確な長距離再配置目標に対処することができる。
  論文  参考訳（メタデータ） (2022-10-12T17:03:41Z)
• Text to Image Generation: Leaving no Language Behind [6.243995448840211]
  本稿では,3つの人気テキスト・画像生成装置の性能が言語にどのように依存するかを検討する。 その結果,英語以外の言語を使用する場合,性能が著しく低下することが示唆された。 これは、この新技術が母国語以外の英語話者によって利用できることを保証するための基本である。
  論文  参考訳（メタデータ） (2022-08-19T13:24:56Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。