論文の概要: Retrieving Examples from Memory for Retrieval Augmented Neural Machine Translation: A Systematic Comparison

• arxiv url: http://arxiv.org/abs/2404.02835v1
• Date: Wed, 3 Apr 2024 16:13:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 16:50:16.910636
• Title: Retrieving Examples from Memory for Retrieval Augmented Neural Machine Translation: A Systematic Comparison
• Title（参考訳）: 検索型ニューラルネットワーク翻訳におけるメモリからの例検索:システム間比較
• Authors: Maxime Bouthors, Josep Crego, Francois Yvon,
• Abstract要約: いくつかの翻訳アーキテクチャにおける様々な検索手法の効果について検討する。 本実験により, 検索手法の選択は, アーキテクチャ間の差異を伴って, 翻訳スコアに影響を及ぼすことが示された。 また、サンプルの数と多様性を増大させる効果についても論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Neural Machine Translation (RAMT) architectures retrieve examples from memory to guide the generation process. While most works in this trend explore new ways to exploit the retrieved examples, the upstream retrieval step is mostly unexplored. In this paper, we study the effect of varying retrieval methods for several translation architectures, to better understand the interplay between these two processes. We conduct experiments in two language pairs in a multi-domain setting and consider several downstream architectures based on a standard autoregressive model, an edit-based model, and a large language model with in-context learning. Our experiments show that the choice of the retrieval technique impacts the translation scores, with variance across architectures. We also discuss the effects of increasing the number and diversity of examples, which are mostly positive across the board.
• Abstract（参考訳）: Retrieval-Augmented Neural Machine Translation (RAMT)アーキテクチャは、メモリからサンプルを取得して生成プロセスをガイドする。 この傾向のほとんどの研究は、検索した例を利用する新しい方法を探っているが、上流の検索手順はほとんど探索されていない。 本稿では,これらの2つのプロセス間の相互作用をよりよく理解するために,複数の翻訳アーキテクチャに対する様々な検索手法の効果について検討する。 マルチドメイン環境で2つの言語ペアで実験を行い、標準自己回帰モデル、編集ベースモデル、コンテキスト内学習を伴う大規模言語モデルに基づいて、いくつかの下流アーキテクチャを考察する。 本実験により, 検索手法の選択は, アーキテクチャ間の差異を伴って, 翻訳スコアに影響を及ぼすことが示された。 また、サンプルの数と多様性を増大させる効果についても論じる。

関連論文リスト

• Binary Code Similarity Detection via Graph Contrastive Learning on Intermediate Representations [52.34030226129628]
  バイナリコード類似度検出(BCSD)は、脆弱性検出、マルウェア分析、コードの再利用識別など、多くの分野で重要な役割を果たしている。 本稿では,LLVM-IRと高レベルのセマンティック抽象化を利用して,コンパイル差を緩和するIRBinDiffを提案する。 IRBinDiffは1対1の比較と1対多の検索シナリオにおいて,他の主要なBCSD手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-24T09:09:20Z)
• Mixture-of-Linguistic-Experts Adapters for Improving and Interpreting Pre-trained Language Models [22.977852629450346]
  本稿では,言語モデルに言語構造を注入することで,2つの人気のある研究領域を組み合わせる手法を提案する。 本研究では,異なる言語構造をコードする並列アダプタモジュールを,Mixture-of-Linguistic-Expertsアーキテクチャを用いて組み合わせる。 実験の結果,本手法はパラメータ数に比較して,最先端のPEFT法より優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T23:29:06Z)
• End-to-End Lip Reading in Romanian with Cross-Lingual Domain Adaptation and Lateral Inhibition [2.839471733237535]
  我々は、Wild LRRoと呼ばれる、表現不足の短いルーマニア語のデータセット上で、いくつかのアーキテクチャと最適化を解析する。 提案手法,すなわち,言語間ドメイン適応とラベルなしビデオを用いて,最先端の検索結果を得る。 また、神経阻害機構にインスパイアされた層を付加する性能も評価した。
  論文  参考訳（メタデータ） (2023-10-07T15:36:58Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Improving Retrieval Augmented Neural Machine Translation by Controlling Source and Fuzzy-Match Interactions [15.845071122977158]
  本稿では,トップkのドメイン内ファジィマッチングが元文に現れるRAT(Retrieval Augmented Translation)のアイデアに基づいて構築する。 本稿では,ソース文とトップkファジィなターゲット言語マッチング間のインタラクションを制御する新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-10-10T23:33:15Z)
• Examining Scaling and Transfer of Language Model Architectures for Machine Translation [51.69212730675345]
  言語モデル(LM)は単一のレイヤのスタックで処理し、エンコーダ・デコーダモデル(EncDec)は入力と出力の処理に別々のレイヤスタックを使用する。 機械翻訳において、EncDecは長年好まれてきたアプローチであるが、LMの性能についての研究はほとんどない。
  論文  参考訳（メタデータ） (2022-02-01T16:20:15Z)
• Comparing Feature-Engineering and Feature-Learning Approaches for Multilingual Translationese Classification [11.364204162881482]
  従来のフィーチャーエンジニアリングベースのアプローチとフィーチャーラーニングベースのアプローチを比較します。 我々は,手作りの特徴がニューラルネットワークの予測のばらつきをいかにうまく説明するかを考察する。
  論文  参考訳（メタデータ） (2021-09-15T22:34:48Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Ranking Enhanced Dialogue Generation [77.8321855074999]
  対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。 これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。 本稿では,ランキング拡張対話生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-13T01:49:56Z)
• DARTS-ASR: Differentiable Architecture Search for Multilingual Speech Recognition and Adaptation [64.44349061520671]
  本稿では,DARTS-ASRを用いたアーキテクチャ探索手法を提案する。 DARTS-ASRの一般化可能性を検討するために,本手法を多くの言語に応用し,単言語ASRを実行するだけでなく,多言語ASR設定にも適用する。
  論文  参考訳（メタデータ） (2020-05-13T11:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。