論文の概要: A Benchmark for Learning to Translate a New Language from One Grammar Book

• arxiv url: http://arxiv.org/abs/2309.16575v2
• Date: Fri, 9 Feb 2024 13:55:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 20:32:53.067026
• Title: A Benchmark for Learning to Translate a New Language from One Grammar Book
• Title（参考訳）: 1つの文法書から新しい言語を翻訳する学習のためのベンチマーク
• Authors: Garrett Tanzer, Mirac Suzgun, Eline Visser, Dan Jurafsky, Luke Melas-Kyriazi
• Abstract要約: MTOBは英語とカラマン語を翻訳するためのベンチマークである。 モデルは、人間の読みやすい文法説明書から言語を学ぶように求めている。 現状のLLMを用いたベースラインは有望であるが,人間の性能には劣っていることを示す。
• 参考スコア（独自算出の注目度）: 41.1108119653453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can perform impressive feats with in-context learning or lightweight finetuning. It is natural to wonder how well these models adapt to genuinely new tasks, but how does one find tasks that are unseen in internet-scale training sets? We turn to a field that is explicitly motivated and bottlenecked by a scarcity of web data: low-resource languages. In this paper, we introduce MTOB (Machine Translation from One Book), a benchmark for learning to translate between English and Kalamang -- a language with less than 200 speakers and therefore virtually no presence on the web -- using several hundred pages of field linguistics reference materials. This task framing is novel in that it asks a model to learn a language from a single human-readable book of grammar explanations, rather than a large mined corpus of in-domain data, more akin to L2 learning than L1 acquisition. We demonstrate that baselines using current LLMs are promising but fall short of human performance, achieving 44.7 chrF on Kalamang to English translation and 45.8 chrF on English to Kalamang translation, compared to 51.6 and 57.0 chrF by a human who learned Kalamang from the same reference materials. We hope that MTOB will help measure LLM capabilities along a new dimension, and that the methods developed to solve it could help expand access to language technology for underserved communities by leveraging qualitatively different kinds of data than traditional machine translation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コンテキスト内学習や軽量な微調整で素晴らしい成果を上げることができる。 これらのモデルが本当に新しいタスクにどのように順応するか疑問に思うのは当然だが、インターネットスケールのトレーニングセットでは見当たらないタスクをどうやって見つけるのか? 私たちは、Webデータの不足、すなわち低リソース言語によって明確に動機付けられ、ボトルネックになっている分野に目を向けます。 本稿では,200人未満の話者を持つ言語であるkalamangと英語の翻訳を学ぶためのベンチマークであるmtob(machine translation from one book)を紹介する。 このタスクフレーミングは、L1の獲得よりもL2の学習に類似した、ドメイン内の大量のコーパスではなく、単一の人間可読な文法説明書から言語を学ぶことをモデルに求めている。 我々は,現在のLLMを用いたベースラインは有望だが人為的な性能に欠けており,カラマン語で44.7 chrF,英語で45.8 chrF,カラマン語で45.8 chrFを達成している。 MTOBは新しい次元に沿ってLLMの能力を測定するのに役立ち、それを解決するために開発された手法は、従来の機械翻訳とは定性的に異なる種類のデータを活用することで、保存されていないコミュニティのための言語技術へのアクセスを拡大するのに役立つと期待している。

関連論文リスト

• Dictionary Insertion Prompting for Multilingual Reasoning on Multilingual Large Language Models [52.00446751692225]
  textbfDictionary textbfInsertion textbfPrompting (textbfDIP) という,新規かつシンプルで効果的な方法を提案する。 非英語のプロンプトを提供する際、DIPは単語辞書を調べ、単語の英語のプロンプトをLLMのプロンプトに挿入する。 そして、英語へのより良い翻訳とより良い英語モデル思考のステップを可能にし、明らかにより良い結果をもたらす。
  論文  参考訳（メタデータ） (2024-11-02T05:10:50Z)
• Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem [4.830018386227]
  本研究では,機械翻訳パイプラインの自動化の一環として,事前学習された大言語モデル(LLM)が低リソース言語から高リソース言語への翻訳を指示する際の文脈内学習能力について検討する。 我々は南ケチュアをスペイン語に翻訳する一連の実験を行い、デジタル化された教育材料と平行コーパスの制約されたデータベースから得られた様々な種類の文脈の情報量について検討する。
  論文  参考訳（メタデータ） (2024-06-21T20:02:22Z)
• Towards a More Inclusive AI: Progress and Perspectives in Large Language Model Training for the Sámi Language [7.289015788793582]
  本研究は、S'ami言語における技術参加の増大に焦点を当てている。 我々は,Ultra Low Resource (ULR)言語の言語モデリング問題に対して,MLコミュニティの注目を集めている。 Webから利用可能なS'ami言語リソースをコンパイルして、言語モデルをトレーニングするためのクリーンなデータセットを作成しました。
  論文  参考訳（メタデータ） (2024-05-09T13:54:22Z)
• Teaching Large Language Models an Unseen Language on the Fly [32.83773919852362]
  In-context Learning を用いて LLM を未知の言語に適用するためのフレームワークである DiPMT++ を紹介した。 辞書と5Kパラレル文のみを用いて、DiPMT++は中国語から中国語への翻訳において、0から16BLEUまでのGPT-4の性能を大幅に向上させる。 また、もう1つの目に見えない言語であるKalamang上で、我々のフレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2024-02-29T13:50:47Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
  低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。 何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。 本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
  論文  参考訳（メタデータ） (2022-07-11T07:33:36Z)
• English2Gbe: A multilingual machine translation model for {Fon/Ewe}Gbe [0.0]
  本稿では,英語からEwe or Fonへの翻訳が可能な多言語ニューラルマシン翻訳モデルである English2Gbe を紹介する。 英語2Gbeはバイリンガルモデル(Ewe と English Fon )より優れており、Fon の JW300 ベンチマークでは最先端の結果が得られている。
  論文  参考訳（メタデータ） (2021-12-13T10:35:09Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。