論文の概要: Multilingual Mathematical Autoformalization

• arxiv url: http://arxiv.org/abs/2311.03755v1
• Date: Tue, 7 Nov 2023 06:42:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 16:38:35.138728
• Title: Multilingual Mathematical Autoformalization
• Title（参考訳）: 多言語数学的オートフォーマライゼーション
• Authors: Albert Q. Jiang, Wenda Li, Mateja Jamnik
• Abstract要約: オートフォーマル化(Autoformalization)は、自然言語を機械で検証可能な形式に変換するタスクである。 既存の方法は、手動で小さなコーパスをキュレートすることで、この課題を回避する傾向がある。 本研究では,大容量でフレキシブルで多言語で多ドメインのデータセットである$textttMMA$を作成する。
• 参考スコア（独自算出の注目度）: 14.433478397963123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoformalization is the task of translating natural language materials into machine-verifiable formalisations. Progress in autoformalization research is hindered by the lack of a sizeable dataset consisting of informal-formal pairs expressing the same essence. Existing methods tend to circumvent this challenge by manually curating small corpora or using few-shot learning with large language models. But these methods suffer from data scarcity and formal language acquisition difficulty. In this work, we create $\texttt{MMA}$, a large, flexible, multilingual, and multi-domain dataset of informal-formal pairs, by using a language model to translate in the reverse direction, that is, from formal mathematical statements into corresponding informal ones. Experiments show that language models fine-tuned on $\texttt{MMA}$ produce $16-18\%$ of statements acceptable with minimal corrections on the $\texttt{miniF2F}$ and $\texttt{ProofNet}$ benchmarks, up from $0\%$ with the base model. We demonstrate that fine-tuning on multilingual formal data results in more capable autoformalization models even when deployed on monolingual tasks.
• Abstract（参考訳）: 自動形式化(autoformalization)は、自然言語を機械検証可能な形式に変換する作業である。 自己形式化研究の進展は、同じ本質を表現する非公式な形式対からなる大きなデータセットの欠如によって妨げられている。 既存の手法では、小さなコーパスを手動でキュレートしたり、大きな言語モデルで数発の学習を行うことで、この問題を回避する傾向にある。 しかし、これらの手法はデータの不足と正式な言語習得の困難に苦しんでいる。 本研究では,フォーマルな数学的文から対応する形式的文へ,言語モデルを用いて逆方向に翻訳することにより,非公式な形式的ペアの大規模,柔軟,多言語,多ドメインデータセットである$\texttt{mma}$を作成する。 実験によると、$\texttt{MMA}$で微調整された言語モデルは、$\texttt{miniF2F}$と$\texttt{ProofNet}$ベンチマークで最小限の修正で許容される文の16-18\%$を生成します。 多言語形式データの微調整により,単言語タスクにデプロイしても,より有能な自己形成モデルが得られることを示す。

関連論文リスト

• Large corpora and large language models: a replicable method for automating grammatical annotation [0.0]
  英語評価動詞構築における形式的変化の事例研究に応用された方法論的パイプライン「consider X (as) (to be) Y」を紹介する。 少数のトレーニングデータだけで、保留中のテストサンプルで90%以上の精度でモデルに到達します。 本研究は, 文法的構成と文法的変化および変化に関する幅広いケーススタディに対して, 結果の一般化可能性について論じる。
  論文  参考訳（メタデータ） (2024-11-18T03:29:48Z)
• Pre-trained Language Models Do Not Help Auto-regressive Text-to-Image Generation [82.5217996570387]
  我々は,自動回帰テキスト・画像生成のための事前学習言語モデルを適用した。 事前訓練された言語モデルは限られた助けを提供する。
  論文  参考訳（メタデータ） (2023-11-27T07:19:26Z)
• Machine Translation to Control Formality Features in the Target Language [0.9208007322096532]
  本研究では、機械学習が英語からフォーマルな言語への翻訳にどのように使われているかを検討する。 これは、形式性制御された設定でバイリンガルモデルを訓練し、その性能を事前訓練された多言語モデルと比較することで実現された。 予測されたマスク付きトークンと基底真理を比較することにより,公式な形式性精度(ACC)を評価する。
  論文  参考訳（メタデータ） (2023-11-22T15:42:51Z)
• In What Languages are Generative Language Models the Most Formal? Analyzing Formality Distribution across Languages [2.457872341625575]
  本研究では,文化の影響を強く受けている1つの言語特性,形式性に注目した。 我々はXGLMとBLOOMの予測の形式性分布を5言語で解析する。 我々は,言語毎の1200世代を形式的,非公式,あるいは非接着的に分類し,迅速な形式化が予測に与える影響を計測する。
  論文  参考訳（メタデータ） (2023-02-23T19:39:52Z)
• Controlling Translation Formality Using Pre-trained Multilingual Language Models [19.465727478912072]
  本稿では,メリーランド大学のiwsltにおける音声言語翻訳における形式性制御特別課題への提出について述べる。 本研究は,テキスト型多言語モデルを用いて,この問題にどの程度対処できるかを検討する。 その結果、この戦略は、専用翻訳モデルによって達成された翻訳品質と形式制御にアプローチできることが示唆された。
  論文  参考訳（メタデータ） (2022-05-13T13:47:28Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)
• Multilingual Answer Sentence Reranking via Automatically Translated Data [97.98885151955467]
  本稿では,現代の質問応答システム(QA)のコアコンポーネントである,多言語回答文選択(AS2)モデルの設計について述べる。 主なアイデアは、あるリソースリッチ言語(英語など)から、他の言語へのデータ転送であり、リソースの観点からはよりリッチである。
  論文  参考訳（メタデータ） (2021-02-20T03:52:08Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Data Annealing for Informal Language Understanding Tasks [66.2988222278475]
  本稿では,非公式な言語タスクのパフォーマンスギャップを埋めるために,データアニーリング変換学習手法を提案する。 これは、非公式言語でBERTのような事前訓練されたモデルを利用することに成功した。
  論文  参考訳（メタデータ） (2020-04-24T09:27:09Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。