Fugu-MT 論文翻訳(概要): Instruct-Tuning Pretrained Causal Language Models for Ancient Greek Papyrology and Epigraphy

論文の概要: Instruct-Tuning Pretrained Causal Language Models for Ancient Greek Papyrology and Epigraphy

arxiv url: http://arxiv.org/abs/2409.13870v2
Date: Sun, 13 Oct 2024 08:30:09 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 04:50:50.834239
Title: Instruct-Tuning Pretrained Causal Language Models for Ancient Greek Papyrology and Epigraphy
Title（参考訳）: 古代ギリシアのパピル学とエピノグラフィーのための教育訓練済み因果語モデル
Authors: Eric Cullhed,
Abstract要約: 本稿では,文献研究における3つの重要な課題を支援するために,事前訓練された因果言語モデルを微調整する実験について述べる。命令ベースのアプローチと95%/5%の列車/テスト分割を使用して、パピルスのモデルは14.9%の文字誤り率(CER)を達成した。銘文では、CERが20.5%、トップ1の精度が63.7%、トップ20の精度が83.0%に達した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper describes an experiment in fine-tuning a pretrained causal language model (Meta's Llama 3.1 8B Instruct) to support three key tasks in philological research: dating, geographic attribution, and restoring missing or illegible characters in ancient Greek inscriptions and documentary papyri. Using an instruction-based approach and a 95%/5% train/test split, the models for papyri achieved a character error rate (CER) of 14.9%, a top-1 accuracy of 73.5%, and a top-20 accuracy of 86.0% in text reconstruction on the test set. For geographic attribution, they achieved a top-1 accuracy of 66.4% and a top-3 accuracy of 79.9%. In chronological attribution, the models showed an average deviation of 21.7 years from the actual terminus post/ante quem, with a median deviation of 0 years. For inscriptions, the models achieved a CER of 20.5%, a top-1 accuracy of 63.7%, and a top-20 accuracy of 83.0% for sequences up to 10 characters. In geographic attribution, they reached a top-1 accuracy of 75.0% and a top-3 accuracy of 83.7%. For dating, they had an average deviation of 37.1 years and a median deviation of 3 years from the actual date. When benchmarked against the state-of-the-art model (Ithaca) on a shared test set and recently edited inscriptions, the instruction-tuned models excelled in text restoration, with the added benefit of ignoring spaces during reconstruction to align with the continuous script of ancient texts. However, the models performed lower than Ithaca in geographic and chronological attribution. These preliminary results suggest that fine-tuning larger pretrained causal language models with instruction templates holds promise for philological research, especially in textual criticism.
Abstract（参考訳）: 本稿では, 文献学研究における3つの重要な課題, 年代, 地理的属性, 古代ギリシアの碑文および文書パピリの欠落, 不可解な文字の復元を支援するために, 事前訓練された因果関係言語モデル(Meta's Llama 3.1 8B Instruct)を微調整する実験について述べる。命令ベースのアプローチと95%/5%の列車/テスト分割を用いて、パピルスのモデルは文字誤り率14.9%、トップ1の精度73.5%、トップ20の精度86.0%を達成した。地理的属性では、トップ1の精度は66.4%、トップ3の精度は79.9%に達した。時系列属性では、平均偏差は21.7年、平均偏差は0年であった。銘文では、CERが20.5%、トップ1の精度が63.7%、トップ20の精度が最大10文字まで83.0%に達した。地理的属性では、トップ1の精度は75.0%、トップ3の精度は83.7%に達した。年代測定では、平均偏差37.1年、平均偏差3年であった。共有テストセット上で最先端のモデル(Ithaca)とベンチマークし、最近編集された碑文をベンチマークすると、命令調整されたモデルはテキストの復元に優れ、復元中にスペースを無視し、古代のテキストの連続的なスクリプトと整合する利点が加わった。しかし、そのモデルは地理的および年代的属性においてイサカよりも低かった。これらの予備的な結果は、特にテキスト批判において、訓練済みのより大規模な因果的言語モデルに指導テンプレートが組み込まれていることを示唆している。

関連論文リスト

Grammatical Error Correction for Low-Resource Languages: The Case of Zarma [8.057796934109938]
文法的誤り訂正(GEC)は、Zarmaのような低リソース言語のために書かれた材料を改善するために重要である。本研究では,Zarma における GEC のためのルールベース手法,機械翻訳 (MT) モデル,および大規模言語モデル (LLM) を比較した。
論文参考訳（メタデータ） (2024-10-20T23:51:36Z)
Text Sentiment Analysis and Classification Based on Bidirectional Gated Recurrent Units (GRUs) Model [6.096738978232722]
本稿では,自然言語処理分野におけるテキスト感情分析と分類の重要性について考察する。双方向ゲート再帰単位(GRU)モデルに基づく感情分析と分類の新しい手法を提案する。
論文参考訳（メタデータ） (2024-04-26T02:40:03Z)
Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
論文参考訳（メタデータ） (2024-03-07T18:00:40Z)
Assessing the Efficacy of Grammar Error Correction: A Human Evaluation Approach in the Japanese Context [10.047123247001714]
我々は,最先端のシーケンスタギング文法誤り検出・修正モデル(SeqTagger)の性能評価を行った。自動アノテーションツールキット ERRANT を用いて,SeqTagger の性能評価を行った。その結果、精度は63.66%、リコールは20.19%であった。
論文参考訳（メタデータ） (2024-02-28T06:43:43Z)
Pre-training and Diagnosing Knowledge Base Completion Models [58.07183284468881]
我々は,事実の集合から他の集合への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。主な貢献は、構造化されていないテキストから収集された事実の大規模事前学習を利用する方法である。得られた事前学習モデルをよりよく理解するために,オープン知識ベースコンプリートのための事前学習モデルの解析のための新しいデータセットを導入する。
論文参考訳（メタデータ） (2024-01-27T15:20:43Z)
Regularization methods for the short-term forecasting of the Italian electric load [77.34726150561087]
イタリアの電力負荷の24のプロファイル全体を予測する問題はマルチタスク学習問題として対処される。 96x96行列重みは96x96行列を形成し、正方形の領域にサンプリングされた表面として見ることができる。表面の自由度を下げるための規則化とスパーシリティの異なるアプローチを探索し、得られた予測をイタリアのトランスミッション・システム・オペレーター・テルナの予測と比較した。
論文参考訳（メタデータ） (2021-12-08T22:15:06Z)
FPM: A Collection of Large-scale Foundation Pre-trained Language Models [0.0]
私たちは現在の効果的なモデル構造を使用して、現在の最も主流な技術を通じてモデルセットをローンチします。将来的にはこれが基本モデルになると思います。
論文参考訳（メタデータ） (2021-11-09T02:17:15Z)
VSEC: Transformer-based Model for Vietnamese Spelling Correction [0.19116784879310028]
ベトナム語のスペル誤りを訂正する新しい手法を提案する。深層学習モデルを用いて誤字誤りや誤字誤りの問題に対処する。実験の結果,86.8%の誤差が検出され,81.5%の誤りが修正された。
論文参考訳（メタデータ） (2021-11-01T00:55:32Z)
Calibrate Before Use: Improving Few-Shot Performance of Language Models [68.17016463756474]
GPT-3は、いくつかのトレーニング例を含む自然言語プロンプトを提供すると、多数のタスクを実行できます。この種の少数ショット学習は不安定である。プロンプト形式、トレーニング例、およびトレーニング例の順序の選択は、精度をほぼチャンスから最先端のものに変化させる可能性があります。
論文参考訳（メタデータ） (2021-02-19T00:23:59Z)
DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文参考訳（メタデータ） (2020-06-05T19:54:34Z)
Semi-Supervised Neural Architecture Search [185.0651567642238]
SemiNASは、多くの未ラベルアーキテクチャを活用する半教師付きニューラルアーキテクチャサーチ(NAS)アプローチである(評価なしで、ほぼコストがかからない)。 NASBench-101で94.02%のテスト精度を達成し、同じ数のアーキテクチャを使用する場合、すべてのベースラインを上回ります。低リソース環境では97%のインテリジェンス率、ロバストネス環境では15%のテストエラー率、ベースラインではそれぞれ9%、7%の改善を実現している。
論文参考訳（メタデータ） (2020-02-24T17:23:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。