Fugu-MT 論文翻訳(概要): Instruct-Tuning Pretrained Causal Language Models for Ancient Greek Papyrology and Epigraphy

論文の概要: Instruct-Tuning Pretrained Causal Language Models for Ancient Greek Papyrology and Epigraphy

arxiv url: http://arxiv.org/abs/2409.13870v1
Date: Sun, 13 Oct 2024 08:30:09 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 04:50:50.837145
Title: Instruct-Tuning Pretrained Causal Language Models for Ancient Greek Papyrology and Epigraphy
Title（参考訳）: 古代ギリシアのパピル学とエピノグラフィーのための教育訓練済み因果語モデル
Authors: Eric Cullhed,
Abstract要約: プロンプトベースのインストラクションアプローチを使用することで、微調整されたモデルは、主要なメトリクスのテクニックの状態を超越する。入力の場合、平均文字誤り率(CER)は22.5%である。また、再建の際に空間を無視し、古代の古文書で使われる経典の連続体と整合性を持たせることで、実用上の優位性ももたらしている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This article presents an experiment in fine-tuning a pretrained causal language model (Meta's Llama 3.1 8B Instruct) for aiding in three fundamental tasks of philological research: chronological and geographic attribution as well as text restoration in ancient Greek inscriptions and documentary papyri. Using a prompt-based instruct approach, the fine-tuned models surpass the state of the art in key metrics. For inscriptions, the models achieve a lower average character error rate (CER) of 22.5% (vs. 26.3%), while closely matching top-1 accuracy (60.9% vs. 61.8%) and top-20 accuracy (77.5% vs. 78.3%) for sequences up to 10 characters. They also provide a practical advantage by ignoring spaces during reconstruction, aligning better with the scriptio continua typically used in ancient written artifacts. In geographic attribution, the model outperforms previous benchmarks with a top-1 accuracy of 75.0% (vs. 70.8%) and a top-3 accuracy of 83.7% (vs. 82.1%). For dating, it achieves an average deviation of 26.2 years (vs. 29.3) and a median deviation of 1 year (vs. 3) from the actual date range. The models also set new baselines for documentary papyri, with a CER of 16.3%, a top-1 accuracy of 71.3%, and top-20 of 85.0% in text reconstruction; a top-1 accuracy of 66.4% and top-3 of 79.9% in geographic attribution; and, in chronological attribution, a deviation of 21.7 years from the actual termini post/ante quem, with a median deviation of 0 years.
Abstract（参考訳）: 本稿では,文献学研究の3つの基本的な課題である年代・地理的属性,古代ギリシアの碑文・文書パピリのテキスト復元を支援するために,事前訓練された因果関係言語モデル(Meta's Llama 3.1 8Bインストラクション)を微調整する実験について述べる。プロンプトベースのインストラクションアプローチを使用することで、微調整されたモデルは、重要なメトリクスの最先端を超越する。入力では、平均文字誤り率(CER)が22.5%(vs.26.3%)、トップ1の精度(60.9%対61.8%)とトップ20の精度(77.5%対78.3%)が10文字まで一致している。また、再建の際に空間を無視し、典型的には古代の古文書で使われる経典の連続体と整合させるという実用上の優位性ももたらしている。地理的属性では、トップ1の精度は75.0%(vs.70.8%)、トップ3の精度は83.7%(vs.82.1%)である。デートでは、平均偏差は26.2年(vs.29.3)、平均偏差は1年(vs.3)となる。また、CERが16.3%、CERが71.3%、テキスト再構成が85.0%、トップ1が66.4%、トップ3が79.9%、時系列属性が21.7年であり、平均偏差は0年である。

関連論文リスト

Grammatical Error Correction for Low-Resource Languages: The Case of Zarma [8.057796934109938]
文法的誤り訂正(GEC)は、Zarmaのような低リソース言語のために書かれた材料を改善するために重要である。本研究では,Zarma における GEC のためのルールベース手法,機械翻訳 (MT) モデル,および大規模言語モデル (LLM) を比較した。
論文参考訳（メタデータ） (2024-10-20T23:51:36Z)
Text Sentiment Analysis and Classification Based on Bidirectional Gated Recurrent Units (GRUs) Model [6.096738978232722]
本稿では,自然言語処理分野におけるテキスト感情分析と分類の重要性について考察する。双方向ゲート再帰単位(GRU)モデルに基づく感情分析と分類の新しい手法を提案する。
論文参考訳（メタデータ） (2024-04-26T02:40:03Z)
Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
論文参考訳（メタデータ） (2024-03-07T18:00:40Z)
Assessing the Efficacy of Grammar Error Correction: A Human Evaluation Approach in the Japanese Context [10.047123247001714]
我々は,最先端のシーケンスタギング文法誤り検出・修正モデル(SeqTagger)の性能評価を行った。自動アノテーションツールキット ERRANT を用いて,SeqTagger の性能評価を行った。その結果、精度は63.66%、リコールは20.19%であった。
論文参考訳（メタデータ） (2024-02-28T06:43:43Z)
Pre-training and Diagnosing Knowledge Base Completion Models [58.07183284468881]
我々は,事実の集合から他の集合への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。主な貢献は、構造化されていないテキストから収集された事実の大規模事前学習を利用する方法である。得られた事前学習モデルをよりよく理解するために,オープン知識ベースコンプリートのための事前学習モデルの解析のための新しいデータセットを導入する。
論文参考訳（メタデータ） (2024-01-27T15:20:43Z)
Regularization methods for the short-term forecasting of the Italian electric load [77.34726150561087]
イタリアの電力負荷の24のプロファイル全体を予測する問題はマルチタスク学習問題として対処される。 96x96行列重みは96x96行列を形成し、正方形の領域にサンプリングされた表面として見ることができる。表面の自由度を下げるための規則化とスパーシリティの異なるアプローチを探索し、得られた予測をイタリアのトランスミッション・システム・オペレーター・テルナの予測と比較した。
論文参考訳（メタデータ） (2021-12-08T22:15:06Z)
FPM: A Collection of Large-scale Foundation Pre-trained Language Models [0.0]
私たちは現在の効果的なモデル構造を使用して、現在の最も主流な技術を通じてモデルセットをローンチします。将来的にはこれが基本モデルになると思います。
論文参考訳（メタデータ） (2021-11-09T02:17:15Z)
VSEC: Transformer-based Model for Vietnamese Spelling Correction [0.19116784879310028]
ベトナム語のスペル誤りを訂正する新しい手法を提案する。深層学習モデルを用いて誤字誤りや誤字誤りの問題に対処する。実験の結果,86.8%の誤差が検出され,81.5%の誤りが修正された。
論文参考訳（メタデータ） (2021-11-01T00:55:32Z)
Calibrate Before Use: Improving Few-Shot Performance of Language Models [68.17016463756474]
GPT-3は、いくつかのトレーニング例を含む自然言語プロンプトを提供すると、多数のタスクを実行できます。この種の少数ショット学習は不安定である。プロンプト形式、トレーニング例、およびトレーニング例の順序の選択は、精度をほぼチャンスから最先端のものに変化させる可能性があります。
論文参考訳（メタデータ） (2021-02-19T00:23:59Z)
DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文参考訳（メタデータ） (2020-06-05T19:54:34Z)
Semi-Supervised Neural Architecture Search [185.0651567642238]
SemiNASは、多くの未ラベルアーキテクチャを活用する半教師付きニューラルアーキテクチャサーチ(NAS)アプローチである(評価なしで、ほぼコストがかからない)。 NASBench-101で94.02%のテスト精度を達成し、同じ数のアーキテクチャを使用する場合、すべてのベースラインを上回ります。低リソース環境では97%のインテリジェンス率、ロバストネス環境では15%のテストエラー率、ベースラインではそれぞれ9%、7%の改善を実現している。
論文参考訳（メタデータ） (2020-02-24T17:23:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。