論文の概要: Instruct-Tuning Pretrained Causal Language Models for Ancient Greek Papyrology and Epigraphy

• arxiv url: http://arxiv.org/abs/2409.13870v3
• Date: Sun, 17 Nov 2024 21:28:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:31:25.719483
• Title: Instruct-Tuning Pretrained Causal Language Models for Ancient Greek Papyrology and Epigraphy
• Title（参考訳）: 古代ギリシアのパピル学とエピノグラフィーのための教育訓練済み因果語モデル
• Authors: Eric Cullhed,
• Abstract要約: 本稿は、古代ギリシアの碑文やドキュメンタリーパピルスの欠落した文字を復元するために、事前訓練された因果関係言語モデルを微調整する実験について述べる。 最新技術モデル (Ithaca) と比較すると、テキスト復元に優れた命令調整モデルである。 以上の結果から,修正および予想のための命令テンプレートを用いた事前学習型因果言語モデルの微調整が有望であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This article presents an experiment in fine-tuning a pretrained causal language model (Meta's Llama 3.1 8B Instruct) to assist with restoring missing or illegible characters in ancient Greek inscriptions and documentary papyri. Utilizing a straightforward instruction-based approach and a 95%/5% train/test split, the papyrus restoration model achieved a character error rate (CER) of 14.9%, a top-1 accuracy of 73.5%, and a top-20 accuracy of 86.0% for sequences up to 10 characters. A model was also fine-tuned for geographic attribution, reaching a top-1 accuracy of 66.4% and a top-3 accuracy of 79.9%. In chronological attribution, it demonstrated an average deviation of 21.7 years from the actual terminus post/ante quem, with a median deviation of 0 years. For inscriptions, the restoration model achieved a CER of 20.5%, a top-1 accuracy of 63.7%, and a top-20 accuracy of 83.0% for sequences up to 10 characters. In geographic attribution, it attained a top-1 accuracy of 75.0% and a top-3 accuracy of 83.7%, while in dating, it had an average deviation of 37.1 years and a median deviation of 3 years from the actual date range. Benchmarked against the state-of-the-art model (Ithaca) on a shared test set and on recently edited inscriptions, the instruction-tuned models excelled in text restoration, while also offering the practical advantage of ignoring spaces during reconstruction, which aligns with the scriptio continua of ancient textual artifacts. However, their performance in geographic and chronological attribution was lower than Ithaca's. To evaluate the approach in a more even setup, the instruction model was retrained with an 80%/10%/10% train-validation-test split, and still outperformed Ithaca in text restoration. The results suggest that fine-tuning larger pretrained causal language models using instruction templates for emendations and conjectures to ancient texts holds promise.
• Abstract（参考訳）: 本稿では,古代ギリシアの碑文や文書のパピルス文字の復元を支援するために,事前訓練された因果言語モデル(Meta's Llama 3.1 8B Instruct)を微調整する実験について述べる。 単純な命令ベースのアプローチと95%/5%の列車/テスト分割を利用して、パピルス復元モデルは文字誤り率14.9%、トップ1の精度73.5%、トップ20の精度86.0%を10文字まで達成した。 モデルは地理的帰属のために微調整され、トップ1の精度は66.4%、トップ3の精度は79.9%に達した。 年代的属性では、実際の終末から21.7年の平均偏差を示し、平均偏差は0年であった。 碑文では、復元モデルは20.5%、トップ1の精度は63.7%、トップ20の精度は最大10文字まで83.0%に達した。 地理的属性では、トップ1の精度75.0%、トップ3の精度83.7%、デートでは37.1年、実際の日付範囲から3年の平均偏差があった。 共有テストセット上で最先端のモデル(Ithaca)とベンチマークされ、最近編集された碑文に基づいて、命令調整されたモデルはテキスト復元に優れ、また、古代のテキストアーティファクトのスクリプティカルな連続性に合わせて、復元中に空間を無視する実用的な利点を提供する。 しかし、地理的・年代的帰属の成績はイサカよりも低かった。 より一層のセットアップでアプローチを評価するため、命令モデルは80%/10%/10%の列車バリデーションテスト分割で再訓練され、テキスト復元ではいまだにイサカよりも優れていた。 以上の結果から, 古文書への修正や推測のための指導テンプレートを用いた事前学習型因果言語モデルの微調整が有望であることが示唆された。

関連論文リスト

• Grammatical Error Correction for Low-Resource Languages: The Case of Zarma [8.057796934109938]
  文法的誤り訂正(GEC)は、Zarmaのような低リソース言語のために書かれた材料を改善するために重要である。 本研究では,Zarma における GEC のためのルールベース手法,機械翻訳 (MT) モデル,および大規模言語モデル (LLM) を比較した。
  論文  参考訳（メタデータ） (2024-10-20T23:51:36Z)
• Text Sentiment Analysis and Classification Based on Bidirectional Gated Recurrent Units (GRUs) Model [6.096738978232722]
  本稿では,自然言語処理分野におけるテキスト感情分析と分類の重要性について考察する。 双方向ゲート再帰単位(GRU)モデルに基づく感情分析と分類の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-26T02:40:03Z)
• Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
  本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。 拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
  論文  参考訳（メタデータ） (2024-03-07T18:00:40Z)
• Assessing the Efficacy of Grammar Error Correction: A Human Evaluation Approach in the Japanese Context [10.047123247001714]
  我々は,最先端のシーケンスタギング文法誤り検出・修正モデル(SeqTagger)の性能評価を行った。 自動アノテーションツールキット ERRANT を用いて,SeqTagger の性能評価を行った。 その結果、精度は63.66%、リコールは20.19%であった。
  論文  参考訳（メタデータ） (2024-02-28T06:43:43Z)
• Pre-training and Diagnosing Knowledge Base Completion Models [58.07183284468881]
  我々は,事実の集合から他の集合への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。 主な貢献は、構造化されていないテキストから収集された事実の大規模事前学習を利用する方法である。 得られた事前学習モデルをよりよく理解するために,オープン知識ベースコンプリートのための事前学習モデルの解析のための新しいデータセットを導入する。
  論文  参考訳（メタデータ） (2024-01-27T15:20:43Z)
• Regularization methods for the short-term forecasting of the Italian electric load [77.34726150561087]
  イタリアの電力負荷の24のプロファイル全体を予測する問題はマルチタスク学習問題として対処される。 96x96行列重みは96x96行列を形成し、正方形の領域にサンプリングされた表面として見ることができる。 表面の自由度を下げるための規則化とスパーシリティの異なるアプローチを探索し、得られた予測をイタリアのトランスミッション・システム・オペレーター・テルナの予測と比較した。
  論文  参考訳（メタデータ） (2021-12-08T22:15:06Z)
• FPM: A Collection of Large-scale Foundation Pre-trained Language Models [0.0]
  私たちは現在の効果的なモデル構造を使用して、現在の最も主流な技術を通じてモデルセットをローンチします。 将来的にはこれが基本モデルになると思います。
  論文  参考訳（メタデータ） (2021-11-09T02:17:15Z)
• VSEC: Transformer-based Model for Vietnamese Spelling Correction [0.19116784879310028]
  ベトナム語のスペル誤りを訂正する新しい手法を提案する。 深層学習モデルを用いて誤字誤りや誤字誤りの問題に対処する。 実験の結果,86.8%の誤差が検出され,81.5%の誤りが修正された。
  論文  参考訳（メタデータ） (2021-11-01T00:55:32Z)
• Calibrate Before Use: Improving Few-Shot Performance of Language Models [68.17016463756474]
  GPT-3は、いくつかのトレーニング例を含む自然言語プロンプトを提供すると、多数のタスクを実行できます。 この種の少数ショット学習は不安定である。 プロンプト形式、トレーニング例、およびトレーニング例の順序の選択は、精度をほぼチャンスから最先端のものに変化させる可能性があります。
  論文  参考訳（メタデータ） (2021-02-19T00:23:59Z)
• DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
  2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。 これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
  論文  参考訳（メタデータ） (2020-06-05T19:54:34Z)
• Semi-Supervised Neural Architecture Search [185.0651567642238]
  SemiNASは、多くの未ラベルアーキテクチャを活用する半教師付きニューラルアーキテクチャサーチ(NAS)アプローチである(評価なしで、ほぼコストがかからない)。 NASBench-101で94.02%のテスト精度を達成し、同じ数のアーキテクチャを使用する場合、すべてのベースラインを上回ります。 低リソース環境では97%のインテリジェンス率、ロバストネス環境では15%のテストエラー率、ベースラインではそれぞれ9%、7%の改善を実現している。
  論文  参考訳（メタデータ） (2020-02-24T17:23:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。