論文の概要: Instruct-Tuning Pretrained Causal Language Models for Ancient Greek Papyrology and Epigraphy

• arxiv url: http://arxiv.org/abs/2409.13870v3
• Date: Sun, 17 Nov 2024 21:28:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:31:25.719483
• Title: Instruct-Tuning Pretrained Causal Language Models for Ancient Greek Papyrology and Epigraphy
• Title（参考訳）: 古代ギリシアのパピル学とエピノグラフィーのための教育訓練済み因果語モデル
• Authors: Eric Cullhed,
• Abstract要約: 本稿は、古代ギリシアの碑文やドキュメンタリーパピルスの欠落した文字を復元するために、事前訓練された因果関係言語モデルを微調整する実験について述べる。 最新技術モデル (Ithaca) と比較すると、テキスト復元に優れた命令調整モデルである。 以上の結果から,修正および予想のための命令テンプレートを用いた事前学習型因果言語モデルの微調整が有望であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This article presents an experiment in fine-tuning a pretrained causal language model (Meta's Llama 3.1 8B Instruct) to assist with restoring missing or illegible characters in ancient Greek inscriptions and documentary papyri. Utilizing a straightforward instruction-based approach and a 95%/5% train/test split, the papyrus restoration model achieved a character error rate (CER) of 14.9%, a top-1 accuracy of 73.5%, and a top-20 accuracy of 86.0% for sequences up to 10 characters. A model was also fine-tuned for geographic attribution, reaching a top-1 accuracy of 66.4% and a top-3 accuracy of 79.9%. In chronological attribution, it demonstrated an average deviation of 21.7 years from the actual terminus post/ante quem, with a median deviation of 0 years. For inscriptions, the restoration model achieved a CER of 20.5%, a top-1 accuracy of 63.7%, and a top-20 accuracy of 83.0% for sequences up to 10 characters. In geographic attribution, it attained a top-1 accuracy of 75.0% and a top-3 accuracy of 83.7%, while in dating, it had an average deviation of 37.1 years and a median deviation of 3 years from the actual date range. Benchmarked against the state-of-the-art model (Ithaca) on a shared test set and on recently edited inscriptions, the instruction-tuned models excelled in text restoration, while also offering the practical advantage of ignoring spaces during reconstruction, which aligns with the scriptio continua of ancient textual artifacts. However, their performance in geographic and chronological attribution was lower than Ithaca's. To evaluate the approach in a more even setup, the instruction model was retrained with an 80%/10%/10% train-validation-test split, and still outperformed Ithaca in text restoration. The results suggest that fine-tuning larger pretrained causal language models using instruction templates for emendations and conjectures to ancient texts holds promise.
• Abstract（参考訳）: 本稿では,古代ギリシアの碑文や文書のパピルス文字の復元を支援するために,事前訓練された因果言語モデル(Meta's Llama 3.1 8B Instruct)を微調整する実験について述べる。 単純な命令ベースのアプローチと95%/5%の列車/テスト分割を利用して、パピルス復元モデルは文字誤り率14.9%、トップ1の精度73.5%、トップ20の精度86.0%を10文字まで達成した。 モデルは地理的帰属のために微調整され、トップ1の精度は66.4%、トップ3の精度は79.9%に達した。 年代的属性では、実際の終末から21.7年の平均偏差を示し、平均偏差は0年であった。 碑文では、復元モデルは20.5%、トップ1の精度は63.7%、トップ20の精度は最大10文字まで83.0%に達した。 地理的属性では、トップ1の精度75.0%、トップ3の精度83.7%、デートでは37.1年、実際の日付範囲から3年の平均偏差があった。 共有テストセット上で最先端のモデル(Ithaca)とベンチマークされ、最近編集された碑文に基づいて、命令調整されたモデルはテキスト復元に優れ、また、古代のテキストアーティファクトのスクリプティカルな連続性に合わせて、復元中に空間を無視する実用的な利点を提供する。 しかし、地理的・年代的帰属の成績はイサカよりも低かった。 より一層のセットアップでアプローチを評価するため、命令モデルは80%/10%/10%の列車バリデーションテスト分割で再訓練され、テキスト復元ではいまだにイサカよりも優れていた。 以上の結果から, 古文書への修正や推測のための指導テンプレートを用いた事前学習型因果言語モデルの微調整が有望であることが示唆された。

関連論文リスト

• Some Issues in Predictive Ethics Modeling: An Annotated Contrast Set of "Moral Stories" [0.0]
  本稿では、道徳的ジレンマをテキストベース入力に変換する際の問題を特定することによって、倫理モデリングの総合的指標としての正確性に挑戦する。 我々は,データ誤表現の特定形態が分類器の精度をどの程度損なうかの具体的な推定値を得る。
  論文  参考訳（メタデータ） (2024-07-07T03:22:49Z)
• Using Pre-training and Interaction Modeling for ancestry-specific disease prediction in UK Biobank [69.90493129893112]
  近年のゲノムワイド・アソシエーション(GWAS)研究は、複雑な形質の遺伝的基盤を明らかにしているが、非ヨーロッパ系個体の低発現を示している。 そこで本研究では,マルチオミクスデータを用いて,多様な祖先間での疾患予測を改善することができるかを評価する。
  論文  参考訳（メタデータ） (2024-04-26T16:39:50Z)
• Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
  本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。 拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
  論文  参考訳（メタデータ） (2024-03-07T18:00:40Z)
• Assessing the Efficacy of Grammar Error Correction: A Human Evaluation Approach in the Japanese Context [10.047123247001714]
  我々は,最先端のシーケンスタギング文法誤り検出・修正モデル(SeqTagger)の性能評価を行った。 自動アノテーションツールキット ERRANT を用いて,SeqTagger の性能評価を行った。 その結果、精度は63.66%、リコールは20.19%であった。
  論文  参考訳（メタデータ） (2024-02-28T06:43:43Z)
• Pre-training and Diagnosing Knowledge Base Completion Models [58.07183284468881]
  我々は,事実の集合から他の集合への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。 主な貢献は、構造化されていないテキストから収集された事実の大規模事前学習を利用する方法である。 得られた事前学習モデルをよりよく理解するために,オープン知識ベースコンプリートのための事前学習モデルの解析のための新しいデータセットを導入する。
  論文  参考訳（メタデータ） (2024-01-27T15:20:43Z)
• FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation [176.56131810249602]
  大規模言語モデル(LM)が生成する長文の事実性を評価することは簡単ではない。 FACTSCOREは、世代を一連の原子事実に分解し、信頼できる知識ソースによって支持される原子事実の割合を計算する新しい評価手法である。
  論文  参考訳（メタデータ） (2023-05-23T17:06:00Z)
• Presence of informal language, such as emoticons, hashtags, and slang, impact the performance of sentiment analysis models on social media text? [0.0]
  本研究では,エモティコンやスラングといった非公式言語がソーシャルメディアテキストに適用された感情分析モデルの性能に与える影響について検討した。 CNNモデルは、サルカズムデータセット、感情データセット、エモティコンデータセットの3つのデータセットで開発、訓練された。 結果は、Sarcasmデータセットで96.47%の精度を達成し、クラス1では最も低い精度を示した。 皮肉と感情のデータセットの融合はモデルの精度を95.1%に改善し、エモティコンデータセットの追加はモデルの精度を95.37%にわずかに良い影響を与える。
  論文  参考訳（メタデータ） (2023-01-28T22:21:51Z)
• FPM: A Collection of Large-scale Foundation Pre-trained Language Models [0.0]
  私たちは現在の効果的なモデル構造を使用して、現在の最も主流な技術を通じてモデルセットをローンチします。 将来的にはこれが基本モデルになると思います。
  論文  参考訳（メタデータ） (2021-11-09T02:17:15Z)
• VSEC: Transformer-based Model for Vietnamese Spelling Correction [0.19116784879310028]
  ベトナム語のスペル誤りを訂正する新しい手法を提案する。 深層学習モデルを用いて誤字誤りや誤字誤りの問題に対処する。 実験の結果,86.8%の誤差が検出され,81.5%の誤りが修正された。
  論文  参考訳（メタデータ） (2021-11-01T00:55:32Z)
• Learning to Learn Morphological Inflection for Resource-Poor Languages [105.11499402984482]
  本稿では,メタラーニング問題として資源不足言語に対する形態的インフレクション(補題を表象形にマッピングする)の課題を提案する。 それぞれの言語を個別のタスクとして扱うことで、高速ソース言語からのデータを使ってモデルパラメータの集合を学習する。 3つのファミリーから29のターゲット言語を対象とする2つのモデルアーキテクチャの実験により、提案手法がすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2020-04-28T05:13:17Z)
• Semi-Supervised Neural Architecture Search [185.0651567642238]
  SemiNASは、多くの未ラベルアーキテクチャを活用する半教師付きニューラルアーキテクチャサーチ(NAS)アプローチである(評価なしで、ほぼコストがかからない)。 NASBench-101で94.02%のテスト精度を達成し、同じ数のアーキテクチャを使用する場合、すべてのベースラインを上回ります。 低リソース環境では97%のインテリジェンス率、ロバストネス環境では15%のテストエラー率、ベースラインではそれぞれ9%、7%の改善を実現している。
  論文  参考訳（メタデータ） (2020-02-24T17:23:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。