論文の概要: Forging GEMs: Advancing Greek NLP through Quality-Based Corpus Curation and Specialized Pre-training

• arxiv url: http://arxiv.org/abs/2510.20002v1
• Date: Wed, 22 Oct 2025 20:06:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.821632
• Title: Forging GEMs: Advancing Greek NLP through Quality-Based Corpus Curation and Specialized Pre-training
• Title（参考訳）: フォージングGEM: 品質ベースのコーパスキュレーションと特別予習によるギリシャNLPの向上
• Authors: Alexandra Apostolopoulou, Konstantinos Kanaris, Athanasios Koursaris, Dimitris Tsakalidis, George Domalis, Ioannis E. Livieris,
• Abstract要約: 本稿では,ギリシャ語のトランスフォーマーモデルの新たなファミリーであるギリシャ語埋め込みモデルについて述べる。 我々は、厳密で質の高いフィルタリングと前処理手法を強調した大規模なギリシアのコーパスの構築について詳述する。 法域に適合した最初のバイリンガル・ギリシャ語・英語の埋め込みモデルを提案する。
• 参考スコア（独自算出の注目度）: 37.2909720705691
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The advancement of natural language processing for morphologically rich, moderately-resourced languages like Modern Greek is often hindered by a fragmented research landscape, a lack of architectural diversity and reliance on limited context-length models. This is particularly true in specialized, high-value domains such as law, where existing models are frequently confined to early transformer architectures with a restrictive 512-token window, insufficient for analyzing long legal documents. To address these challenges, this paper presents Greek Embedding Models, a new family of transformer models for Greek language built upon a foundation of extensive, quality-driven data curation. We detail the construction of several large-scale Greek corpora, emphasizing a rigorous, quality-based filtering and preprocessing methodology to create high-value training datasets from both general-domain and specialized legal sources. On this carefully curated foundation, we pre-train and systematically evaluate a diverse suite of modern architectures, which has not previously applied to Greek language, such as ELECTRA, ConvBERT and ModernBERT. Furthermore, we propose the first bilingual Greek-English Embedding Models tailored for the legal domain. The extensive experiments on downstream tasks demonstrate that the new class of models establish the effectiveness of the proposed approach, highlighting that the GEM-RoBERTa and GEM-ConvBERT models significantly outperform existing baselines.
• Abstract（参考訳）: 現代ギリシア語のような形態学的に豊かで、適度に調達された言語に対する自然言語処理の進歩は、しばしば断片化された研究環境、アーキテクチャの多様性の欠如、限られた文脈長モデルへの依存によって妨げられている。 これは法のような特殊で高価値なドメインでは特に当てはまり、既存のモデルは制約のある512の窓を持つ初期のトランスフォーマーアーキテクチャにしばしば制限され、長い法律文書を解析するのに不十分である。 これらの課題に対処するために,本稿では,広範な品質駆動型データキュレーションの基礎の上に構築された,ギリシャ語用トランスフォーマーモデルの新たなファミリーである,ギリシャ語埋め込みモデルを提案する。 我々は,厳密で質の高いフィルタリングと事前処理手法を強調し,汎用ドメインと専門の法源から高価値なトレーニングデータセットを作成する,大規模なギリシアのコーパスの構築について詳述する。 この慎重に整備された基盤では,ELECTRAやConvBERT,ModernBERTといったギリシア語には適用されていない,近代建築の多様なスイートを事前訓練し,体系的に評価する。 さらに,法域に適したバイリンガルなギリシア語と英語の埋め込みモデルを提案する。 GEM-RoBERTaモデルとGEM-ConvBERTモデルが既存のベースラインを大幅に上回ることを示す。

関連論文リスト

• Speed Always Wins: A Survey on Efficient Architectures for Large Language Models [51.817121227562964]
  大規模言語モデル(LLM)は、言語理解、生成、推論、マルチモーダルモデルの能力境界の押し付けにおいて、素晴らしい結果をもたらしている。 トランスフォーマーモデルは、現代のLLMの基礎として、優れたスケーリング特性を備えた強力なベースラインを提供する。 従来のトランスフォーマーアーキテクチャは、相当な計算を必要とし、大規模なトレーニングと実践的なデプロイメントに重大な障害を生じさせる。
  論文  参考訳（メタデータ） (2025-08-13T14:13:46Z)
• Aligning Knowledge Graphs and Language Models for Factual Accuracy [7.205708660952737]
  本稿では,ALIGNed-LLMを提案する。 我々は、TransEのようなトレーニング済みの知識グラフ埋め込み(KGE)モデルとトレーニング可能なプロジェクション層からの埋め込みを使用して、エンティティとテキストの埋め込みを調整します。
  論文  参考訳（メタデータ） (2025-07-17T08:15:50Z)
• A Survey of Model Architectures in Information Retrieval [59.61734783818073]
  2019年から現在までの期間は、情報検索(IR)と自然言語処理(NLP)における最大のパラダイムシフトの1つとなっている。 従来の用語ベースの手法から現代のニューラルアプローチまで,特にトランスフォーマーベースのモデルとそれに続く大規模言語モデル(LLM)の影響が注目されている。 今後の課題と今後の方向性について、先見的な議論で締めくくります。
  論文  参考訳（メタデータ） (2025-02-20T18:42:58Z)
• Advancing Retrieval-Augmented Generation for Persian: Development of Language Models, Comprehensive Benchmarks, and Best Practices for Optimization [0.0]
  本研究は,ペルシャ固有のモデルを導入することにより,検索と生成の精度を向上させることを目的とする。 3つのデータセット(一般知識(PQuad)、科学的に専門化されたテキスト、組織報告)を使用して、これらのモデルを評価した。 MatinaSRobertaは以前の埋め込みよりも優れており、データセット間のコンテキスト関連性と検索精度に優れていた。
  論文  参考訳（メタデータ） (2025-01-08T22:16:40Z)
• DSGram: Dynamic Weighting Sub-Metrics for Grammatical Error Correction in the Era of Large Language Models [39.493913608472404]
  大規模言語モデル(LLM)に基づく文法的誤り訂正(GEC)モデルは、提供された金の参照から分岐する修正を生成することが多い。 この不一致は、従来の基準ベースの評価指標の信頼性を損なう。 本稿では,GECモデル,DSGram,Semantic Coherence,Edit Level,Fluencyを統合し,動的重み付け機構を活用する新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-17T11:54:16Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• GreekT5: A Series of Greek Sequence-to-Sequence Models for News Summarization [0.0]
  本稿では,ギリシャのニュース記事を対象とした新しいTSモデルを提案する。 提案したモデルは、ギリシャのBARTに対して同じデータセットで徹底的に評価された。 評価結果から, 提案したモデルのほとんどは, 様々な評価指標において, ギリシャ語BARTを著しく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-13T21:33:12Z)
• Exploring Large Language Models for Classical Philology [17.856304057963776]
  我々は古代ギリシア語のための4つの言語モデルを作成し、2つの次元に沿って異なる。 補題化を含む形態的および構文的タスクに関する全てのモデルを評価する。 その結果、私たちのモデルはSoTAよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T05:21:02Z)
• GreekBART: The First Pretrained Greek Sequence-to-Sequence Model [13.429669368275318]
  我々は,BARTベースアーキテクチャをベースとした最初のSeq2SeqモデルであるA GreekBARTを紹介し,大規模なギリシャ語コーパスを事前訓練する。 我々は,BART-random, Greek-BERT, XLM-Rを様々な識別課題で評価し,比較した。
  論文  参考訳（メタデータ） (2023-04-03T10:48:51Z)
• Sparse*BERT: Sparse Models Generalize To New tasks and Domains [79.42527716035879]
  本稿では, 階層的非構造的マグニチュード・プルーニング(Gradual Unstructured Magnitude Pruning)を用いて, ドメイン間およびタスク間を移動可能なモデルについて検討する。 Sparse*BERTは、非構造化バイオメディカルテキスト上で圧縮されたアーキテクチャを事前学習することで、SparseBioBERTとなることを示す。
  論文  参考訳（メタデータ） (2022-05-25T02:51:12Z)
• A Unified Strategy for Multilingual Grammatical Error Correction with Pre-trained Cross-Lingual Language Model [100.67378875773495]
  本稿では,多言語文法的誤り訂正のための汎用的かつ言語に依存しない戦略を提案する。 我々の手法は言語固有の操作を使わずに多様な並列GECデータを生成する。 NLPCC 2018 Task 2のデータセット(中国語)で最先端の結果を達成し、Falko-Merlin(ドイツ語)とRULEC-GEC(ロシア語)の競合性能を得る。
  論文  参考訳（メタデータ） (2022-01-26T02:10:32Z)
• Multi-granular Legal Topic Classification on Greek Legislation [4.09134848993518]
  ギリシア語で書かれた法律文書を分類する作業について研究する。 ギリシャの法律文書分類のタスクがオープンな研究プロジェクトで検討されたのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-09-30T17:43:00Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。