論文の概要: MORFES: A Benchmark for Productive Inflectional Competence in Modern Greek

• arxiv url: http://arxiv.org/abs/2607.28274v1
• Date: Thu, 30 Jul 2026 14:27:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.607261
• Title: MORFES: A Benchmark for Productive Inflectional Competence in Modern Greek
• Title（参考訳）: MORFES: 現代ギリシアにおける生産的屈折能力のベンチマーク
• Abstract要約: ギリシャ語入力形式の認識と生産をテストする500のエキスパート認定項目のベンチマークであるMORFESを紹介する。 我々はMORFES上で様々なオープン言語モデルを評価し、LLaMAからQwen3、DeepSeek-R1、Magistral、Kim K2まで急速にスケールするオープンウェイトエコシステムにそれらを配置する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern Greek is a richly inflected language, yet the language models built for it are evaluated mainly on factual knowledge, and no benchmark is dedicated to their inflectional competence. We introduce MORFES (Morphological Open-class Recognition-and-Formation Evaluation Suite), a benchmark of 500 expert-verified items that tests the recognition and production of Greek inflected forms, favoring lower-frequency lemmas so that a correct answer reflects the rule rather than a memorized form. We make it publicly available at https://huggingface.co/datasets/KIEFERSA/MORFES. We evaluate a range of open language models on MORFES, situating them within the rapidly scaling open-weight ecosystem from LLaMA to Qwen3, DeepSeek-R1, Magistral, and Kimi K2, where multilingual coverage grows but grammatical competence in morphologically rich languages remains under-measured. Among them, Sophea-Genesis-1, a model we developed and release as open weights at https://huggingface.co/KIEFERSA/Sophea-Genesis-1, leads on inflectional morphology while matching similarly sized models in general capability.
• Abstract（参考訳）: 現代ギリシア語は豊かな屈折言語であるが、その言語モデルは主に事実的知識に基づいて評価されており、その屈折能力に関するベンチマークは行われていない。 ギリシャ語入力形式の認識と生成を検査する500個の専門家検証項目のベンチマークであるMORFES(Morphological Open-class Recognition-and-Formation Evaluation Suite)を紹介する。 https://huggingface.co/datasets/KIEFERSA/MORFES.comで公開しています。 我々はMORFES上の様々なオープン言語モデルを評価し、LLaMAからQwen3、DeepSeek-R1、Magistral、Kim K2まで急速に拡大するオープンウェイトエコシステムにそれらを配置する。 中でもSophea-Genesis-1は、https://huggingface.co/KIEFERSA/Sophea-Genesis-1でオープンウェイトとして開発、リリースしたモデルであり、同様のサイズのモデルを一般的な能力でマッチングしながら、屈折形態を導く。

関連論文リスト

• Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation [50.731838216268706]
  多言語コーパス上での英語中心のMoEモデルの継続事前学習における多言語ルーティングのダイナミクスについて検討する。 連続的な多言語事前学習は、初期層と中層に拡散し、言語に依存しないルーティングをもたらす。 最終MoE層における言語固有の専門家と共有専門家を更新するパラメータ効率適応戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-28T10:12:41Z)
• ORPHEAS: A Cross-Lingual Greek-English Embedding Model for Retrieval-Augmented Generation [39.1609547386199]
  バイリンガル検索拡張生成のための特殊ギリシャ語英語埋め込みモデルであるORPHEASを提案する。 ORPHEASは知識グラフに基づく微調整手法によって生成された高品質なデータセットで訓練されている。 ORPHEASは、モノリンガルおよびクロスランガル検索ベンチマークによる実験により、最先端のマルチランガル埋め込みモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-04-22T15:15:45Z)
• GreekMMLU: A Native-Sourced Multitask Benchmark for Evaluating Language Models in Greek [27.324768282418102]
  GreekMMLUはギリシャ語で大規模言語理解のためのネイティブソースのベンチマークである。 我々は16,857個のサンプルと4,948個のサンプルをプライベートなリーダーボードにリリースし、堅牢で汚染に強い評価を可能にした。
  論文  参考訳（メタデータ） (2026-02-05T00:12:18Z)
• Forging GEMs: Advancing Greek NLP through Quality-Based Corpus Curation [37.2909720705691]
  ギリシャの埋め込みモデル(GEM)は、アーキテクチャの多様性とデータキュレーションの強化を通じて制限に対処するために開発された。 いくつかの大規模で精巧にキュレートされたコーパスで訓練されたモデルのファミリー。 最初のバイリンガル・ギリシャ語・英語の埋め込みモデルは、言語間法的な応用に適合した。
  論文  参考訳（メタデータ） (2025-10-22T20:06:48Z)
• HeQ: a Large and Diverse Hebrew Reading Comprehension Benchmark [54.73504952691398]
  我々は,抽出質問としてヘブライ語機械読解データセットの提供に着手した。 ヘブライ語の形態学的に豊かな性質はこの努力に挑戦している。 我々は,新しいガイドラインのセット,制御されたクラウドソーシングプロトコル,評価基準の改訂を考案した。
  論文  参考訳（メタデータ） (2025-08-03T15:53:01Z)
• Echoes of BERT: Do Modern Language Models Rediscover the Classical NLP Pipeline? [4.991808275998526]
  従来のBERTologyに基づいて、古典的アーキテクチャ(BERT, DeBERTa, GPT-2)から現代の大規模言語モデル(Pythia, OLMo-2, Gemma-2, Qwen2.5, Llama-3.1)にまたがる25のモデルを分析する。 階層的な組織は現代のモデルに留まり、初期レイヤは構文をキャプチャし、中間レイヤはセマンティクスとエンティティレベルの情報を扱い、後のレイヤは談話現象をエンコードしている。 語彙情報は初期層で直線的に集中するが、ネットワークでは非線形に深くなっているのに対して、屈折情報はすべての層で直線的にアクセス可能である。
  論文  参考訳（メタデータ） (2025-06-02T18:01:56Z)
• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Evaluating Morphological Compositional Generalization in Large Language Models [17.507983593566223]
  大規模言語モデル (LLM) の形態的一般化能力について, 構成性のレンズによる検討を行った。 我々はトルコ語やフィンランド語などの凝集言語に焦点を当てている。 解析の結果,LLMは特に新規語根に適用する場合,形態的構成一般化に苦慮していることが明らかとなった。 モデルは偶然よりも個々の形態的組み合わせを識別できるが、その性能は体系性に欠けており、人間に比べてかなりの精度の差が生じる。
  論文  参考訳（メタデータ） (2024-10-16T15:17:20Z)
• Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。 我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。 我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
  言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。 我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。 その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
  論文  参考訳（メタデータ） (2024-04-29T17:58:36Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• Explicit Morphological Knowledge Improves Pre-training of Language Models for Hebrew [19.4968960182412]
  事前学習フェーズに明示的な形態的知識を組み込むことで、形態学的に豊かな言語に対するPLMの性能を向上させることができるという仮説を考察する。 本研究では, モデルが生テキスト以外の形態的手がかりを活用できるように, 様々な形態的トークン化手法を提案する。 実験により, 形態素によるトークン化は, 標準言語に依存しないトークン化と比較して, 改良された結果を示すことが示された。
  論文  参考訳（メタデータ） (2023-11-01T17:02:49Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。