論文の概要: Made in Hungary: Comments on the performance of generative language models

• arxiv url: http://arxiv.org/abs/2609.18284v1
• Date: Wed, 16 Sep 2026 08:04:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.70677
• Title: Made in Hungary: Comments on the performance of generative language models
• Title（参考訳）: ハンガリー語生産 : 生成言語モデルの性能について
• Abstract要約: ハンガリーで生成言語モデルを開発するための3つのイニシアチブが出現している。 評価プロトコルの信頼性には疑問がある。 トレーニングパイプラインは、コーパスキュレーションとデータミックスの現在のベストプラクティスに欠けています。 3つの論文のどれも、忘れることや能力の喪失を評価していない。
• 参考スコア（独自算出の注目度）: 0.2913033886371052
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In recent years, three initiatives have emerged to develop generative language models in Hungary. The motivation behind them is the same. For Hungarian, no model with the given capability existed, or existing English-centric models offered limited proficiency. A detailed examination of the corresponding studies, however, reveals several methodological limitations. First, the reliability of the evaluation protocols is questionable. Contrary to the findings of Csibi et al. [2026], evaluation under the recommended inference settings shows that Qwen3-4B achieves higher scores than Racka-4B, its Hungarian-adapted version. Data contamination is evident in the work of Yang et al. [2025d] and Szentmihályi et al. [2025], potentially biasing the reported results. Second, the training pipelines fall short of current best practices in corpus curation and data mixture, which risks wasting substantial compute on low-quality data. The lack of controlled ablations prevents reliable assessment of these choices. Third, none of the three papers assessed forgetting or capability loss. Testing the adapted models on a subset of the original benchmarks indicates performance decline in all three cases, especially Racka-4B. These observations emphasize the importance of rigorous experimental design in language model development, given the significant computational and financial costs involved.
• Abstract（参考訳）: 近年、ハンガリーで生成言語モデルを開発するための3つのイニシアチブが出現している。 彼らの背後にあるモチベーションは同じです。 ハンガリーでは、与えられた能力を持つモデルは存在せず、既存の英語中心のモデルでは能力が限られていた。 しかしながら、対応する研究の詳細な調査では、いくつかの方法論上の限界が明らかになっている。 まず、評価プロトコルの信頼性に疑問がある。 Csibi et al [2026]の発見とは対照的に、推奨推論条件下での評価は、Qwen3-4Bがハンガリー適応版であるRacka-4Bよりも高いスコアを達成していることを示している。 データ汚染は、Yang et al [2025d] と Szentmihályi et al [2025] の研究で明らかであり、報告された結果に偏っている可能性がある。 第二に、トレーニングパイプラインはコーパスキュレーションとデータミキシングの現在のベストプラクティスを欠いている。 制御されたアブレーションの欠如は、これらの選択に対する信頼性の高い評価を妨げている。 第三に、3つの論文のどれも、忘れることや能力喪失を評価していない。 適応されたモデルを元のベンチマークのサブセットでテストすると、3つのケース、特にRacka-4Bでパフォーマンスが低下することを示している。 これらの観察は、言語モデル開発における厳密な実験的設計の重要性を強調しており、計算と財政のかなりのコストを考慮に入れている。

関連論文リスト

• RefusalBench: Generative Evaluation of Selective Refusal in Grounded Language Models [43.76961935990733]
  欠陥のあるシステムに基づいて、言語モデルが回答を拒否する能力は、依然として重大な障害点である。 RefusalBenchは、制御された言語コンテキストを通して診断テストケースを作成するジェネレーティブな方法論である。 選択的な拒絶は、改善への明確な道筋を提供する列車で、アライメントに敏感な能力であることがわかった。
  論文  参考訳（メタデータ） (2025-10-12T00:53:42Z)
• Self-Rationalization in the Wild: A Large Scale Out-of-Distribution Evaluation on NLI-related tasks [59.47851630504264]
  自由文の説明は表現力があり理解しやすいが、多くのデータセットには注釈付き説明データがない。 我々は、T5-LargeモデルとOLMo-7Bモデルを微調整し、微調整データ品質、微調整サンプル数、少数ショット選択方法の影響を評価した。 モデルは、自然言語推論(NLI)、ファクトチェック、抽象的な要約における幻覚検出の3つのタスクにまたがる19の多様なOODデータセットで評価される。
  論文  参考訳（メタデータ） (2025-02-07T10:01:32Z)
• Unraveling the Capabilities of Language Models in News Summarization [0.0]
  この研究は、ニュース要約タスクのより小さなものに焦点を当てた、最新の20の言語モデルの包括的なベンチマークを提供する。 本研究では,ゼロショットと少数ショットの学習設定に着目し,ロバストな評価手法を適用した。 GPT-3.5-Turbo と GPT-4 の優れた性能を強調した。
  論文  参考訳（メタデータ） (2025-01-30T04:20:16Z)
• Lessons from the Trenches on Reproducible Evaluation of Language Models [60.522749986793094]
  我々は,大規模言語モデルの評価を3年間経験し,研究者に指導とレッスンを提供してきた。 本稿では,言語モデルの独立性,再現性,評価を行うオープンソースライブラリであるLanguage Model Evaluation Harness(lm-eval)を紹介する。
  論文  参考訳（メタデータ） (2024-05-23T16:50:49Z)
• Emulated Disalignment: Safety Alignment for Large Language Models May Backfire! [65.06450319194454]
  大きな言語モデル(LLM)は、人間との安全な会話を確保するために安全アライメントを行う。 本稿では,安全アライメントの反転が可能なトレーニングフリーアタック手法を提案する。 本手法をエミュレートした脱アライメント (ED) と呼ぶのは, このコントラスト分布からのサンプリングは, 安全報酬を最小限に抑えるため, 微調整の結果を確実にエミュレートするからである。
  論文  参考訳（メタデータ） (2024-02-19T18:16:51Z)
• A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
  音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。 モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。 一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
  論文  参考訳（メタデータ） (2023-07-25T17:02:38Z)
• An Empirical Study on the Language Modal in Visual Question Answering [31.692905677913068]
  ドメイン内エクスペリエンスからアウト・オブ・ディストリビューションデータへの一般化は、AIドメインにおいて最重要事項である。 本稿では,VQAの性能に及ぼす言語モダリティの影響について,新たな知見を提供する。
  論文  参考訳（メタデータ） (2023-05-17T11:56:40Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。