論文の概要: DistilledGemma: Balanced Efficiency-Accuracy for Person-Place Relation Extraction from Multilingual Historical Articles
- arxiv url: http://arxiv.org/abs/2606.29130v1
- Date: Sun, 28 Jun 2026 00:38:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.798577
- Title: DistilledGemma: Balanced Efficiency-Accuracy for Person-Place Relation Extraction from Multilingual Historical Articles
- Title（参考訳）: 蒸留ゲルマ:多言語的歴史記事からの個人関係抽出のためのバランスの取れた効率-精度
- Abstract要約: 人-場所関係抽出におけるHIPE-2026共有タスクの効率的かつ正確なシステムであるDistilledGemmaを提案する。
本手法では,分類精度と計算効率のバランスをとるために,3段階の知識蒸留パイプラインを採用する。
- 参考スコア（独自算出の注目度）: 3.079885946230076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present DistilledGemma, an efficient and accurate system for the HIPE-2026 shared task on person-place relation extraction from multilingual historical newspaper articles in English, German, and French. Our approach adopts a three-stage knowledge distillation pipeline designed to balance classification accuracy with computational efficiency. In the first stage, we systematically explored prompt engineering strategies across eight large language models to identify the most effective reasoning architecture for this challenging task. In the second stage, we applied supervised fine-tuning (SFT) via QLoRA to a Gemma 4 26B A4B teacher model, leveraging its strong multilingual capabilities to generate silver-standard chain-of-thought traces across the training corpus. In the final stage, we performed response-level distillation to transfer these learned reasoning patterns into a compact Gemma 4 E2B student model. In the official evaluation, our team WHEREAMI ranked 3rd on the standard test set with an accuracy profile mean score of 0.688, and 2nd on the binary test set with a mean score of 0.8156. Notably, by distilling knowledge from the 26B teacher to the 2.3B student, we preserved strong reasoning capabilities while reducing the deployed model size to approximately 2.3B effective parameters; the LoRA adapters used during training were merged into the student for inference. This configuration ranked 2nd in the balanced efficiency-accuracy profile across both the standard and binary test sets. These results demonstrate that knowledge distillation provides a practical and scalable solution for historical document processing, achieving competitive performance without excessive computational cost.
- Abstract（参考訳）: HIPE-2026では,英語,ドイツ語,フランス語の多言語新聞記事から人・場所関係を抽出するタスクを効率よく,かつ正確なシステムであるDistilledGemmaを提示する。
本手法では,分類精度と計算効率のバランスをとるために,3段階の知識蒸留パイプラインを採用する。
最初の段階では,8つの大きな言語モデルにまたがる迅速なエンジニアリング戦略を体系的に検討し,この課題に対する最も効果的な推論アーキテクチャを特定した。
第2段階では,QLoRAを用いた教師用微調整(SFT)をGemma 4 26B A4Bの教師モデルに適用し,その強力な多言語機能を活用して,トレーニングコーパス全体の銀標準連鎖トレースを生成する。
最終段階では,これらの学習した推論パターンをコンパクトなGemma 4 E2B学生モデルに変換するために,応答レベル蒸留を行った。
公式評価では,我々のチームWHEREAMIが標準テストセットで3位,精度プロファイル平均スコアで0.688,バイナリテストセットで2位,平均スコアで0.8156にランク付けした。
特に26Bの教師から2.3Bの学生に知識を蒸留することにより、配置されたモデルサイズを約2.3Bの有効パラメータに抑えながら、強力な推論能力を保ち、トレーニング中に使用するLoRAアダプタを学生にマージして推論を行った。
この構成は、標準テストセットとバイナリテストセットの両方でバランスの取れた効率-精度プロファイルで2位にランクされた。
これらの結果は,知識蒸留が過去の文書処理に実用的でスケーラブルなソリューションを提供し,過剰な計算コストを伴わずに競争性能を達成できることを実証している。
関連論文リスト
- Adapting Large Language Models to a Low-Resource Agglutinative Language: A Comparative Study of LoRA and QLoRA for Bashkir [0.0]
本稿では,大規模な言語モデルをBashkir言語に適応させるタスクに適用する,パラメータ効率のよい微調整手法の比較検討を行う。
各種アーキテクチャのモデルを用いた71k文書(46.9Mトークン)のBashkirテキストコーパスで実験評価を行った。
論文 参考訳（メタデータ） (2026-05-06T14:14:35Z) - Efficient Fine-Tuning Methods for Portuguese Question Answering: A Comparative Study of PEFT on BERTimbau and Exploratory Evaluation of Generative LLMs [1.5049442691806052]
本研究は,ブラジルポルトガル語のSQuAD v1翻訳であるSQuAD-BRにおける質問回答のためのBERTimbauの体系的評価を提示する。
エンコーダをベースとしたモデルは,ブラジルの抽出ポルトガル語QAに対して,大規模な生成LDMよりも計算コストが大幅に低く,効率よく微調整できることを示す。
論文 参考訳（メタデータ） (2026-03-22T21:56:05Z) - Curriculum Learning for Efficient Chain-of-Thought Distillation via Structure-Aware Masking and GRPO [24.91321958525287]
大規模言語モデルからコンパクトな学生モデルへ推論するCoT(Chain-of-Thought)の蒸留は、根本的な課題である。
既存のアプローチでは、推論を単一ステップに圧縮するか、CoTを価値あるものにする解釈性を失う。
本稿では,この能力のミスマッチに対処する3段階のカリキュラム学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-05T05:27:11Z) - AgentMath: Empowering Mathematical Reasoning for Large Language Models via Tool-Augmented Agent [80.83250816918861]
o3やDeepSeek-R1のようなLarge Reasoning Models (LRM)は、長いチェーン・オブ・シークレットを持つ自然言語推論において顕著な進歩を遂げている。
しかし、計算的に非効率であり、複雑な数学的操作を必要とする問題を解く際には精度に苦しむ。
本稿では,言語モデルの推論能力とコードインタプリタの計算精度をシームレスに統合するエージェントフレームワークであるAgentMathを紹介する。
論文 参考訳（メタデータ） (2025-12-23T19:57:49Z) - Efficient Hate Speech Detection: A Three-Layer LoRA-Tuned BERTweet Framework [0.0]
本稿では,計算効率のよいヘイトスピーチ検出システムを開発する上での課題について述べる。
ルールベースの事前フィルタリングとパラメータ効率の高いLoRA調整BERTweetモデルを組み合わせた新しい3層フレームワークを提案する。
我々の手法はSafePhiのような最先端の大規模言語モデルの性能の94%を達成している。
論文 参考訳（メタデータ） (2025-11-08T15:47:18Z) - Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである
我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
論文 参考訳（メタデータ） (2025-06-17T17:12:34Z) - Logits-Based Finetuning [48.18151583153572]
本稿では,教師付き学習と知識蒸留の強みを統合したロジットに基づく微調整フレームワークを提案する。
提案手法は,教師のロジットと地上の真理ラベルを組み合わせ,正確性と言語的多様性を両立させることにより,充実した訓練目標を構築する。
論文 参考訳（メタデータ） (2025-05-30T10:57:09Z) - The Surprising Effectiveness of Test-Time Training for Few-Shot Learning [59.309477460893916]
言語モデル(LM)は、トレーニングディストリビューション内のタスクにおいて印象的なパフォーマンスを示しているが、しばしば構造的に新しいタスクで苦労している。
LMの推論と少数ショット学習能力を改善するメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。
本研究は,新しいタスクにおける文脈内学習の限界を強調し,言語モデルの適応性を高めるためのテストタイムトレーニングの可能性を示した。
論文 参考訳（メタデータ） (2024-11-11T18:59:45Z) - Skywork-MoE: A Deep Dive into Training Techniques for Mixture-of-Experts Language Models [57.582219834039506]
提案手法は,146億のパラメータと16名のエキスパートを伴い,高性能な多言語モデル(LLM)であるSkywork-MoEの開発において実現された訓練手法を紹介する。
これは、Skywork-13Bモデルの既存の密度の高いチェックポイントに基づいています。
論文 参考訳（メタデータ） (2024-06-03T03:58:41Z) - L3 Ensembles: Lifelong Learning Approach for Ensemble of Foundational
Language Models [15.726224465017596]
本稿では、未知のデータから意味のある表現を抽出し、構造化知識ベースを構築することに焦点を当てたアプローチを提案する。
我々は,GLUE や SuperGLUE などのベンチマークを含む様々な NLP タスクの有効性を検証する実験を行った。
提案したL3アンサンブル法は、細調整されたFLMと比較してモデル精度を4%36%向上させる。
論文 参考訳（メタデータ） (2023-11-11T06:59:50Z) - Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。
アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。
われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文 参考訳（メタデータ） (2022-12-01T17:31:42Z) - DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with
Gradient-Disentangled Embedding Sharing [117.41016786835452]
本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。
ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。
そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
論文 参考訳（メタデータ） (2021-11-18T06:48:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。