Fugu-MT 論文翻訳(概要): TELLME: Test-Enhanced Learning for Language Model Enrichment

論文の概要: TELLME: Test-Enhanced Learning for Language Model Enrichment

arxiv url: http://arxiv.org/abs/2608.11788v1
Date: Wed, 12 Aug 2026 08:28:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-13 19:07:54.519788
Title: TELLME: Test-Enhanced Learning for Language Model Enrichment
Title（参考訳）: TELLME: 言語モデル強化のためのテスト強化学習
Abstract要約: 言語モデル強化のためのテスト強化学習(TELLME) 言語モデル強化のためのテスト強化学習(TELLME) 実験の結果、TELLMEは金融分野での既存手法を最大23.6%上回っていることがわかった。
参考スコア（独自算出の注目度）: 13.403349410923097
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual pre-training (CPT) has been widely adopted as a method for domain adaptation in large language models. However, CPT has consistently been accompanied by challenges, such as the difficulty of acquiring large-scale domain-specific datasets and high computational costs. In this study, we propose a novel method called Test-Enhanced Learning for Language Model Enrichment (TELLME) to alleviate these issues. TELLME leverages the TestEnhanced Learning (TEL) principle, whereby the model's training efficiency is improved using quizzes during training. It integrates this principle with CPT, thereby promoting efficient domain-specific knowledge acquisition and long-term memory retention. Experimental results demonstrate that TELLME outperforms existing methods by up to 23.6% in the financial domain and achieves a 9.8% improvement in long-term memory retention.
Abstract（参考訳）: CPT(Continuous pre-training)は、大規模言語モデルにおけるドメイン適応の手法として広く採用されている。しかし、CPTは、大規模なドメイン固有のデータセットの取得の難しさや高い計算コストなど、常に課題を伴っている。本研究では,これらの問題を緩和するために,TELLME(Test-Enhanced Learning for Language Model Enrichment)と呼ばれる新しい手法を提案する。 TELLMEはテスト強化学習(TEL)の原則を活用し、モデルのトレーニング効率はトレーニング中にクイズを使用して改善される。この原理をCPTと統合し、ドメイン固有の知識の効率的な獲得と長期記憶保持を促進する。実験の結果、TELLMEは金融分野の既存手法を最大23.6%上回り、長期記憶保持の9.8%の改善を達成している。

関連論文リスト

Thinking Augmented Pre-training [88.04395622064708]
拡張事前学習は、自動生成された思考軌跡でテキストを増強する普遍的な方法論である。本稿では,既存のテキストデータを思考トラジェクトリで拡張することにより,大規模言語モデル(LLM)トレーニングのデータ効率を向上させるための,シンプルでスケーラブルなアプローチを提案する。
論文参考訳（メタデータ） (2025-09-24T14:45:13Z)
LECTOR: LLM-Enhanced Concept-based Test-Oriented Repetition for Adaptive Spaced Learning [1.8130068086063336]
LECTORは、テスト指向学習シナリオのための新しい適応スケジューリングアルゴリズムである。語彙学習における意味的混乱の課題に対処する。 LECTORは、最高のベースラインアルゴリズムでは88.4%に比べて90.2%の成功率を達成した。
論文参考訳（メタデータ） (2025-08-05T09:53:26Z)
Step-level Verifier-guided Hybrid Test-Time Scaling for Large Language Models [58.36334504216682]
テスト時間スケーリングは、推論中にモデルのインテリジェンスを段階的に引き出す、有望なアプローチである。本稿では,推論のためのトレーニング不要なTTS手法に焦点をあてる。ハイブリッドテスト時間スケーリングと呼ばれる新しい推論パラダイムを導入する。
論文参考訳（メタデータ） (2025-07-21T11:28:09Z)
Revisiting Test-Time Scaling: A Survey and a Diversity-Aware Method for Efficient Reasoning [19.426979775180797]
テスト時間スケーリング(TTS)は、推論中にさらなる計算を割り当てることで、Large Language Models(LLM)の推論性能を改善する。我々は、推論最適化モデルが、TSの有効性を制限するような、より多様な出力を生成することが多いことを観察する。多様性を重視したデータストラテジーにプレフィックスチューニングを適用する軽量な手法であるADAPTを提案する。
論文参考訳（メタデータ） (2025-06-05T04:02:17Z)
Logits-Based Finetuning [48.18151583153572]
本稿では,教師付き学習と知識蒸留の強みを統合したロジットに基づく微調整フレームワークを提案する。提案手法は,教師のロジットと地上の真理ラベルを組み合わせ,正確性と言語的多様性を両立させることにより,充実した訓練目標を構築する。
論文参考訳（メタデータ） (2025-05-30T10:57:09Z)
ReLearn: Unlearning via Learning for Large Language Models [64.2802606302194]
本研究では、効果的なアンラーニングのためのデータ拡張および微調整パイプラインであるReLearnを提案する。このフレームワークでは、知識レベルの保存を測定するために、知識獲得率(KFR)と知識保持率(KRR)を導入している。実験の結果,ReLearnは高品質な出力を保ちながら,目標とするリセットを実現することができた。
論文参考訳（メタデータ） (2025-02-16T16:31:00Z)
CEM: A Data-Efficient Method for Large Language Models to Continue Evolving From Mistakes [36.14056870453356]
大きな言語モデルを維持し、その欠点に対処するためには、継続的な学習が不可欠です。本稿では,CPTデータ収集を目的としたデータ効率の高い手法であるCEM法を提案する。実験の結果、CEMはドメイン内QAタスクとドメイン外QAタスクの両方で複数のモデルの性能を大幅に向上させ、最大29.63%のゲインを達成している。
論文参考訳（メタデータ） (2024-04-11T17:44:56Z)
Advancing NLP Models with Strategic Text Augmentation: A Comprehensive Study of Augmentation Methods and Curriculum Strategies [0.0]
本研究では,さまざまなデータセットと自然言語処理(NLP)タスクにまたがるテキスト拡張手法の徹底的な評価を行う。トピック分類や感情分析,攻撃的言語検出などのタスクにおいて,これらの手法がトレーニングセットを増強し,パフォーマンスを向上させる効果について検討した。
論文参考訳（メタデータ） (2024-02-14T12:41:09Z)
Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
論文参考訳（メタデータ） (2023-04-25T12:29:22Z)
Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
論文参考訳（メタデータ） (2021-10-09T07:00:38Z)
Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文参考訳（メタデータ） (2021-09-09T12:32:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。