論文の概要: Training LLMs Beyond Next Token Prediction -- Filling the Mutual Information Gap
- arxiv url: http://arxiv.org/abs/2511.00198v1
- Date: Fri, 31 Oct 2025 18:59:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 16:37:26.667614
- Title: Training LLMs Beyond Next Token Prediction -- Filling the Mutual Information Gap
- Title（参考訳）: LLMの次の目標予測を超えるトレーニング - 相互情報ギャップを埋める
- Authors: Chun-Hao Yang, Bo-Han Feng, Tzu-Yuan Lai, Yan Yu Chen, Yin-Kai Dean Huang, Shou-De Lin,
- Abstract要約: 本研究は,Next-token Prediction (NTP) を用いた大規模言語モデル(LLM)の訓練手法に挑戦する。
LLMの3種類のタスクにおいて提案手法が与える影響を,算術,テキストの多ラベル分類,自然言語生成の3種類で検討する。
- 参考スコア（独自算出の注目度）: 6.693221730277371
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optimizing training performance in large language models (LLMs) remains an essential challenge, particularly in improving model performance while maintaining computational costs. This work challenges the conventional approach of training LLMs using next-token prediction (NTP), arguing that by predicting information-rich tokens during training, there is a more effective way to train LLMs. We investigate the impact of the proposed solution in three kinds of tasks for LLMs: arithmetic, multi-label classification of text, and natural-language generation. This work offers a principled approach to optimizing LLM training, advancing both model performance and theoretical understanding of the target-token selection strategies.
- Abstract（参考訳）: 大規模言語モデル(LLM)におけるトレーニング性能の最適化は、特に計算コストを維持しながらモデル性能を改善する上で重要な課題である。
本研究は,Next-token Prediction (NTP) を用いたLLMのトレーニング手法に挑戦し,トレーニング中に情報豊富なトークンを予測することによって,LLMをトレーニングするより効果的な方法が存在すると主張した。
LLMの3種類のタスクにおいて提案手法が与える影響を,算術,テキストの多ラベル分類,自然言語生成の3種類で検討する。
この研究は、LLMトレーニングの最適化のための原則的なアプローチを提供し、モデル性能と目標-目標選択戦略の理論的理解の両方を前進させる。
関連論文リスト
- USB-Rec: An Effective Framework for Improving Conversational Recommendation Capability of Large Language Model [14.628459519236658]
大言語モデル (LLM) は会話レコメンダシステム (CRS) で広く使われている。
そこで本研究では,USB-Rec(User-Simulator-Based framework)を統合化したトレーニング推論フレームワークを提案する。
我々の手法は、常に従来の最先端の手法より優れています。
論文 参考訳（メタデータ） (2025-09-20T22:34:55Z) - Estimating the Effects of Sample Training Orders for Large Language Models without Retraining [49.59675538160363]
大規模言語モデル(LLM)において,サンプルの訓練順序が重要な役割を担っている
従来の手法では、様々なサンプル順序でモデルを再訓練する必要がある。
リトレーニングフリーのフレームワークを設計することで従来の手法を改善します。
論文 参考訳（メタデータ） (2025-05-28T07:07:02Z) - Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。
提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
論文 参考訳（メタデータ） (2025-04-02T20:33:27Z) - LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。
ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
論文 参考訳（メタデータ） (2025-02-28T18:59:54Z) - A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs [74.35290684163718]
大規模言語モデル(LLM)開発における最大の課題は、その面倒な事前トレーニングコストである。
本稿では,小言語モデル(SLM)を活用して,LLMの事前学習効率と品質を改善するための有望なパラダイムについて検討する。
論文 参考訳（メタデータ） (2024-10-24T14:31:52Z) - Rational Metareasoning for Large Language Models [17.479428400594028]
大きな言語モデル(LLM)を使用するためのコアテクニックとして,推論への関与を促す声が上がっている。
本研究は,認知科学で用いられるメタレゾニングの計算モデルに基づく新しいアプローチを導入する。
我々は不必要な推論を罰することで計算の価値を組み込む報酬関数を開発する。
論文 参考訳（メタデータ） (2024-10-07T23:48:52Z) - Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。
LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。
本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文 参考訳（メタデータ） (2024-06-20T13:08:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。