論文の概要: A Survey on Post-training of Large Language Models

• arxiv url: http://arxiv.org/abs/2503.06072v1
• Date: Sat, 08 Mar 2025 05:41:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:52:33.032290
• Title: A Survey on Post-training of Large Language Models
• Title（参考訳）: 大規模言語モデルのポストトレーニングに関する調査研究
• Authors: Guiyao Tie, Zeli Zhao, Dingjie Song, Fuyang Wei, Rong Zhou, Yurou Dai, Wen Yin, Zhejian Yang, Jiangyue Yan, Yao Su, Zhenhan Dai, Yifeng Xie, Yihan Cao, Lichao Sun, Pan Zhou, Lifang He, Hechang Chen, Yu Zhang, Qingsong Wen, Tianming Liu, Neil Zhenqiang Gong, Jiliang Tang, Caiming Xiong, Heng Ji, Philip S. Yu, Jianfeng Gao,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語処理を根本的に変革し、会話システムから科学的探索まで、さまざまな領域で欠かせないものにしている。 これらの課題は、制限された推論能力、倫理的不確実性、最適なドメイン固有のパフォーマンスといった欠点に対処するために、先進的な訓練後言語モデル(PoLM)を必要とする。 本稿では,5つのコアパラダイムにまたがるPoLMの進化を体系的に追跡する,最初の包括的調査について述べる。
• 参考スコア（独自算出の注目度）: 185.51013463503946
• License:
• Abstract: The emergence of Large Language Models (LLMs) has fundamentally transformed natural language processing, making them indispensable across domains ranging from conversational systems to scientific exploration. However, their pre-trained architectures often reveal limitations in specialized contexts, including restricted reasoning capacities, ethical uncertainties, and suboptimal domain-specific performance. These challenges necessitate advanced post-training language models (PoLMs) to address these shortcomings, such as OpenAI-o1/o3 and DeepSeek-R1 (collectively known as Large Reasoning Models, or LRMs). This paper presents the first comprehensive survey of PoLMs, systematically tracing their evolution across five core paradigms: Fine-tuning, which enhances task-specific accuracy; Alignment, which ensures alignment with human preferences; Reasoning, which advances multi-step inference despite challenges in reward design; Efficiency, which optimizes resource utilization amidst increasing complexity; and Integration and Adaptation, which extend capabilities across diverse modalities while addressing coherence issues. Charting progress from ChatGPT's foundational alignment strategies to DeepSeek-R1's innovative reasoning advancements, we illustrate how PoLMs leverage datasets to mitigate biases, deepen reasoning capabilities, and enhance domain adaptability. Our contributions include a pioneering synthesis of PoLM evolution, a structured taxonomy categorizing techniques and datasets, and a strategic agenda emphasizing the role of LRMs in improving reasoning proficiency and domain flexibility. As the first survey of its scope, this work consolidates recent PoLM advancements and establishes a rigorous intellectual framework for future research, fostering the development of LLMs that excel in precision, ethical robustness, and versatility across scientific and societal applications.
• Abstract（参考訳）: LLM(Large Language Models)の出現は、自然言語処理を根本的に変え、会話システムから科学的探索まで、さまざまな領域で欠かせないものにしている。 しかし、それらの事前訓練されたアーキテクチャは、制限された推論能力、倫理的不確実性、最適でないドメイン固有のパフォーマンスなど、特別な文脈における制限を明らかにすることが多い。 これらの課題は、OpenAI-o1/o3やDeepSeek-R1(Large Reasoning Models, LRMs)など、これらの欠点に対処するために、高度な後トレーニング言語モデル(PoLM)を必要とする。 本稿では,タスク固有の精度を向上するファインチューニング,人間の嗜好との整合性を保証するアライメント,報酬設計の課題によらず多段階推論を進める推論,複雑さの増大に伴い資源利用を最適化する効率,コヒーレンス問題に対処しながら多様なモダリティにまたがる機能を拡張する統合と適応という,5つのパラダイムの進化を体系的に追跡する最初の包括的調査を行う。 ChatGPTの基本的なアライメント戦略からDeepSeek-R1の革新的な推論の進歩への進捗をグラフ化し、PoLMがデータセットを活用してバイアスを緩和し、推論機能を強化し、ドメイン適応性を高める方法について説明する。 我々の貢献には、PoLM進化の先駆的な合成、構造的分類技術とデータセットの分類、推論能力とドメインの柔軟性の向上におけるLEMの役割を強調する戦略的アジェンダが含まれる。 この研究は、そのスコープに関する最初の調査として、最近のPoLMの進歩を集約し、将来の研究のための厳密な知的枠組みを確立し、科学的・社会的な応用にまたがる正確性、倫理的堅牢性、汎用性に優れたLCMの開発を促進する。

関連論文リスト

• A Survey on Large Language Models with some Insights on their Capabilities and Limitations [0.3222802562733786]
  大規模言語モデル(LLM)は、様々な言語関連タスクで顕著なパフォーマンスを示す。 LLMは、そのコア機能を超えて、創発的な能力を示す。 本稿では,これらの機能を実現する基盤となるコンポーネント,スケーリング機構,アーキテクチャ戦略について検討する。
  論文  参考訳（メタデータ） (2025-01-03T21:04:49Z)
• Low-Rank Adaptation for Foundation Models: A Comprehensive Review [42.23155921954156]
  Low-Rank Adaptation (LoRA)は、これらの課題を緩和するための非常に有望なアプローチとして登場した。 この調査は、大規模な言語モデルから一般的な基礎モデルまで、LoRAテクニックの包括的なレビューを初めて提供する。
  論文  参考訳（メタデータ） (2024-12-31T09:38:55Z)
• Learning to Generate Research Idea with Dynamic Control [21.30777644522451]
  大規模言語モデル (LLM) は仮説や研究のアイデアを生み出すことを約束している。 SFT(Supervised Fine-Tuning)とRL(Reinforcement Learning)を組み合わせた2段階のアプローチによる新しいフレームワークを提案する。 本フレームワークは, 新規性, 実現可能性, 有効性の間のトレードオフを動的にナビゲートすることで, 高品質な成果を達成し, 研究アイデアに対するバランスのとれたアプローチを提供する。
  論文  参考訳（メタデータ） (2024-12-19T08:28:18Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• Multi-step Inference over Unstructured Data [2.169874047093392]
  医療、法律、金融などの分野における高い意思決定タスクは、精度、包括性、論理的一貫性のレベルを必要とする。 これらの問題に対処するための,ニューロシンボリックAIプラットフォームを開発した。 このプラットフォームは、知識抽出とアライメントのための微調整LDMと、堅牢なシンボリック推論エンジンを統合している。
  論文  参考訳（メタデータ） (2024-06-26T00:00:45Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• When Large Language Models Meet Evolutionary Algorithms: Potential Enhancements and Challenges [50.280704114978384]
  事前訓練された大規模言語モデル(LLM)は、自然なテキストを生成する強力な能力を示す。 進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。
  論文  参考訳（メタデータ） (2024-01-19T05:58:30Z)
• Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。 広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。 しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
  論文  参考訳（メタデータ） (2023-05-30T03:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。