論文の概要: A critical review of methods and challenges in large language models
- arxiv url: http://arxiv.org/abs/2404.11973v2
- Date: Fri, 26 Sep 2025 14:07:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 20:57:53.806484
- Title: A critical review of methods and challenges in large language models
- Title（参考訳）: 大規模言語モデルにおける手法と課題の批判的レビュー
- Authors: Milad Moradi, Ke Yan, David Colwell, Matthias Samwald, Rhona Asgari,
- Abstract要約: 大規模言語モデル(LLM)の詳細な分析について
リカレントニューラルネットワーク(RNN)からトランスフォーマーモデルへの進化を検査する。
コンテキスト内学習や様々な微調整アプローチといった最先端のテクニックを記述します。
- 参考スコア（独自算出の注目度）: 6.850038413666062
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This critical review provides an in-depth analysis of Large Language Models (LLMs), encompassing their foundational principles, diverse applications, and advanced training methodologies. We critically examine the evolution from Recurrent Neural Networks (RNNs) to Transformer models, highlighting the significant advancements and innovations in LLM architectures. The review explores state-of-the-art techniques such as in-context learning and various fine-tuning approaches, with an emphasis on optimizing parameter efficiency. We also discuss methods for aligning LLMs with human preferences, including reinforcement learning frameworks and human feedback mechanisms. The emerging technique of retrieval-augmented generation, which integrates external knowledge into LLMs, is also evaluated. Additionally, we address the ethical considerations of deploying LLMs, stressing the importance of responsible and mindful application. By identifying current gaps and suggesting future research directions, this review provides a comprehensive and critical overview of the present state and potential advancements in LLMs. This work serves as an insightful guide for researchers and practitioners in artificial intelligence, offering a unified perspective on the strengths, limitations, and future prospects of LLMs.
- Abstract（参考訳）: この批判的なレビューは、Large Language Models(LLM)の詳細な分析を提供し、基礎原則、多様なアプリケーション、高度なトレーニング方法論を含んでいる。
我々は、リカレントニューラルネットワーク(RNN)からトランスフォーマーモデルへの進化を批判的に検討し、LLMアーキテクチャにおける重要な進歩と革新を強調した。
このレビューでは、パラメータ効率の最適化に重点を置いて、文脈内学習や様々な微調整アプローチといった最先端技術について考察する。
また、強化学習フレームワークやヒューマンフィードバック機構など、LLMを人間の好みと整合させる手法についても論じる。
また,LLMに外部知識を統合する検索拡張生成技術についても検討した。
さらに,LLMの展開に関する倫理的考察に対処し,責任とマインドフルな応用の重要性を強調した。
現状のギャップを特定し,今後の研究方向性を示唆することにより,LLMの現状と今後の展望を包括的かつ批判的に概観する。
この研究は、人工知能の研究者や実践者のための洞察に富んだガイドとして機能し、LLMの強み、限界、将来の展望について統一された視点を提供する。
関連論文リスト
- Inverse Reinforcement Learning Meets Large Language Model Post-Training: Basics, Advances, and Opportunities [62.05713042908654]
本稿では,逆強化学習(IRL)のレンズによる大規模言語モデル(LLM)のアライメントの進歩について概観する。
我々は、人間のデータからニューラル報酬モデルを構築する必要性を強調し、このパラダイムシフトの形式的および実践的意味について議論する。
論文 参考訳（メタデータ） (2025-07-17T14:22:24Z) - LLM Inference Enhanced by External Knowledge: A Survey [16.319049759753106]
本研究では,外部知識を用いた大規模言語モデル(LLM)の強化戦略について検討する。
比較分析では、解釈可能性、スケーラビリティ、パフォーマンスのトレードオフを強調しています。
論文 参考訳（メタデータ） (2025-05-30T09:08:51Z) - LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。
ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
論文 参考訳（メタデータ） (2025-02-28T18:59:54Z) - Large Language Model for Qualitative Research -- A Systematic Mapping Study [3.302912592091359]
先進的な生成AIを駆使した大規模言語モデル(LLM)がトランスフォーメーションツールとして登場した。
本研究は, LLMを用いた定性的研究に関する文献を体系的にマッピングする。
LLMは様々な分野にまたがって利用されており、プロセスの自動化の可能性を示している。
論文 参考訳（メタデータ） (2024-11-18T21:28:00Z) - Automating Research Synthesis with Domain-Specific Large Language Model Fine-Tuning [0.9110413356918055]
本研究は,SLR(Systematic Literature Reviews)の自動化にLLM(Funture-Tuned Large Language Models)を用いた先駆的研究である。
本研究は,オープンソースLLMとともに最新の微調整手法を採用し,SLRプロセスの最終実行段階を自動化するための実用的で効率的な手法を実証した。
その結果, LLM応答の精度は高く, 既存のPRISMAコンフォーミングSLRの複製により検証された。
論文 参考訳（メタデータ） (2024-04-08T00:08:29Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳（メタデータ） (2023-07-24T17:44:58Z) - A Comprehensive Overview of Large Language Models [68.22178313875618]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。
本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文 参考訳（メタデータ） (2023-07-12T20:01:52Z) - Recommender Systems in the Era of Large Language Models (LLMs) [62.0129013439038]
大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の分野に革命をもたらした。
我々は, プレトレーニング, ファインチューニング, プロンプティングなどの様々な側面から, LLM を利用したレコメンデータシステムの総合的なレビューを行う。
論文 参考訳（メタデータ） (2023-07-05T06:03:40Z) - PRISMA-DFLLM: An Extension of PRISMA for Systematic Literature Reviews
using Domain-specific Finetuned Large Language Models [0.0]
本稿では,Large Language Models(LLMs)のパワーと,PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)の厳密な報告ガイドラインを組み合わせたAI対応方法論フレームワークを提案する。
厳密なSLRプロセスの結果として選択されたドメイン固有の学術論文にLCMを微調整することにより、提案するPRISMA-DFLLMレポートガイドラインは、より効率、再利用性、拡張性を達成する可能性を秘めている。
論文 参考訳（メタデータ） (2023-06-15T02:52:50Z) - A Survey on Large Language Models for Recommendation [77.91673633328148]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。
本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文 参考訳（メタデータ） (2023-05-31T13:51:26Z) - Information Extraction in Low-Resource Scenarios: Survey and Perspective [56.5556523013924]
情報抽出は構造化されていないテキストから構造化された情報を導き出そうとする。
本稿では,emphLLMおよびemphLLMに基づく低リソースIEに対するニューラルアプローチについて概説する。
論文 参考訳（メタデータ） (2022-02-16T13:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。