論文の概要: Large Language Models: A Plain-Language Overview for Engineers

• arxiv url: http://arxiv.org/abs/2610.34585v1
• Date: Sun, 25 Oct 2026 21:30:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.641011
• Title: Large Language Models: A Plain-Language Overview for Engineers
• Title（参考訳）: 大規模言語モデル: エンジニアのための平凡な概要
• Abstract要約: 大きな言語モデル(LLM)は、巨大なテキストコレクションに基づいてトレーニングされたニューラルネットワークで、次に何が起こるかを予測することによってテキストを生成する。 ChatGPTやその他の生成人工知能(AI)ツールを使用するエンジニアは、トレーニングの変更とプロンプトの追加を明確に示す必要がある。 この記事は、コンテキスト内の単語を接続するTransformerと、モデルがテキストを予測することを学ぶ事前トレーニングから始まる。 そして、細調整がリクエストにモデルを適応させる方法を説明し、人間の回答ランキングを使って人間のフィードバックから強化学習を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are neural networks trained on huge text collections to generate text by predicting what comes next. Engineers using ChatGPT and other generative artificial intelligence (AI) tools need a clear picture of what training changes and prompts add. The article starts with the Transformer, which connects words in context, and pre-training, where models learn to predict text. It then explains how fine-tuning adapts models to requests, with reinforcement learning from human feedback using human answer rankings. Next, retrieval-augmented generation (RAG) supplies documents, while chain-of-thought prompting encourages intermediate steps and agents use tools. FlashAttention lowers training and running costs by reducing data movement during attention; quantized low-rank adaptation (QLoRA) saves fine-tuning memory. Readers get a life cycle figure and tables comparing methods and their limits. A short checklist for judging LLM evaluation claims flags test material in training (data contamination) and model-based grading (LLM-as-a-judge). It also covers very long inputs (long context) and hallucination, meaning false or unsupported claims. Check factual accuracy separately from whether an answer sounds helpful.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、巨大なテキストコレクションに基づいてトレーニングされたニューラルネットワークで、次に何が起こるかを予測することによってテキストを生成する。 ChatGPTやその他の生成人工知能(AI)ツールを使用するエンジニアは、トレーニングの変更とプロンプトの追加を明確に示す必要がある。 この記事は、コンテキスト内の単語を接続するTransformerと、モデルがテキストを予測することを学ぶ事前トレーニングから始まる。 そして、細調整がリクエストにモデルを適応させる方法を説明し、人間の回答ランキングを使って人間のフィードバックから強化学習を行う。 次に、検索強化世代(RAG)は文書を供給し、チェーン・オブ・シークレットは中間ステップを奨励し、エージェントはツールを使用する。 FlashAttentionは、注意中のデータ移動を減らすことで、トレーニングと実行コストを下げる。 読者は、メソッドとその制限を比較するライフサイクル図とテーブルを取得する。 LLM評価のための短いチェックリストでは、トレーニング(データ汚染)およびモデルベースグレーディング(LLM-as-a-judge)において、フラグが試験材料を判断する。 また、非常に長い入力(長い文脈)と幻覚をカバーしており、これは偽りの、またはサポートされていないクレームを意味する。 答えが役に立つかどうかから、事実の精度を別々に確認する。

関連論文リスト

• FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale [56.03294218908334]
  大規模言語モデル(LLM)は通常、自己監督型の"次の単語を予測する"目的を通じて事前訓練される。 モデルをユーザにとって有用なものにするために、命令と応答の教師付きトレーニング例からなる、はるかに少ない量の「インストラクションチューニング」データに基づいて、さらに訓練されている。 本稿では,インターネット規模の事前学習文書の知識を,数十億の合成指導と解答訓練ペアに変換する手法を提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:58:47Z)
• SCOPE: A Self-supervised Framework for Improving Faithfulness in Conditional Text Generation [55.61004653386632]
  LLM(Large Language Models)は、しばしば幻覚(幻覚)を生成する。 本稿では,不信なサンプルのトレーニングセットを生成するための,新たな自己指導手法を提案する。 そしてトレーニングプロセスを使ってモデルを洗練し、不信なものよりも基礎的なアウトプットの生成を奨励します。
  論文  参考訳（メタデータ） (2025-02-19T12:31:58Z)
• Text to Band Gap: Pre-trained Language Models as Encoders for Semiconductor Band Gap Prediction [9.325818199739759]
  本稿では,半導体材料のバンドギャップを予測するために,RoBERTa,T5,Llama-3,MatSciBERTなどのトランスフォーマーベース言語モデルについて検討する。 入力は、化学組成、結晶系、空間群、その他の構造的および電子的性質などの重要な材料特性を符号化する。
  論文  参考訳（メタデータ） (2025-01-07T00:56:26Z)
• Technical Report on the Pangram AI-Generated Text Classifier [0.14732811715354457]
  トランスフォーマーをベースとしたニューラルネットワークであるPangram Textについて紹介する。 パングラムテキストは英語以外の話者に偏りがなく、訓練中に見つからないドメインやモデルに一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-02-21T17:13:41Z)
• Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
  生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。 自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。 本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:46:02Z)
• Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval [51.437420003471615]
  本稿では,検索拡張LMをゼロから共同で訓練するためのアーキテクチャおよび訓練手順であるRetrieval-Pretrained Transformer (RPT)を提案する。 RPTは検索品質を向上し、強いベースラインに比べてボード全体の難易度を向上する。
  論文  参考訳（メタデータ） (2023-06-23T10:18:02Z)
• From Universal Language Model to Downstream Task: Improving RoBERTa-Based Vietnamese Hate Speech Detection [8.602181445598776]
  汎用のRoBERTa言語モデルを特定のテキスト分類タスクであるベトナムのヘイト音声検出に適応させるパイプラインを提案する。 実験の結果,提案パイプラインの性能が著しく向上し,0.7221 f1のベトナム人ヘイトスピーチ検出キャンペーンが達成された。
  論文  参考訳（メタデータ） (2021-02-24T09:30:55Z)
• Generating Human Readable Transcript for Automatic Speech Recognition with Pre-trained Language Model [18.26945997660616]
  多くの下流のタスクと人間の読者は、ASRシステムの出力に依存しています。 本稿では,不正かつノイズの多いASR出力を可読テキストに変換することを目的としたASR後処理モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-22T15:45:50Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。