論文の概要: Turning Language Model Training from Black Box into a Sandbox

• arxiv url: http://arxiv.org/abs/2601.21631v1
• Date: Thu, 29 Jan 2026 12:30:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.811499
• Title: Turning Language Model Training from Black Box into a Sandbox
• Title（参考訳）: ブラックボックスからサンドボックスへの言語モデルトレーニング
• Authors: Nicolas Pope, Matti Tedre,
• Abstract要約: ブラウザベースのツールは、生徒が自分のデバイスで小さなトランスフォーマー言語モデルを訓練できる。 CS1コースでは、162人の学生が、なぜ言語モデルが間違った、あるいは奇妙なアウトプットを生み出すのか、事前およびテスト後の説明を完了した。
• 参考スコア（独自算出の注目度）: 2.8821062918162146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most classroom engagements with generative AI focus on prompting pre-trained models, leaving the role of training data and model mechanics opaque. We developed a browser-based tool that allows students to train a small transformer language model entirely on their own device, making the training process visible. In a CS1 course, 162 students completed pre- and post-test explanations of why language models sometimes produce incorrect or strange output. After a brief hands-on training activity, students' explanations shifted significantly from anthropomorphic and misconceived accounts toward data- and model-based reasoning. The results suggest that enabling learners to directly observe training can support conceptual understanding of the data-driven nature of language models and model training, even within a short intervention. For K-12 AI literacy and AI education research, the study findings suggest that enabling students to train - and not only prompt - language models can shift how they think about AI.
• Abstract（参考訳）: 生成AIとのほとんどの教室での関わりは、事前訓練されたモデルの促進に焦点を当てており、トレーニングデータとモデルメカニックの不透明な役割を残している。 私たちはブラウザベースのツールを開発し、学生が自身のデバイス上で小さなトランスフォーマー言語モデルをトレーニングできるようにし、トレーニングプロセスを可視化した。 CS1コースでは、162人の学生が、なぜ言語モデルが間違った、あるいは奇妙なアウトプットを生み出すのか、事前およびテスト後の説明を完了した。 短時間のハンズオントレーニングの後、学生の説明は人為的・誤解されたアカウントからデータとモデルに基づく推論へと大きく移行した。 その結果,学習者が直接訓練を観察できることは,短時間の介入においても,言語モデルやモデル訓練の持つデータ駆動性の概念的理解を支援することが示唆された。 K-12 AIリテラシーとAI教育の研究において、この研究結果は、学生がAIに対する考え方を変えることができることを示唆している。

関連論文リスト

• Can training neural language models on a curriculum with developmentally plausible data improve alignment with human reading behavior? [0.2745342790938508]
  本稿では,より発達的に妥当なデータを用いたモデル学習により,経験的行動とモデル予測行動の相違が最小化できる範囲について検討する。 我々は,BabyLMの「限定小」データセットを用いて教師言語モデルを訓練し,これらの教師モデルからの文レベル推定を用いてカリキュラムの作成を行った。 モデルが学習データから言語知識を習得し易いという仮の証拠が得られた。
  論文  参考訳（メタデータ） (2023-11-30T18:03:58Z)
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control [140.48218261864153]
  本研究では,インターネット規模のデータに基づいて学習した視覚言語モデルを,エンドツーエンドのロボット制御に直接組み込む方法について検討する。 提案手法は,インターネット規模のトレーニングから,RT-2による創発的能力の獲得を可能にした。
  論文  参考訳（メタデータ） (2023-07-28T21:18:02Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• What do Large Language Models Learn beyond Language? [10.9650651784511]
  事前学習モデルは、非事前学習ニューラルモデルに匹敵する性能を著しく上回っていることがわかった。 実験により、多言語テキストやコンピュータコードで事前学習しても、事前学習の効果が持続することが明らかとなった。 その結果,言語モデルの事前学習能力と帰納学習能力との間には,未解明の深い関係があることが示唆された。
  論文  参考訳（メタデータ） (2022-10-21T23:43:13Z)
• Language Model-Based Paired Variational Autoencoders for Robotic Language Learning [18.851256771007748]
  人間の幼児と同様、人工エージェントは環境と対話しながら言語を学ぶことができる。 本稿では,ロボットの動作と言語記述を双方向に結合するニューラルモデルを提案する。 次に, PVAE-BERTを導入し, 事前訓練された大規模言語モデルとモデルを同調する。
  論文  参考訳（メタデータ） (2022-01-17T10:05:26Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
  知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。 これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
  論文  参考訳（メタデータ） (2021-10-01T08:51:58Z)
• Pretrained Language Model Embryology: The Birth of ALBERT [68.5801642674541]
  ランダムなパラメータの集合からトチエント言語モデルへの発達過程について検討する。 その結果、ALBERTは、事前学習中に異なる学習速度で、音声の異なる部分(POS)のトークンを再構成し、予測することを学習していることがわかった。 これらの結果は、事前訓練されたモデルの知識が事前訓練の間に異なることを示唆し、事前訓練のステップを持つことは、必ずしもより包括的な知識を持つモデルを提供するとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2020-10-06T05:15:39Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。