論文の概要: Once Upon a Time: Interactive Learning for Storytelling with Small Language Models

• arxiv url: http://arxiv.org/abs/2509.15714v1
• Date: Fri, 19 Sep 2025 07:45:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:11.058427
• Title: Once Upon a Time: Interactive Learning for Storytelling with Small Language Models
• Title（参考訳）: Once When a Time: 小規模言語モデルによるストーリーテリングのための対話型学習
• Authors: Jonas Mayer Martins, Ali Hamza Bashir, Muhammad Rehan Khalid, Lisa Beinborn,
• Abstract要約: 我々は,高レベルの認知的フィードバックから学習することで,少ないデータで言語モデルを訓練できるかどうかを検討する。 私たちは、教師モデルが読みやすさ、物語のコヒーレンス、創造性を評価するストーリーを生成するために、学生モデルを訓練します。 対話型学習において100万ワードのインプットしか持たず、ストーリーテリングのスキルは410万ワードの次単語予測と同等に向上する。
• 参考スコア（独自算出の注目度）: 1.8012666291588018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Children efficiently acquire language not just by listening, but by interacting with others in their social environment. Conversely, large language models are typically trained with next-word prediction on massive amounts of text. Motivated by this contrast, we investigate whether language models can be trained with less data by learning not only from next-word prediction but also from high-level, cognitively inspired feedback. We train a student model to generate stories, which a teacher model rates on readability, narrative coherence, and creativity. By varying the amount of pretraining before the feedback loop, we assess the impact of this interactive learning on formal and functional linguistic competence. We find that the high-level feedback is highly data efficient: With just 1 M words of input in interactive learning, storytelling skills can improve as much as with 410 M words of next-word prediction.
• Abstract（参考訳）: 子どもたちは、耳を傾けるだけでなく、社会的環境の中で他人と対話することによって、効率的に言語を習得する。 逆に、大きな言語モデルは典型的には大量のテキストの次の単語予測で訓練される。 これと対照的に,次世代の単語予測だけでなく,高レベルの認知的フィードバックから学習することで,より少ないデータで言語モデルを訓練できるかどうかを考察する。 私たちは、教師モデルが読みやすさ、物語のコヒーレンス、創造性を評価するストーリーを生成するために、学生モデルを訓練します。 フィードバックループの前に事前学習の量を変動させることで,この対話学習が形式的および機能的言語能力に与える影響を評価する。 対話型学習において100万ワードのインプットしか持たず、ストーリーテリングのスキルは410万ワードの次単語予測と同等に向上する。

関連論文リスト

• Towards Developmentally Plausible Rewards: Communicative Success as a Learning Signal for Interactive Language Models [49.22720751953838]
  本研究では,子どもの言語習得に触発された対話型環境で言語モデルを訓練する手法を提案する。 この設定では、話者は1ターンの対話でリスナーに何らかの情報を伝達しようと試み、コミュニケーションの成功が達成されれば報酬を受け取る。
  論文  参考訳（メタデータ） (2025-05-09T11:48:36Z)
• Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
  本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。 我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
  論文  参考訳（メタデータ） (2024-12-23T10:23:47Z)
• Babysit A Language Model From Scratch: Interactive Language Learning by Trials and Demonstrations [15.394018604836774]
  本稿では,学生の試行,教師のデモンストレーション,および様々な発達段階における言語能力に配慮した報酬という,3つの要素を取り入れたトライアル・アンド・デモレーション(TnD)学習フレームワークを提案する。 実験の結果,TnD手法は,等数あるいは少人数の学生モデルの単語獲得を促進させ,試行錯誤と実演の両方の重要性を強調した。 この結果から,対話型言語学習は,教師による実演や積極的試行によって,言語モデルにおける効率的な単語学習を促進することが示唆された。
  論文  参考訳（メタデータ） (2024-05-22T16:57:02Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Characterizing Learning Curves During Language Model Pre-Training: Learning, Forgetting, and Stability [25.52470575274251]
  より長く一貫性のあるテキストを生成するために学習する前に、言語モデルが短い反復句を生成するのを観察する。 個々のトークンは、トレーニング前のランニングで驚くほど一貫性のある、突然の増減または損失の減少を示すことが多い。 より頻繁なトークンは最終段階の低い値に到達し、事前トレーニング実行中の変動が少なく、早期に学習され、事前トレーニング中に「忘れられる」可能性が低い。
  論文  参考訳（メタデータ） (2023-08-29T16:24:09Z)
• Can Language Models Learn to Listen? [96.01685069483025]
  本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。 提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。 生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:59:02Z)
• What Artificial Neural Networks Can Tell Us About Human Language Acquisition [47.761188531404066]
  自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
  論文  参考訳（メタデータ） (2022-08-17T00:12:37Z)
• Word Acquisition in Neural Language Models [0.38073142980733]
  ニューラルネットワークモデルは,学習中に個々の単語を習得し,学習曲線を抽出し,600以上の単語の獲得年齢を推定する。 子どもや言語モデルでは, 具体性, 単語長, 語彙クラスの影響が顕著に異なることがわかった。
  論文  参考訳（メタデータ） (2021-10-05T23:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。