論文の概要: TF1-EN-3M: Three Million Synthetic Moral Fables for Training Small, Open Language Models

• arxiv url: http://arxiv.org/abs/2504.20605v1
• Date: Tue, 29 Apr 2025 10:15:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.841619
• Title: TF1-EN-3M: Three Million Synthetic Moral Fables for Training Small, Open Language Models
• Title（参考訳）: TF1-EN-3M:小さなオープン言語モデルをトレーニングするための300万の合成モラルファブ
• Authors: Mihai Nadas, Laura Diosan, Andrei Piscoran, Andreea Tomescu,
• Abstract要約: TF1-EN-3Mは、8Bパラメータ未満の命令調整されたモデルによってのみ生成される300万の英語のファブルの最初のオープンデータセットである。 データセット、生成コード、評価スクリプト、および完全なメタデータをライセンス下でリリースします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Moral stories are a time-tested vehicle for transmitting values, yet modern NLP lacks a large, structured corpus that couples coherent narratives with explicit ethical lessons. We close this gap with TF1-EN-3M, the first open dataset of three million English-language fables generated exclusively by instruction-tuned models no larger than 8B parameters. Each story follows a six-slot scaffold (character -> trait -> setting -> conflict -> resolution -> moral), produced through a combinatorial prompt engine that guarantees genre fidelity while covering a broad thematic space. A hybrid evaluation pipeline blends (i) a GPT-based critic that scores grammar, creativity, moral clarity, and template adherence with (ii) reference-free diversity and readability metrics. Among ten open-weight candidates, an 8B-parameter Llama-3 variant delivers the best quality-speed trade-off, producing high-scoring fables on a single consumer GPU (<24 GB VRAM) at approximately 13.5 cents per 1,000 fables. We release the dataset, generation code, evaluation scripts, and full metadata under a permissive license, enabling exact reproducibility and cost benchmarking. TF1-EN-3M opens avenues for research in instruction following, narrative intelligence, value alignment, and child-friendly educational AI, demonstrating that large-scale moral storytelling no longer requires proprietary giant models.
• Abstract（参考訳）: 道徳的物語は価値を伝達するためのタイムテストされた手段であるが、現代のNLPには、厳密な物語と明確な倫理的教訓を結合する大きな構造化されたコーパスが欠けている。 私たちはTF1-EN-3Mでこのギャップを埋める。TF1-EN-3Mは、8Bパラメータ以上の命令調整されたモデルによってのみ生成される300万の英語のfableの最初のオープンデータセットである。 各ストーリーは6スロットの足場(特性 ->特徴 ->設定 ->コンフリクト ->解決 ->モラル ->モラル)に従い、広いテーマ空間をカバーしながらジャンルの忠実さを保証する組合せプロンプトエンジンによって生成される。 ハイブリッド評価パイプラインブレンド 一 文法、創造性、道徳的明快さ、及びテンプレートの固執を採点するGPTベースの批評家 (II)参照不要の多様性と可読性指標。 オープンウェイト候補10のうち、8BパラメーターのLlama-3は最高品質のトレードオフを提供し、1,000個のファブルに対して約13.5セントの1つのコンシューマGPU (<24 GB VRAM) でハイスコアのファブルを生成する。 データセット、生成コード、評価スクリプト、完全なメタデータをパーミッシブライセンスでリリースし、正確な再現性とコストベンチマークを可能にします。 TF1-EN-3Mは、インテリジェンス、ストーリーインテリジェンス、バリューアライメント、子供に親しみやすい教育AIといった、プロプライエタリな巨大モデルを必要としない大規模モラルストーリーテリングの研究の道を開く。

関連論文リスト

• M$^3$oralBench: A MultiModal Moral Benchmark for LVLMs [66.78407469042642]
  LVLMのための最初のMultiModal Moral BenchmarkであるM$3$oralBenchを紹介する。 M$3$oralBench は Moral Foundations Vignettes (MFVs) の日常的なモラルシナリオを拡張し、テキストから画像への拡散モデル SD3.0 を用いて対応するシナリオイメージを作成する。 道徳基礎理論(MFT)の6つの道徳的基礎にまたがって道徳的評価を行い、道徳的判断、道徳的分類、道徳的対応の課題を含む。
  論文  参考訳（メタデータ） (2024-12-30T05:18:55Z)
• Unlocking the Potential of Multiple BERT Models for Bangla Question Answering in NCTB Textbooks [0.0]
  教育環境におけるテキスト理解の評価は,学生のパフォーマンスの理解とカリキュラムの有効性の向上に不可欠である。 本研究では,国立カリキュラム・テキストブックボード(NCTB)の授業6-10用教科書から,Bangla節に基づく質問応答を自動的に評価する,最先端の言語モデルであるRoBERTa Base,Bangla-BERT,BERT Base-inの能力について検討した。
  論文  参考訳（メタデータ） (2024-12-24T13:59:23Z)
• Towards Effective and Efficient Continual Pre-training of Large Language Models [163.34610964970258]
  CPT(Continuous pre-training)は、特定のドメインやタスクに言語モデルを適用する上で重要なアプローチである。 本稿では,Llama-3 (8B) の継続事前訓練に関する技術的報告を報告する。 バックボーンモデルの中国語能力と科学的推論能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-26T13:55:21Z)
• Stable Code Technical Report [7.303784606231683]
  安定コード(Stable Code)は、コード補完、推論、数学、その他のソフトウェア工学ベースのタスクをターゲットにした汎用のベースコード言語モデルである。 安定的なコードインストラクションは、質問応答と命令ベースのタスクを実行するために、自然なチャットインターフェースでモデルと会話することを可能にする。
  論文  参考訳（メタデータ） (2024-04-01T16:39:36Z)
• Textbooks Are All You Need II: phi-1.5 technical report [55.6940110946465]
  我々は、新しい13億のパラメータモデル textbfphi-1.5を作成し、5倍のモデルに匹敵する自然言語タスクのパフォーマンスを実現した。 textbfphi-1.5はより大きな言語モデルの特徴の多くを示している。 我々はこれらの緊急トピックに関するさらなる研究を促進するために textbfphi-1.5 をオープンソース化した。
  論文  参考訳（メタデータ） (2023-09-11T14:01:45Z)
• The False Promise of Imitating Proprietary LLMs [158.65692029352584]
  より弱い言語モデルを安価に改善するための新しい方法は、より強力なモデルからの出力に対してそれを微調整することである。 このアプローチは、より弱いオープンソースモデルを使用して、プロプライエタリなモデルの機能を安価に模倣することを目指している。 まず、様々なベースモデルサイズを用いてChatGPTを模倣する一連のLMを微調整する。 次に、群衆レーダと標準NLPベンチマークを用いてモデルを評価する。
  論文  参考訳（メタデータ） (2023-05-25T05:00:12Z)
• TinyStories: How Small Can Language Models Be and Still Speak Coherent English? [37.65216279977461]
  言語モデル(LM)は、小さくて一貫性があり、流動的なテキストを生成するのに苦労することが多い。 TinyStoriesを紹介します。これは、典型的な3～4歳の人が通常理解している単語のみを含む短いストーリーのデータセットです。 我々はTinyStoriesを用いて,最先端モデルよりもはるかに小さいLMをトレーニングし,評価することができることを示す。
  論文  参考訳（メタデータ） (2023-05-12T20:56:48Z)
• The Next Chapter: A Study of Large Language Models in Storytelling [51.338324023617034]
  大規模言語モデル(LLM)を用いたプロンプトベース学習の適用は,自然言語処理(NLP)タスクにおいて顕著な性能を示した。 本稿では,LLMのストーリー生成能力と最近のモデルを比較するために,自動評価と人的評価の両方を利用した総合的な調査を行う。 その結果、LLMは他のストーリー生成モデルと比較して、非常に高い品質のストーリーを生成することがわかった。
  論文  参考訳（メタデータ） (2023-01-24T02:44:02Z)
• Contrastive Decoding: Open-ended Text Generation as Optimization [153.35961722855686]
  信頼性の高い復号法であるコントラスト復号法(CD)を提案する。 これは、より大きなLMの故障がより小さなLMでさらに多いという事実に着想を得たものである。 CDは追加のトレーニングを一切必要とせず、より大きなLMからの復号化よりも高品質なテキストを生成する。
  論文  参考訳（メタデータ） (2022-10-27T00:58:21Z)
• PSP: Pre-trained Soft Prompts for Few-Shot Abstractive Summarization [18.698740243997953]
  我々は,数ショットの抽象的な要約をサポートするために,新しいソフトプロンプトアーキテクチャを開発した。 文書レベルの情報をキャプチャするために、テキストに新しいインナープロンプトを配置する。 パラメータの0.1%しか持たない本手法は、全てのモデルパラメータがチューニングされるフルモデルチューニングよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-09T07:40:52Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。