論文の概要: Chain-of-MetaWriting: Linguistic and Textual Analysis of How Small Language Models Write Young Students Texts

• arxiv url: http://arxiv.org/abs/2412.14986v1
• Date: Thu, 19 Dec 2024 15:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:31:56.597520
• Title: Chain-of-MetaWriting: Linguistic and Textual Analysis of How Small Language Models Write Young Students Texts
• Title（参考訳）: 文字の連鎖:小言語モデルが若者の文章をいかに書くかの言語学的およびテクスチュアルな分析
• Authors: Ioana Buhnila, Georgeta Cislaru, Amalia Todirascu,
• Abstract要約: 本稿では,多言語小言語モデル(SLM)の詳細な言語的およびテキスト的分析について紹介する。 主に、小学生と大学生のフランス語による短編とエッセイの執筆に焦点をあてた。
• 参考スコア（独自算出の注目度）: 0.8192907805418583
• License:
• Abstract: Large Language Models (LLMs) have been used to generate texts in response to different writing tasks: reports, essays, story telling. However, language models do not have a meta-representation of the text writing process, nor inherent communication learning needs, comparable to those of young human students. This paper introduces a fine-grained linguistic and textual analysis of multilingual Small Language Models' (SLMs) writing. With our method, Chain-of-MetaWriting, SLMs can imitate some steps of the human writing process, such as planning and evaluation. We mainly focused on short story and essay writing tasks in French for schoolchildren and undergraduate students respectively. Our results show that SLMs encounter difficulties in assisting young students on sensitive topics such as violence in the schoolyard, and they sometimes use words too complex for the target audience. In particular, the output is quite different from the human produced texts in term of text cohesion and coherence regarding temporal connectors, topic progression, reference.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、レポート、エッセイ、物語の語り方など、さまざまな記述タスクに対応するテキストを生成するために使われてきた。 しかし、言語モデルには、テキスト記述プロセスのメタ表現や、若い人間の学生に匹敵する固有のコミュニケーション学習のニーズは存在しない。 本稿では,多言語小言語モデル(SLM)の詳細な言語的およびテキスト的分析について紹介する。 提案手法により,SLMは,計画や評価など,人間の記述過程のいくつかのステップを模倣することができる。 主に、小学生と大学生のフランス語による短編とエッセイの執筆に焦点をあてた。 以上の結果から,SLMは校庭における暴力などのセンシティブな話題において,若年者の支援に苦慮していることが明らかとなった。 特に、その出力は、時間的接続、話題の進行、参照に関するテキストの凝集と一貫性の観点から、人為的なテキストとは全く異なる。

関連論文リスト

• Visually Grounded Language Learning: a review of language games, datasets, tasks, and models [60.2604624857992]
  多くのVision+Language (V+L)タスクは、視覚的モダリティでシンボルをグラウンドできるモデルを作成することを目的として定義されている。 本稿では,V+L分野において提案されるいくつかの課題とモデルについて,系統的な文献レビューを行う。
  論文  参考訳（メタデータ） (2023-12-05T02:17:29Z)
• Toward Joint Language Modeling for Speech Units and Text [89.32163954508489]
  音声単位とテキストの共用言語モデリングについて検討する。 音声とテキストの混在度を評価するための自動計測手法を提案する。 提案手法を用いて音声単位とテキストを混合することにより,SLUタスクにおける音声のみのベースラインを改良することを示す。
  論文  参考訳（メタデータ） (2023-10-12T20:53:39Z)
• Teach LLMs to Personalize -- An Approach inspired by Writing Education [37.198598706659524]
  大規模言語モデル(LLM)を用いたパーソナライズされたテキスト生成のための汎用的アプローチを提案する。 書字教育の実践に触発されて、パーソナライズされた世代にLLMを教えるためのマルチステージ・マルチタスク・フレームワークを開発した。
  論文  参考訳（メタデータ） (2023-08-15T18:06:23Z)
• TinyStories: How Small Can Language Models Be and Still Speak Coherent English? [37.65216279977461]
  言語モデル(LM)は、小さくて一貫性があり、流動的なテキストを生成するのに苦労することが多い。 TinyStoriesを紹介します。これは、典型的な3～4歳の人が通常理解している単語のみを含む短いストーリーのデータセットです。 我々はTinyStoriesを用いて,最先端モデルよりもはるかに小さいLMをトレーニングし,評価することができることを示す。
  論文  参考訳（メタデータ） (2023-05-12T20:56:48Z)
• MOCHA: A Multi-Task Training Approach for Coherent Text Generation from Cognitive Perspective [22.69509556890676]
  本稿では,文章の認知理論に基づくコヒーレントテキスト生成のための新しいマルチタスク学習戦略を提案する。 我々は,物語生成,ニュース記事作成,議論生成という3つのオープンエンド世代タスクに対して,我々のモデルを広範囲に評価する。
  論文  参考訳（メタデータ） (2022-10-26T11:55:41Z)
• SCROLLS: Standardized CompaRison Over Long Language Sequences [62.574959194373264]
  SCROLLSは長いテキストに対する推論を必要とするタスクのスイートである。 SCROLLSには要約、質問応答、自然言語推論タスクが含まれる。 すべてのデータセットを統一されたテキスト・ツー・テキスト形式で利用可能にし、モデルアーキテクチャと事前学習方法の研究を容易にするために、ライブのリーダーボードをホストします。
  論文  参考訳（メタデータ） (2022-01-10T18:47:15Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Pretrained Language Models for Text Generation: A Survey [46.03096493973206]
  本稿では、テキスト生成のための事前学習言語モデル(PLM)のトピックにおいて達成された大きな進歩について概説する。 我々は、既存のPLMを異なる入力データに適応させ、生成したテキストの特別な特性を満たす方法について論じる。
  論文  参考訳（メタデータ） (2021-05-21T12:27:44Z)
• Positioning yourself in the maze of Neural Text Generation: A Task-Agnostic Survey [54.34370423151014]
  本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。 本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
  論文  参考訳（メタデータ） (2020-10-14T17:54:42Z)
• Enabling Language Models to Fill in the Blanks [81.59381915581892]
  文書中の任意の位置にあるテキストの欠落を予測するタスクである,テキストを埋め込むためのシンプルなアプローチを提案する。 我々は、人工的にマスキングされたテキストと隠蔽されたテキストの連結を含むシーケンスに基づいて、オフザシェルフ言語モデル(またはファインチューン)を訓練する。 言語モデリングにより,この手法により,3つの分野(短編,科学的な要約,歌詞)において,LMが文全体を効果的に埋め込むことができることを示す。
  論文  参考訳（メタデータ） (2020-05-11T18:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。