論文の概要: On the application of Large Language Models for language teaching and assessment technology

• arxiv url: http://arxiv.org/abs/2307.08393v1
• Date: Mon, 17 Jul 2023 11:12:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 13:43:40.936551
• Title: On the application of Large Language Models for language teaching and assessment technology
• Title（参考訳）: 大規模言語モデルの言語教育・評価技術への応用について
• Authors: Andrew Caines, Luca Benedetto, Shiva Taslimipoor, Christopher Davis, Yuan Gao, Oeistein Andersen, Zheng Yuan, Mark Elliott, Russell Moore, Christopher Bryant, Marek Rei, Helen Yannakoudakis, Andrew Mullooly, Diane Nicholls, Paula Buttery
• Abstract要約: 我々は,AIによる言語教育とアセスメントシステムに大規模言語モデルを導入する可能性を検討する。 より大きな言語モデルは、テキスト生成における以前のモデルよりも改善されていることがわかった。 自動階調と文法的誤り訂正において、よく知られたベンチマークで進捗が確認されたタスクについては、初期の調査では、彼ら自身の大きな言語モデルが最先端の結果を改善していないことが示されている。
• 参考スコア（独自算出の注目度）: 18.735612275207853
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent release of very large language models such as PaLM and GPT-4 has made an unprecedented impact in the popular media and public consciousness, giving rise to a mixture of excitement and fear as to their capabilities and potential uses, and shining a light on natural language processing research which had not previously received so much attention. The developments offer great promise for education technology, and in this paper we look specifically at the potential for incorporating large language models in AI-driven language teaching and assessment systems. We consider several research areas and also discuss the risks and ethical considerations surrounding generative AI in education technology for language learners. Overall we find that larger language models offer improvements over previous models in text generation, opening up routes toward content generation which had not previously been plausible. For text generation they must be prompted carefully and their outputs may need to be reshaped before they are ready for use. For automated grading and grammatical error correction, tasks whose progress is checked on well-known benchmarks, early investigations indicate that large language models on their own do not improve on state-of-the-art results according to standard evaluation metrics. For grading it appears that linguistic features established in the literature should still be used for best performance, and for error correction it may be that the models can offer alternative feedback styles which are not measured sensitively with existing methods. In all cases, there is work to be done to experiment with the inclusion of large language models in education technology for language learners, in order to properly understand and report on their capacities and limitations, and to ensure that foreseeable risks such as misinformation and harmful bias are mitigated.
• Abstract（参考訳）: PaLM や GPT-4 のような最近の非常に大きな言語モデルのリリースは、大衆メディアや大衆の意識に前例のない影響を与え、その能力と潜在的な使用に関する興奮と恐怖の混合を引き起こし、これまであまり注目されていなかった自然言語処理の研究に光を当てている。 本稿では,aiを活用した言語教育・評価システムにおける大規模言語モデルの導入の可能性について考察する。 言語学習者のための教育技術における生成AIに関するリスクと倫理的考察についても検討する。 全体として、より大きな言語モデルはテキスト生成における以前のモデルよりも改善され、これまでは不可能だったコンテンツ生成へのルートが開かれる。 テキスト生成には、慎重に促さなければならないし、使用準備が整う前に出力を再形成する必要がある。 自動採点と文法的誤り訂正のために、よく知られたベンチマークで進捗をチェックするタスクについて、初期の調査は、標準評価メトリクスに従って、大言語モデル自体が最先端の結果を改善していないことを示している。 評価のためには、文学で確立された言語的特徴は、最高のパフォーマンスのためにも使われるべきであり、誤り訂正のためにモデルが既存の方法に敏感に測定されない代替フィードバックスタイルを提供することができるかもしれない。 いずれの場合も、言語学習者のための教育技術に大規模な言語モデルが組み込まれ、その能力や限界を適切に理解し報告し、誤情報や有害な偏見などの予測可能なリスクを緩和するためには、実験が必要である。

関連論文リスト

• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• We're Calling an Intervention: Exploring the Fundamental Hurdles in Adapting Language Models to Nonstandard Text [8.956635443376527]
  非標準テキストへの言語モデル適応の根底にある課題を理解するための一連の実験を提示する。 我々は、言語モデルの既存バイアスとの相互作用と、いくつかの種類の言語的変動を近似する介入を設計する。 学習データのサイズや性質の異なる言語モデル適応時の介入を適用することで、知識伝達がいつ成功するかについて重要な洞察を得ることができる。
  論文  参考訳（メタデータ） (2024-04-10T18:56:53Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• Language Model Behavior: A Comprehensive Survey [5.663056267168211]
  本稿では,タスク固有の微調整前における英語モデル行動に関する最近の250以上の研究について論じる。 モデルが数十億のパラメータにスケールするにつれて、生成テキストの品質は劇的に向上するが、モデルはまだ、非現実的な応答、常識的エラー、暗記されたテキスト、社会的偏見の傾向にある。
  論文  参考訳（メタデータ） (2023-03-20T23:54:26Z)
• Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
  我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。 我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。 そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
  論文  参考訳（メタデータ） (2023-02-06T10:28:16Z)
• Curriculum: A Broad-Coverage Benchmark for Linguistic Phenomena in Natural Language Understanding [1.827510863075184]
  Curriculumは広範囲言語現象の評価のためのNLIベンチマークの新しいフォーマットである。 この言語フェノメナ駆動型ベンチマークは、モデル行動の診断とモデル学習品質の検証に有効なツールであることを示す。
  論文  参考訳（メタデータ） (2022-04-13T10:32:03Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。