論文の概要: Grammatical Error Feedback: An Implicit Evaluation Approach

• arxiv url: http://arxiv.org/abs/2408.09565v1
• Date: Sun, 18 Aug 2024 18:31:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 18:14:03.999343
• Title: Grammatical Error Feedback: An Implicit Evaluation Approach
• Title（参考訳）: 文法的誤りフィードバック:帰納的評価アプローチ
• Authors: Stefano Bannò, Kate Knill, Mark J. F. Gales,
• Abstract要約: 文法的フィードバックは第二言語(L2)学習の統合に不可欠である。 コンピュータ支援言語学習におけるほとんどの研究は、文法的誤り訂正(GEC)システムによるフィードバックに焦点を当てている。 本稿では, ケンブリッジ大学コーパス・ラーナーのエッセイを用いて, GEC によるフィードバック生成の質と必要性, およびフィードバック生成システムについて検討する。
• 参考スコア（独自算出の注目度）: 32.98100553225724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grammatical feedback is crucial for consolidating second language (L2) learning. Most research in computer-assisted language learning has focused on feedback through grammatical error correction (GEC) systems, rather than examining more holistic feedback that may be more useful for learners. This holistic feedback will be referred to as grammatical error feedback (GEF). In this paper, we present a novel implicit evaluation approach to GEF that eliminates the need for manual feedback annotations. Our method adopts a grammatical lineup approach where the task is to pair feedback and essay representations from a set of possible alternatives. This matching process can be performed by appropriately prompting a large language model (LLM). An important aspect of this process, explored here, is the form of the lineup, i.e., the selection of foils. This paper exploits this framework to examine the quality and need for GEC to generate feedback, as well as the system used to generate feedback, using essays from the Cambridge Learner Corpus.
• Abstract（参考訳）: 文法的フィードバックは第二言語(L2)学習の統合に不可欠である。 コンピュータ支援言語学習におけるほとんどの研究は、学習者にとってより有用な総合的なフィードバックを調べるのではなく、文法的誤り訂正(GEC)システムによるフィードバックに焦点を当てている。 この総合的なフィードバックは、文法的エラーフィードバック(GEF)と呼ばれる。 本稿では,手動フィードバックアノテーションの必要性を解消する,新たな暗黙的評価手法を提案する。 提案手法では,一組の代替案からフィードバックとエッセイのペア化を行う。 このマッチング処理は、大言語モデル(LLM)を適切にプロンプトすることで行うことができる。 ここで探求されたこの過程の重要な側面は、ラインアップの形式、すなわちホイルの選択である。 本稿では,ケンブリッジ・ラーナー・コーパスのエッセイを用いて,フィードバック生成のためのGECの質と必要性,およびフィードバック生成システムについて検討する。

関連論文リスト

• Explanation based In-Context Demonstrations Retrieval for Multilingual Grammatical Error Correction [19.95974494301433]
  文法的誤り訂正(英: Grammatical error correction, GEC)は、自然言語テキストにおける文法的誤り、綴り、意味的誤りを補正することを目的としている。 自然言語文法的誤り説明(GEE)に基づく新しい検索手法を提案する。 提案手法は,テスト入力のGEEと事前構築したデータベースのサンプルとをマッチングすることにより,適切な小ショットのデモを検索する。
  論文  参考訳（メタデータ） (2025-02-12T15:41:43Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• Neural Automated Writing Evaluation with Corrective Feedback [4.0230668961961085]
  本稿では,修正フィードバックを用いた自動筆記評価システムを提案する。 このシステムにより、言語学習者はエッセイの執筆テストをシミュレートできる。 また、無数のエッセイを手作業で修正することの負担を軽減する。
  論文  参考訳（メタデータ） (2024-02-27T15:42:33Z)
• Towards End-to-End Spoken Grammatical Error Correction [33.116296120680296]
  Spoken grammatical error correct (GEC) は,L2学習者に対して,発話時の文法使用に対するフィードバックの提供を目的としている。 本稿では,音声認識基盤モデルであるWhisperを利用して,音声GECに対する「エンドツーエンド」アプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-09T17:49:02Z)
• Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
  本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。 我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。 このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-10T09:20:14Z)
• System-Level Natural Language Feedback [83.24259100437965]
  システムレベルの設計決定を人為的なループプロセスで形式化する上で,フィードバックの活用方法を示す。 検索クエリと対話応答生成を改善するために,本手法のケーススタディを2つ実施する。 システムレベルのフィードバックとインスタンスレベルのフィードバックの組み合わせは、さらなる利益をもたらします。
  論文  参考訳（メタデータ） (2023-06-23T16:21:40Z)
• Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation [68.9440575276396]
  この調査は、人間のフィードバックを利用して自然言語生成を改善した最近の研究の概要を提供することを目的としている。 まず、フィードバックの形式化を包括的に導入し、この形式化に続いて既存の分類学研究を特定・整理する。 第二に、フィードバックを形式や目的によってどのように記述するかを議論し、フィードバック(トレーニングやデコード)を直接使用したり、フィードバックモデルをトレーニングしたりするための2つのアプローチについて取り上げる。 第3に、AIフィードバックの生まれたばかりの分野の概要を紹介します。これは、大きな言語モデルを利用して、一連の原則に基づいて判断し、必要最小限にします。
  論文  参考訳（メタデータ） (2023-05-01T17:36:06Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。