論文の概要: Automated Text Scoring in the Age of Generative AI for the GPU-poor

• arxiv url: http://arxiv.org/abs/2407.01873v1
• Date: Tue, 2 Jul 2024 01:17:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 17:13:22.466460
• Title: Automated Text Scoring in the Age of Generative AI for the GPU-poor
• Title（参考訳）: GPU-poorのための生成AI時代におけるテキストスコーリングの自動化
• Authors: Christopher Michael Ormerod, Alexander Kwako,
• Abstract要約: 自動テキストスコアリングのためのオープンソースの小規模生成言語モデルの性能と効率を解析する。 以上の結果から, GLMは, 最先端の高性能化には至らず, 適正な調整が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 49.1574468325115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current research on generative language models (GLMs) for automated text scoring (ATS) has focused almost exclusively on querying proprietary models via Application Programming Interfaces (APIs). Yet such practices raise issues around transparency and security, and these methods offer little in the way of efficiency or customizability. With the recent proliferation of smaller, open-source models, there is the option to explore GLMs with computers equipped with modest, consumer-grade hardware, that is, for the "GPU poor." In this study, we analyze the performance and efficiency of open-source, small-scale GLMs for ATS. Results show that GLMs can be fine-tuned to achieve adequate, though not state-of-the-art, performance. In addition to ATS, we take small steps towards analyzing models' capacity for generating feedback by prompting GLMs to explain their scores. Model-generated feedback shows promise, but requires more rigorous evaluation focused on targeted use cases.
• Abstract（参考訳）: 自動テキストスコアリング(ATS)のためのジェネレーティブ言語モデル(GLM)に関する現在の研究は、アプリケーションプログラミングインタフェース(API)を介してプロプライエタリなモデルをクエリすることに集中しています。 しかし、このようなプラクティスは透明性とセキュリティに関する問題を引き起こし、これらの手法は効率性やカスタマイズ性にはほとんど影響を与えない。 近年、より小型のオープンソースモデルの普及に伴い、"GPU貧弱者"のために、控えめな、コンシューマグレードのハードウェアを備えたコンピュータでGLMを探索する選択肢がある。 本研究では,ATS 用オープンソース小型 GLM の性能と効率について検討した。 以上の結果から, GLMは, 最先端の高性能化には至らず, 適正な調整が可能であることが示唆された。 ATSに加えて、GLMにスコアの説明を促すことで、モデルがフィードバックを生成する能力を分析するための小さな一歩を踏み出した。 モデル生成によるフィードバックは、将来性を示しているが、ターゲットとするユースケースに焦点を当てた厳密な評価が必要である。

関連論文リスト

• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• EasyJudge: an Easy-to-use Tool for Comprehensive Response Evaluation of LLMs [6.179084469089114]
  本稿では,重要な言語モデル応答を評価するために開発された EasyJudge を提案する。 軽量で、正確で、効率的で、ユーザフレンドリで、デプロイや使用が容易な、直感的な視覚化インターフェースを備えている。
  論文  参考訳（メタデータ） (2024-10-13T08:24:12Z)
• Honest AI: Fine-Tuning "Small" Language Models to Say "I Don't Know", and Reducing Hallucination in RAG [6.326488286636623]
  幻覚は、Large Language Models (LLM) の応用における重要な障害である 私たちは、幻覚を減らすために「私は知らない」と言うために「小さな」言語モデルを微調整する新しい戦略であるHonest AIを提案する。
  論文  参考訳（メタデータ） (2024-10-13T02:34:47Z)
• Auto-GDA: Automatic Domain Adaptation for Efficient Grounding Verification in Retrieval Augmented Generation [13.120801609024147]
  検索拡張生成(RAG)は,大規模言語モデル(LLM)出力の現実性を高めることが示されている。 RAG入力は、NLIモデルのトレーニングに使用されるほとんどのデータセットよりも複雑である。 教師なしドメイン適応を実現するために自動生成ドメイン適応(Auto-GDA)を導入する。
  論文  参考訳（メタデータ） (2024-10-04T14:21:27Z)
• Investigating Automatic Scoring and Feedback using Large Language Models [46.1232919707345]
  本稿では,PEFTに基づく量子化モデルの有効性について検討する。 その結果, 微調整LDMによる評価は精度が高く, 平均的に3%未満の誤差が得られた。
  論文  参考訳（メタデータ） (2024-05-01T16:13:54Z)
• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)
• A Comprehensive Performance Study of Large Language Models on Novel AI Accelerators [2.88634411143577]
  大規模言語モデル(LLM)は、いくつかの課題に対処するための有望なアプローチと考えられている。 専門のAIアクセラレータハードウェアシステムは、最近、AIアプリケーションの高速化に利用できるようになった。
  論文  参考訳（メタデータ） (2023-10-06T21:55:57Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。