論文の概要: EXPATS: A Toolkit for Explainable Automated Text Scoring
- arxiv url: http://arxiv.org/abs/2104.03364v1
- Date: Wed, 7 Apr 2021 19:29:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-09 13:12:56.714217
- Title: EXPATS: A Toolkit for Explainable Automated Text Scoring
- Title(参考訳): EXPATS: 説明可能な自動テキストスコーリングのためのツールキット
- Authors: Hitoshi Manabe, Masato Hagiwara
- Abstract要約: ユーザが様々なATSモデルを迅速に開発、実験できるオープンソースフレームワークであるEXPATSについて紹介する。
また、このツールキットはLanguage Interpretability Tool(LIT)とシームレスに統合できるため、モデルとその予測を解釈および視覚化できます。
- 参考スコア(独自算出の注目度): 2.299617836036273
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated text scoring (ATS) tasks, such as automated essay scoring and
readability assessment, are important educational applications of natural
language processing. Due to their interpretability of models and predictions,
traditional machine learning (ML) algorithms based on handcrafted features are
still in wide use for ATS tasks. Practitioners often need to experiment with a
variety of models (including deep and traditional ML ones), features, and
training objectives (regression and classification), although modern deep
learning frameworks such as PyTorch require deep ML expertise to fully utilize.
In this paper, we present EXPATS, an open-source framework to allow its users
to develop and experiment with different ATS models quickly by offering
flexible components, an easy-to-use configuration system, and the command-line
interface. The toolkit also provides seamless integration with the Language
Interpretability Tool (LIT) so that one can interpret and visualize models and
their predictions. We also describe two case studies where we build ATS models
quickly with minimal engineering efforts. The toolkit is available at
\url{https://github.com/octanove/expats}.
- Abstract(参考訳): 自動エッセイ評価や可読性評価などの自動テキストスコアリング(ATS)タスクは、自然言語処理の重要な教育的応用である。
モデルと予測の解釈可能性のため、手作り機能に基づく従来の機械学習(ML)アルゴリズムはまだATSタスクに広く使われている。
PyTorchのような現代的なディープラーニングフレームワークは、MLの専門知識を十分に活用するためには、さまざまなモデル(ディープラーニングや従来のMLのものを含む)、機能、トレーニング目標(回帰と分類)を試す必要があることが多い。
本稿では、フレキシブルなコンポーネント、使い易い構成システム、コマンドラインインターフェースを提供することで、ユーザが様々なATSモデルを開発し、迅速に実験できるオープンソースフレームワークEXPATSを提案する。
また、ツールキットはLanguage Interpretability Tool(LIT)とシームレスに統合することで、モデルとその予測を解釈し視覚化することができる。
また,atsモデルを最小限のエンジニアリング努力で迅速に構築する2つのケーススタディについて述べる。
ツールキットは \url{https://github.com/octanove/expats} で入手できる。
関連論文リスト
- A Survey of Small Language Models [104.80308007044634]
小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。
本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
論文 参考訳(メタデータ) (2024-10-25T23:52:28Z) - CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。
CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
論文 参考訳(メタデータ) (2024-04-03T02:21:46Z) - Towards Automatic Translation of Machine Learning Visual Insights to
Analytical Assertions [23.535630175567146]
機械学習(ML)の可視化で観察される視覚特性をPythonアサーションに変換する自動化ツールを開発するためのビジョンを提示する。
このツールは、ML開発サイクルでこれらの視覚化を手作業で検証するプロセスの合理化を目的としている。
論文 参考訳(メタデータ) (2024-01-15T14:11:59Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-09-13T04:06:47Z) - SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。
メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。
実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文 参考訳(メタデータ) (2023-07-15T08:33:08Z) - Pre-Training to Learn in Context [138.0745138788142]
言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。
In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。
実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-05-16T03:38:06Z) - Toolformer: Language Models Can Teach Themselves to Use Tools [62.04867424598204]
言語モデル(LM)は、特に大規模において、いくつかの例やテキスト命令から新しいタスクを解く素晴らしい能力を示す。
LMは、シンプルなAPIを通じて外部ツールの使用を自覚し、両方の世界のベストを達成できることを示します。
Toolformerは、どのAPIを呼び出すか、いつ呼び出すか、どの引数を渡すか、結果を将来のトークン予測に最もうまく組み込む方法を訓練したモデルです。
論文 参考訳(メタデータ) (2023-02-09T16:49:57Z) - Tools and Practices for Responsible AI Engineering [0.5249805590164901]
我々は、責任あるAIエンジニアリングに対する重要なニーズに対処する2つの新しいソフトウェアライブラリを提示する。
hydra-zenは、複雑なAIアプリケーションとその振る舞いを再現するプロセスを劇的に単純化する。
rAI-toolboxは、AIモデルの堅牢性を評価し、拡張する方法を可能にするように設計されている。
論文 参考訳(メタデータ) (2022-01-14T19:47:46Z) - AdapterHub Playground: Simple and Flexible Few-Shot Learning with
Adapters [34.86139827292556]
事前訓練された言語モデルのオープンアクセスの普及は、最先端自然言語処理(NLP)研究の民主化につながった。
これにより、NLP以外の人たちでも、そのようなモデルを使用して、特定のユースケースに適応することが可能になります。
本研究では,一行のコードを書かずに事前学習したモデルを活用できるツールを提供することで,このギャップを克服することを目指している。
論文 参考訳(メタデータ) (2021-08-18T11:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。