論文の概要: Text Difficulty Study: Do machines behave the same as humans regarding
text difficulty?
- arxiv url: http://arxiv.org/abs/2208.14509v1
- Date: Sun, 14 Aug 2022 06:12:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-04 02:08:17.807893
- Title: Text Difficulty Study: Do machines behave the same as humans regarding
text difficulty?
- Title(参考訳): テキスト難易度研究:機械はテキスト難易度に関して人間と同じ振る舞いをするのか?
- Authors: Bowen Chen and Xiao Ding and Li Du and Qin Bing and Ting Liu
- Abstract要約: タスクが与えられたら、人間は簡単から困難に学習するが、モデルはランダムに学習する。
NLPにおけるテキストの難易度を調査するために,Human Learning Matching Index (HLM Index)を提案する。
- 参考スコア(独自算出の注目度): 21.026155548880798
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given a task, human learns from easy to hard, whereas the model learns
randomly. Undeniably, difficulty insensitive learning leads to great success in
NLP, but little attention has been paid to the effect of text difficulty in
NLP. In this research, we propose the Human Learning Matching Index (HLM Index)
to investigate the effect of text difficulty. Experiment results show: (1) LSTM
has more human-like learning behavior than BERT. (2) UID-SuperLinear gives the
best evaluation of text difficulty among four text difficulty criteria. (3)
Among nine tasks, some tasks' performance is related to text difficulty,
whereas some are not. (4) Model trained on easy data performs best in easy and
medium data, whereas trains on a hard level only perform well on hard data. (5)
Training the model from easy to hard leads to fast convergence.
- Abstract(参考訳): タスクが与えられたら、人間は簡単から困難に学習するが、モデルはランダムに学習する。
必然的に、難易度学習はNLPにおいて大きな成功を収めるが、NLPにおけるテキスト難易度の影響にはほとんど注意が払われていない。
本研究では,テキスト難易度の影響を調べるために,人間学習マッチング指標(hlm index)を提案する。
実験の結果,(1)lstmはbertよりも人間に近い学習行動を示す。
2) UID-SuperLinear はテキスト難易度を4つのテキスト難易度で評価する。
(3)9つのタスクのうち,タスクのパフォーマンスはテキストの難易度に関連するが,一部はそうではない。
(4)簡単なデータで訓練されたモデルは、容易で中程度のデータで最高の性能を発揮するが、ハードレベルの列車はハードデータでのみ機能する。
(5) モデルを簡単からハードに訓練することは、迅速な収束につながる。
関連論文リスト
- Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision [98.97575836717931]
現在のAIアライメント手法は、人間が提供する実演や判断に依存している。
彼らの能力が人間のレベルを超えたとき、システムを改善するにはどうすればよいのか?
論文 参考訳(メタデータ) (2024-03-14T15:12:38Z) - Do LLMs Implicitly Determine the Suitable Text Difficulty for Users? [29.6000895693808]
大規模言語モデルでは,ユーザ入力と生成されたテキスト間のテキストの難易度を暗黙的に処理できることを示す。
一部のLLMは、テキストの難易度や命令調整の重要性に人間を超えることができる。
論文 参考訳(メタデータ) (2024-02-22T11:16:23Z) - The Unreasonable Effectiveness of Easy Training Data for Hard Tasks [92.09189936205253]
現在の言語モデルは、ハードデータで訓練された"オークル"モデルと同様に、比較的容易にハードデータから一般化されることが多い。
ハードデータ上でモデルパフォーマンスを最も気にしている場合でも、ハードデータよりも簡単なデータを収集してトレーニングする方がよいことを示す。
論文 参考訳(メタデータ) (2024-01-12T18:36:29Z) - LC-Score: Reference-less estimation of Text Comprehension Difficulty [0.0]
我々は、参照なしのフランス語テキストに対して、テキスト理解度を訓練するための簡単なアプローチであるtextscLC-Scoreを提示する。
我々の目的は,テキストがtextitLangage Clair (LC, textitClear Language) ガイドラインに適合する範囲を定量的に把握することである。
i) 統計モデルの学習に使用される言語的動機付け指標を使用すること,(ii) 事前学習された言語モデルを利用したテキストから直接ニューラルラーニングを行うこと,の2つのアプローチを探索する。
論文 参考訳(メタデータ) (2023-10-04T11:49:37Z) - Hindsight States: Blending Sim and Real Task Elements for Efficient
Reinforcement Learning [61.3506230781327]
ロボット工学では、第一原理から導かれた力学モデルに基づくシミュレーションに基づいて、トレーニングデータを生成する方法がある。
ここでは、力学の複雑さの不均衡を利用して、より標本効率のよい学習を行う。
提案手法をいくつかの課題に対して検証し,既存の近視アルゴリズムと組み合わせた場合の学習改善を実証する。
論文 参考訳(メタデータ) (2023-03-03T21:55:04Z) - Human Decision Makings on Curriculum Reinforcement Learning with
Difficulty Adjustment [52.07473934146584]
我々は,カリキュラム強化学習結果を,人的意思決定プロセスから学ぶことで,難しすぎず,難しすぎるような望ましいパフォーマンスレベルに導く。
本システムは非常に並列化可能であり,大規模強化学習アプリケーションの訓練が可能となる。
強化学習性能は、人間の所望の難易度と同期してうまく調整できることが示される。
論文 参考訳(メタデータ) (2022-08-04T23:53:51Z) - TextHide: Tackling Data Privacy in Language Understanding Tasks [54.11691303032022]
TextHideは、トレーニングを遅くしたり、精度を下げることなく、プライバシー上のリスクを軽減する。
すべての参加者は、盗聴攻撃者がプライベートテキストデータを復元するのを防ぐために、簡単な暗号化ステップを追加する必要がある。
我々は、GLUEベンチマーク上でTextHideを評価し、TextHideが共有勾配や表現に対する攻撃を効果的に防御できることを示す。
論文 参考訳(メタデータ) (2020-10-12T22:22:15Z) - PuzzLing Machines: A Challenge on Learning From Small Data [64.513459448362]
我々は,高校生を対象としたLinguistic OlympiadsのRosetta StoneパズルからなるPuzzLing Machinesという,小さなデータから学ぶための課題を紹介した。
私たちのチャレンジには、81言語から幅広い言語現象をカバーする約100のパズルが含まれています。
単純な統計アルゴリズムと最先端のディープニューラルモデルの両方が、予想通り、この課題に対して不十分に実行可能であることを示す。
論文 参考訳(メタデータ) (2020-04-27T20:34:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。