論文の概要: Text Difficulty Study: Do machines behave the same as humans regarding text difficulty?

• arxiv url: http://arxiv.org/abs/2208.14509v1
• Date: Sun, 14 Aug 2022 06:12:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-04 02:08:17.807893
• Title: Text Difficulty Study: Do machines behave the same as humans regarding text difficulty?
• Title（参考訳）: テキスト難易度研究:機械はテキスト難易度に関して人間と同じ振る舞いをするのか?
• Authors: Bowen Chen and Xiao Ding and Li Du and Qin Bing and Ting Liu
• Abstract要約: タスクが与えられたら、人間は簡単から困難に学習するが、モデルはランダムに学習する。 NLPにおけるテキストの難易度を調査するために,Human Learning Matching Index (HLM Index)を提案する。
• 参考スコア（独自算出の注目度）: 21.026155548880798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given a task, human learns from easy to hard, whereas the model learns randomly. Undeniably, difficulty insensitive learning leads to great success in NLP, but little attention has been paid to the effect of text difficulty in NLP. In this research, we propose the Human Learning Matching Index (HLM Index) to investigate the effect of text difficulty. Experiment results show: (1) LSTM has more human-like learning behavior than BERT. (2) UID-SuperLinear gives the best evaluation of text difficulty among four text difficulty criteria. (3) Among nine tasks, some tasks' performance is related to text difficulty, whereas some are not. (4) Model trained on easy data performs best in easy and medium data, whereas trains on a hard level only perform well on hard data. (5) Training the model from easy to hard leads to fast convergence.
• Abstract（参考訳）: タスクが与えられたら、人間は簡単から困難に学習するが、モデルはランダムに学習する。 必然的に、難易度学習はNLPにおいて大きな成功を収めるが、NLPにおけるテキスト難易度の影響にはほとんど注意が払われていない。 本研究では,テキスト難易度の影響を調べるために,人間学習マッチング指標(hlm index)を提案する。 実験の結果,(1)lstmはbertよりも人間に近い学習行動を示す。 2) UID-SuperLinear はテキスト難易度を4つのテキスト難易度で評価する。 (3)9つのタスクのうち,タスクのパフォーマンスはテキストの難易度に関連するが,一部はそうではない。 (4)簡単なデータで訓練されたモデルは、容易で中程度のデータで最高の性能を発揮するが、ハードレベルの列車はハードデータでのみ機能する。 (5) モデルを簡単からハードに訓練することは、迅速な収束につながる。

関連論文リスト

• Guiding Through Complexity: What Makes Good Supervision for Hard Reasoning Tasks? [74.88417042125985]
  複雑さの異なるタスクにおいて、様々な品質レベルで監視データを提供する様々なデータ駆動戦略について検討する。 ハードタスクの監視における結果エラー率が高い場合でも、そのようなデータによるトレーニングは、より簡単なサブタスクの監督を完璧に上回ります。 また,本研究の結果から,タスク・インスペクションとサブタスク・インスペクションを補完することで,顕著なパフォーマンス向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-10-27T17:55:27Z)
• Easy2Hard-Bench: Standardized Difficulty Labels for Profiling LLM Performance and Generalization [126.27645170941268]
  さまざまなドメインにまたがる6つのベンチマークデータセットのコレクションであるEasy2Hard-Benchを紹介します。 これらのデータセット内の各問題は、数値的な難易度スコアで注釈付けされる。 様々な難易度にまたがる性能と一般化能力を総合的に分析する。
  論文  参考訳（メタデータ） (2024-09-27T03:49:56Z)
• Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision [98.97575836717931]
  現在のAIアライメント手法は、人間が提供する実演や判断に依存している。 彼らの能力が人間のレベルを超えたとき、システムを改善するにはどうすればよいのか?
  論文  参考訳（メタデータ） (2024-03-14T15:12:38Z)
• Do LLMs Implicitly Determine the Suitable Text Difficulty for Users? [29.6000895693808]
  大規模言語モデルでは,ユーザ入力と生成されたテキスト間のテキストの難易度を暗黙的に処理できることを示す。 一部のLLMは、テキストの難易度や命令調整の重要性に人間を超えることができる。
  論文  参考訳（メタデータ） (2024-02-22T11:16:23Z)
• The Unreasonable Effectiveness of Easy Training Data for Hard Tasks [84.30018805150607]
  既存の事前学習言語モデルが比較的容易にハードなデータから一般化されることがしばしばあるという驚くべき結論を提示する。 本稿では,テキスト内学習,線形ヘッド,QLoRAなどの簡単な微調整手法を用いて,このような難解な一般化を実演する。 本研究は, LMの難解な一般化が, 研究課題に対して驚くほど強いことを結論づける。
  論文  参考訳（メタデータ） (2024-01-12T18:36:29Z)
• LC-Score: Reference-less estimation of Text Comprehension Difficulty [0.0]
  我々は、参照なしのフランス語テキストに対して、テキスト理解度を訓練するための簡単なアプローチであるtextscLC-Scoreを提示する。 我々の目的は,テキストがtextitLangage Clair (LC, textitClear Language) ガイドラインに適合する範囲を定量的に把握することである。 i) 統計モデルの学習に使用される言語的動機付け指標を使用すること,(ii) 事前学習された言語モデルを利用したテキストから直接ニューラルラーニングを行うこと,の2つのアプローチを探索する。
  論文  参考訳（メタデータ） (2023-10-04T11:49:37Z)
• Human Decision Makings on Curriculum Reinforcement Learning with Difficulty Adjustment [52.07473934146584]
  我々は,カリキュラム強化学習結果を,人的意思決定プロセスから学ぶことで,難しすぎず,難しすぎるような望ましいパフォーマンスレベルに導く。 本システムは非常に並列化可能であり,大規模強化学習アプリケーションの訓練が可能となる。 強化学習性能は、人間の所望の難易度と同期してうまく調整できることが示される。
  論文  参考訳（メタデータ） (2022-08-04T23:53:51Z)
• TextHide: Tackling Data Privacy in Language Understanding Tasks [54.11691303032022]
  TextHideは、トレーニングを遅くしたり、精度を下げることなく、プライバシー上のリスクを軽減する。 すべての参加者は、盗聴攻撃者がプライベートテキストデータを復元するのを防ぐために、簡単な暗号化ステップを追加する必要がある。 我々は、GLUEベンチマーク上でTextHideを評価し、TextHideが共有勾配や表現に対する攻撃を効果的に防御できることを示す。
  論文  参考訳（メタデータ） (2020-10-12T22:22:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。