論文の概要: Tokenization Tractability for Human and Machine Learning Model: An
Annotation Study
- arxiv url: http://arxiv.org/abs/2304.10813v1
- Date: Fri, 21 Apr 2023 08:49:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 15:31:46.286800
- Title: Tokenization Tractability for Human and Machine Learning Model: An
Annotation Study
- Title(参考訳): 人間と機械学習モデルのためのトークン化トラクタビリティ:注釈研究
- Authors: Tatsuya Hiraoka, Tomoya Iwakura
- Abstract要約: 本研究では,人間のトークン化と機械学習モデルとの関係について検討した。
日本語コモンセンス質問文検索データセット(JGLUEのJCommmonsenseQA)のトークン化を行った。
本稿では,人間と機械学習モデルの抽出可能なトークン化が,必ずしも同一ではないことを示す定量的研究結果を提供する。
- 参考スコア(独自算出の注目度): 4.781986758380065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Is tractable tokenization for humans also tractable for machine learning
models? This study investigates relations between tractable tokenization for
humans (e.g., appropriateness and readability) and one for models of machine
learning (e.g., performance on an NLP task). We compared six tokenization
methods on the Japanese commonsense question-answering dataset (JCommmonsenseQA
in JGLUE). We tokenized question texts of the QA dataset with different
tokenizers and compared the performance of human annotators and
machine-learning models. Besides,we analyze relationships among the
performance, appropriateness of tokenization, and response time to questions.
This paper provides a quantitative investigation result that shows the
tractable tokenizations for humans and machine learning models are not
necessarily the same as each other.
- Abstract(参考訳): 抽出可能なトークン化は、機械学習モデルにも適用できるのか?
本研究では,人間の抽出可能なトークン化(例えば,適切性と可読性)と機械学習モデル(例えば,NLPタスクのパフォーマンス)の関係について検討する。
日本語コモンセンス質問応答データセット(JGLUEのJCommmonsenseQA)のトークン化手法を6つ比較した。
我々はQAデータセットの質問テキストを異なるトークン化器でトークン化し、人間のアノテーションと機械学習モデルの性能を比較した。
さらに,性能,トークン化の適切性,質問に対する応答時間との関係を解析した。
本稿では,人間と機械学習モデルの抽出可能なトークン化が必ずしも同一ではないことを示す定量的研究結果を提供する。
関連論文リスト
- High-Dimension Human Value Representation in Large Language Models [60.33033114185092]
大規模言語モデル(LLM)における人的価値分布の高次元表現であるUniVaRを提案する。
我々は,UniVaRが,異なるLLMに埋め込まれた人間の値と異なる言語源との分布を比較する強力なツールであることを示す。
論文 参考訳(メタデータ) (2024-04-11T16:39:00Z) - Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [115.501751261878]
人為的なデータに基づく微調整言語モデル(LM)が普及している。
我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。
ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
論文 参考訳(メタデータ) (2023-12-11T18:17:43Z) - Longer Fixations, More Computation: Gaze-Guided Recurrent Neural
Networks [12.57650361978445]
人間はさまざまなペースでテキストを読み、機械学習モデルはそれぞれのトークンを同じように扱う。
本稿では,この直感を固定誘導並列RNNやレイヤを用いた新しいモデルに変換する。
興味深いことに、ニューラルネットワークによって予測される固定期間は、人間の固定と多少似ている。
論文 参考訳(メタデータ) (2023-10-31T21:32:11Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z) - MixCE: Training Autoregressive Language Models by Mixing Forward and
Reverse Cross-Entropies [84.13303255150004]
自己回帰言語モデルは、データ分布Pに対するモデル分布Qのクロスエントロピーを最小化することにより訓練される。
我々は,前と逆のクロスエントロピーを混合する目的であるMixCEを用いた学習を提案する。
その結果,複雑な復号化戦略を使わずに,より優れた生成テキストが得られることがわかった。
論文 参考訳(メタデータ) (2023-05-26T14:14:51Z) - Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。
我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。
そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
論文 参考訳(メタデータ) (2023-02-06T10:28:16Z) - Quantifying Human Bias and Knowledge to guide ML models during Training [0.0]
トレーニングプロセスに人間を含めることで、歪んだデータセットを扱うための実験的なアプローチを導入する。
我々は、データセットの特徴の重要性をランク付けし、ランクアグリゲーションを通じて、モデルの初期重みバイアスを決定するよう人間に求める。
我々は、集団的人間の偏見によって、機械学習モデルがバイアス標本の代わりに真の人口についての洞察を学習できることを示した。
論文 参考訳(メタデータ) (2022-11-19T20:49:07Z) - Multilingual Language Models Predict Human Reading Behavior [8.830621849672108]
言語固有および多言語事前学習トランスフォーマーモデルの性能比較を行い,読解時間尺度の予測を行った。
BERT と XLM のモデルでは,様々な視線追跡特性の予測に成功している。
一連の実験で、これらのモデルのクロスドメインおよびクロス言語能力を分析し、人間の文処理をどのように反映するかを示す。
論文 参考訳(メタデータ) (2021-04-12T13:03:49Z) - To what extent do human explanations of model behavior align with actual
model behavior? [91.67905128825402]
モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。
自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。
モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
論文 参考訳(メタデータ) (2020-12-24T17:40:06Z) - Learning a Formula of Interpretability to Learn Interpretable Formulas [1.7616042687330642]
人間の解釈可能性の非対象プロキシのMLモデルが人間のフィードバックから学習可能であることを示す。
進化的シンボリック回帰について示す。
我々のアプローチは、次世代の解釈可能な(進化的な)MLアルゴリズムの設計のための重要なステップストーンである。
論文 参考訳(メタデータ) (2020-04-23T13:59:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。