論文の概要: LMentry: A Language Model Benchmark of Elementary Language Tasks

• arxiv url: http://arxiv.org/abs/2211.02069v1
• Date: Thu, 3 Nov 2022 18:01:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 15:42:38.639524
• Title: LMentry: A Language Model Benchmark of Elementary Language Tasks
• Title（参考訳）: LMentry: 基本言語タスクの言語モデルベンチマーク
• Authors: Avia Efrat, Or Honovich, Omer Levy
• Abstract要約: LMentryは、人間にとって自明なタスクのコンパクトなセットに焦点を当てたベンチマークである。 大きな言語モデルの能力と堅牢性に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 39.71352171304755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the performance of large language models rapidly improves, benchmarks are getting larger and more complex as well. We present LMentry, a benchmark that avoids this "arms race" by focusing on a compact set of tasks that are trivial to humans, e.g. writing a sentence containing a specific word, identifying which words in a list belong to a specific category, or choosing which of two words is longer. LMentry is specifically designed to provide quick and interpretable insights into the capabilities and robustness of large language models. Our experiments reveal a wide variety of failure cases that, while immediately obvious to humans, pose a considerable challenge for large language models, including OpenAI's latest 175B-parameter instruction-tuned model, TextDavinci002. LMentry complements contemporary evaluation approaches of large language models, providing a quick, automatic, and easy-to-run "unit test", without resorting to large benchmark suites of complex tasks.
• Abstract（参考訳）: 大規模言語モデルのパフォーマンスが急速に向上するにつれ、ベンチマークもますます複雑になっています。 例えば、特定の単語を含む文を書いたり、リスト内のどの単語が特定のカテゴリに属するかを特定したり、2つの単語のうちどれが長いかを選択するといった、人間に自明なタスクの集合に焦点を合わせることで、この「武器競争」を避けるベンチマークであるlmentryを提案する。 LMentryは、大規模言語モデルの能力と堅牢性に関する迅速かつ解釈可能な洞察を提供するように設計されている。 実験の結果,人にはすぐにわかるが,OpenAIの最新175Bパラメータ命令調整モデルであるTextDavinci002など,大規模な言語モデルには大きな課題があることがわかった。 LMentryは、大規模な言語モデルの現代的評価アプローチを補完し、複雑なタスクのベンチマークスイートを使わずに、素早く、自動化され、簡単に実行できる「単体テスト」を提供する。

関連論文リスト

• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Accelerating Multilingual Language Model for Excessively Tokenized Languages [3.5570874721859016]
  大型言語モデル(LLM)のトークン化子は、文字やUnicodeレベルのトークンを非ローマ語アルファベットの言語で断片化することが多い。 このような言語でテキスト生成を高速化する,シンプルで効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T12:26:57Z)
• Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
  本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。 大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
  論文  参考訳（メタデータ） (2023-10-23T03:48:24Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Are Large Language Models Robust Coreference Resolvers? [17.60248310475889]
  我々は、コア参照のプロンプトが、現在の教師なしコア参照システムより優れていることを示す。 さらなる調査により、命令調整されたLMが驚くほどドメイン、言語、時間にまたがって一般化されることが判明した。
  論文  参考訳（メタデータ） (2023-05-23T19:38:28Z)
• Interpretable Unified Language Checking [42.816372695828306]
  本稿では,人間と機械生成言語の両方に対して,解釈可能で統一された言語チェック(UniLC)手法を提案する。 ファクトチェック, ステレオタイプ検出, ヘイトスピーチ検出タスクの組み合わせにより, LLM は高い性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-04-07T16:47:49Z)
• An Application of Pseudo-Log-Likelihoods to Natural Language Scoring [5.382454613390483]
  比較的少ないパラメータとトレーニングステップを持つ言語モデルは、最近の大規模なデータセットでそれを上回るパフォーマンスを得ることができる。 二項選択タスクにおける常識推論のための絶対的最先端結果を生成する。 より小さなモデルの堅牢性は、構成性の観点から理解されるべきである。
  論文  参考訳（メタデータ） (2022-01-23T22:00:54Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Multitask Prompted Training Enables Zero-Shot Task Generalization [70.12770442071657]
  本研究では,一般的な自然言語タスクを人間に読まれる入力形式にマッピングするシステムを開発した。 様々なタスクをカバーしたマルチタスクミックス上に,事前学習したエンコーダ・デコーダモデルを微調整する。 このモデルは、いくつかの標準データセット上で強力なゼロショット性能を達成し、しばしば16倍のサイズのモデルより優れている。
  論文  参考訳（メタデータ） (2021-10-15T17:08:57Z)
• Pre-training Universal Language Representation [46.51685959045527]
  この研究は普遍言語表現学習、すなわち、一様ベクトル空間に非常に多様な長さを持つ言語単位やテキストの異なるレベルの埋め込みを導入している。 我々は、よく設計された事前学習スキームが、効果的に普遍的な言語表現をもたらすことを実証的に検証する。
  論文  参考訳（メタデータ） (2021-05-30T09:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。