論文の概要: Evaluating Large Language Models with Human Feedback: Establishing a Swedish Benchmark

• arxiv url: http://arxiv.org/abs/2405.14006v1
• Date: Wed, 22 May 2024 21:22:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 20:04:17.208969
• Title: Evaluating Large Language Models with Human Feedback: Establishing a Swedish Benchmark
• Title（参考訳）: 人のフィードバックによる大規模言語モデルの評価:スウェーデン語ベンチマークの確立
• Authors: Birger Moell,
• Abstract要約: 大規模言語モデル(LLM)は、多数のアプリケーションにまたがる重要な機能を示している。 本研究では,スウェーデン語テキストの理解と生成におけるLLMの有効性を評価するための総合的人間ベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the rapidly evolving field of artificial intelligence, large language models (LLMs) have demonstrated significant capabilities across numerous applications. However, the performance of these models in languages with fewer resources, such as Swedish, remains under-explored. This study introduces a comprehensive human benchmark to assess the efficacy of prominent LLMs in understanding and generating Swedish language texts using forced choice ranking. We employ a modified version of the ChatbotArena benchmark, incorporating human feedback to evaluate eleven different models, including GPT-4, GPT-3.5, various Claude and Llama models, and bespoke models like Dolphin-2.9-llama3b-8b-flashback and BeagleCatMunin. These models were chosen based on their performance on LMSYS chatbot arena and the Scandeval benchmarks. We release the chatbotarena.se benchmark as a tool to improve our understanding of language model performance in Swedish with the hopes that it will be widely used. We aim to create a leaderboard once sufficient data has been collected and analysed.
• Abstract（参考訳）: 人工知能の急速に発展する分野では、大規模言語モデル(LLM)が多数のアプリケーションにまたがる重要な機能を示している。 しかし、スウェーデン語のような資源が少ない言語では、これらのモデルの性能は未調査のままである。 本研究では,スウェーデン語テキストの理解と生成におけるLLMの有効性を強制的選択ランキングを用いて評価するための総合的人間ベンチマークを提案する。 我々はChatbotArenaベンチマークの修正版を使用し、GPT-4、GPT-3.5、様々なClaude、Llamaモデル、Dolphin-2.9-llama3b-8b-flashback、BeagleCatMuninなど11種類のモデルの評価に人間のフィードバックを取り入れた。 これらのモデルは、LMSYSチャットボットアリーナとScandevalベンチマークのパフォーマンスに基づいて選択された。 スウェーデン語における言語モデルパフォーマンスの理解を深めるためのツールとして,チャットボットアリーナ.seベンチマークをリリースする。 十分なデータが収集され、分析されたら、リーダーボードを作ることを目標にしています。

関連論文リスト

• ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
  本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。 また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
  論文  参考訳（メタデータ） (2024-06-12T21:01:26Z)
• Benchmarking Pre-trained Large Language Models' Potential Across Urdu NLP tasks [0.9786690381850356]
  多言語データで事前訓練されたLarge Language Models (LLMs)は、自然言語処理の研究に革命をもたらした。 本研究では,15のUrduデータセットを用いて,14のタスクにまたがる顕著なLLMの詳細な検討を行った。 実験の結果、SOTAモデルはゼロショット学習を伴う全てのUrdu NLPタスクにおいて、エンコーダ-デコーダ事前訓練された言語モデルを上回ることがわかった。
  論文  参考訳（メタデータ） (2024-05-24T11:30:37Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• IndicSUPERB: A Speech Processing Universal Performance Benchmark for Indian languages [16.121708272597154]
  インド12言語における音声認識のためのIndicSUPERBベンチマークをリリースする。 一般的に使用されているベースラインベンチマークとともに、さまざまな自己教師付きモデルをトレーニングし、評価する。 言語固有の微調整モデルはほとんどのタスクのベースラインよりも正確であることを示す。
  論文  参考訳（メタデータ） (2022-08-24T20:14:52Z)
• Training Language Models with Natural Language Feedback [51.36137482891037]
  3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。 合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。 人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
  論文  参考訳（メタデータ） (2022-04-29T15:06:58Z)
• PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
  我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。 我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。 数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
  論文  参考訳（メタデータ） (2022-04-05T16:11:45Z)
• Scaling Language Models: Methods, Analysis & Insights from Training Gopher [83.98181046650664]
  本稿では,トランスフォーマーに基づく言語モデルの性能を,幅広いモデルスケールで解析する。 スケールからのゲインは、理解、事実確認、有害言語の同定などにおいて最大である。 我々は、AIの安全性と下流の害の軽減に対する言語モデルの適用について論じる。
  論文  参考訳（メタデータ） (2021-12-08T19:41:47Z)
• Predicting the Performance of Multilingual NLP Models [16.250791929966685]
  本稿では,特定のタスクがテストセットを持つ言語上で,既存のモデルの性能スコアを利用する言語間でのモデル評価のための代替ソリューションを提案する。 我々はこれらの性能スコアの予測器を訓練し、この予測器を用いて異なる評価設定でモデルの性能を予測する。 提案手法は,既存の言語群に対する評価のギャップを埋めるのに有効であるが,未知の言語に一般化したい場合,さらなる改善が必要である可能性が示唆された。
  論文  参考訳（メタデータ） (2021-10-17T17:36:53Z)
• Sm{\aa}prat: DialoGPT for Natural Language Generation of Swedish Dialogue by Transfer Learning [1.6111818380407035]
  自然言語対話生成のための最先端のモデルは、英語で人間のような単行会話をシミュレートする際、印象的な性能を示した。 この研究は、経験的な研究により、そのようなモデルのスウェーデン語への変換学習の可能性について調査する。
  論文  参考訳（メタデータ） (2021-10-12T18:46:43Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。