Fugu-MT 論文翻訳(概要): How Well Do Large Language Models Disambiguate Swedish Words?

論文の概要: How Well Do Large Language Models Disambiguate Swedish Words?

arxiv url: http://arxiv.org/abs/2410.22827v1
Date: Wed, 30 Oct 2024 09:10:41 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-31 14:28:16.956937
Title: How Well Do Large Language Models Disambiguate Swedish Words?
Title（参考訳）: 大きな言語モデルはスウェーデン語の単語をいかに曖昧にするか?
Authors: Richard Johansson,
Abstract要約: 現在のモデルはすべて、トレーニングセットが利用可能である場合の最高の教師付き曖昧さよりも正確ではない。人間の記述した感覚の定義をプロンプトに含めると、最高の精度が達成される。
参考スコア（独自算出の注目度）: 6.231304401179968
License:
Abstract: We evaluate a battery of recent large language models on two benchmarks for word sense disambiguation in Swedish. At present, all current models are less accurate than the best supervised disambiguators in cases where a training set is available, but most models outperform graph-based unsupervised systems. Different prompting approaches are compared, with a focus on how to express the set of possible senses in a given context. The best accuracies are achieved when human-written definitions of the senses are included in the prompts.
Abstract（参考訳）: スウェーデン語における単語感覚の曖昧化のための2つのベンチマークを用いて,近年の大規模言語モデルのバッテリ評価を行った。現在、全ての現在のモデルはトレーニングセットが利用可能である場合の最高の教師付き曖昧さよりも正確ではないが、ほとんどのモデルはグラフベースの教師なしシステムより優れている。異なるプロンプトアプローチを比較し、あるコンテキストにおいて可能な感覚の集合をどう表現するかに焦点を当てる。人間の記述した感覚の定義をプロンプトに含めると、最高の精度が達成される。

関連論文リスト

Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文参考訳（メタデータ） (2024-03-26T12:47:39Z)
Are Large Language Models Robust Coreference Resolvers? [17.60248310475889]
我々は、コア参照のプロンプトが、現在の教師なしコア参照システムより優れていることを示す。さらなる調査により、命令調整されたLMが驚くほどドメイン、言語、時間にまたがって一般化されることが判明した。
論文参考訳（メタデータ） (2023-05-23T19:38:28Z)
LMentry: A Language Model Benchmark of Elementary Language Tasks [39.71352171304755]
LMentryは、人間にとって自明なタスクのコンパクトなセットに焦点を当てたベンチマークである。大きな言語モデルの能力と堅牢性に関する洞察を提供する。
論文参考訳（メタデータ） (2022-11-03T18:01:12Z)
Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文参考訳（メタデータ） (2022-10-23T00:37:08Z)
Machine Reading, Fast and Slow: When Do Models "Understand" Language? [59.897515617661874]
本稿では,2つの言語スキル(コア参照の解決と比較)に関して,理解モデルを読み取る行動について検討する。比較のため(コアではない)、より大きなエンコーダに基づくシステムは、より「正しい」情報に依存する傾向にあることがわかった。
論文参考訳（メタデータ） (2022-09-15T16:25:44Z)
Few-shot Subgoal Planning with Language Models [58.11102061150875]
事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
論文参考訳（メタデータ） (2022-05-28T01:03:30Z)
Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency [62.0887259003594]
本研究では,多言語事前学習言語モデルにおける構造化プルーニングの3つの側面について検討する。 9つの下流タスクの実験は、いくつかの反直観的な現象を示している。モデルを一度トレーニングし、推論時に異なるモデルサイズに適応できるシンプルなアプローチであるDynamic Sparsificationを紹介します。
論文参考訳（メタデータ） (2022-04-06T06:29:52Z)
Refining Targeted Syntactic Evaluation of Language Models [6.991281327290524]
英語における主語数合意の目標構文評価(TSE) 言語モデルが各文法文を非文法文よりも高い確率で評価するかどうかを評価する。 TSEは、言語モデルの体系性を過大評価しているが、モデルが予測する動詞のスコアが40%向上することは、文脈において起こりそうだ。
論文参考訳（メタデータ） (2021-04-19T20:55:13Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)
Are Some Words Worth More than Others? [3.5598388686985354]
簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
論文参考訳（メタデータ） (2020-10-12T23:12:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。