Fugu-MT 論文翻訳(概要): A Hard Nut to Crack: Idiom Detection with Conversational Large Language Models

論文の概要: A Hard Nut to Crack: Idiom Detection with Conversational Large Language Models

arxiv url: http://arxiv.org/abs/2405.10579v1
Date: Fri, 17 May 2024 07:08:13 GMT
ステータス: 処理完了
システム内更新日: 2024-05-20 16:52:18.062613
Title: A Hard Nut to Crack: Idiom Detection with Conversational Large Language Models
Title（参考訳）: 難解なクラック:対話型大言語モデルを用いたイディオム検出
Authors: Francesca De Luca Fornaciari, Begoña Altuna, Itziar Gonzalez-Dios, Maite Melero,
Abstract要約: IdioTSは,言語専門家が言語モデル(LLM)の文レベルでの表現型言語処理能力を評価するために設計した新しいデータセットである。英文中の慣用表現を検知してLLMを誘導するイディオム検出タスクに基づく包括的評価手法を提案する。結果の徹底的な自動的手動評価と広範囲な誤差解析を行う。
参考スコア（独自算出の注目度）: 2.02990044704201
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In this work, we explore idiomatic language processing with Large Language Models (LLMs). We introduce the Idiomatic language Test Suite IdioTS, a new dataset of difficult examples specifically designed by language experts to assess the capabilities of LLMs to process figurative language at sentence level. We propose a comprehensive evaluation methodology based on an idiom detection task, where LLMs are prompted with detecting an idiomatic expression in a given English sentence. We present a thorough automatic and manual evaluation of the results and an extensive error analysis.
Abstract（参考訳）: 本研究では,Large Language Models (LLM) を用いた慣用的な言語処理について検討する。 Idiomatic Language Test Suite IdioTSは,言語専門家が文レベルでの図形言語処理能力を評価するために設計した,難解な例のデータセットである。英文中の慣用表現を検知してLLMを誘導するイディオム検出タスクに基づく包括的評価手法を提案する。結果の徹底的な自動的手動評価と広範囲な誤差解析を行う。

関連論文リスト

Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
論文参考訳（メタデータ） (2024-06-28T17:03:51Z)
Establishing Vocabulary Tests as a Benchmark for Evaluating Large Language Models [2.7013338932521416]
我々は,大言語モデル(LLM)の性能を評価する貴重なツールとして,語彙テストの復活を提唱する。 2つの言語にまたがる2つの語彙テスト形式を用いて7つのLSMを評価し,その語彙的知識の驚くべきギャップを明らかにする。
論文参考訳（メタデータ） (2023-10-23T08:45:12Z)
Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
論文参考訳（メタデータ） (2023-06-20T08:27:47Z)
Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文参考訳（メタデータ） (2023-06-13T08:08:08Z)
Interpretable Unified Language Checking [42.816372695828306]
本稿では,人間と機械生成言語の両方に対して,解釈可能で統一された言語チェック(UniLC)手法を提案する。ファクトチェック, ステレオタイプ検出, ヘイトスピーチ検出タスクの組み合わせにより, LLM は高い性能が得られることがわかった。
論文参考訳（メタデータ） (2023-04-07T16:47:49Z)
Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval [87.11836738011007]
マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。 MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
論文参考訳（メタデータ） (2023-02-03T09:54:27Z)
Prompting Language Models for Linguistic Structure [73.11488464916668]
本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
論文参考訳（メタデータ） (2022-11-15T01:13:39Z)
LMentry: A Language Model Benchmark of Elementary Language Tasks [39.71352171304755]
LMentryは、人間にとって自明なタスクのコンパクトなセットに焦点を当てたベンチマークである。大きな言語モデルの能力と堅牢性に関する洞察を提供する。
論文参考訳（メタデータ） (2022-11-03T18:01:12Z)
Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文参考訳（メタデータ） (2020-10-26T13:57:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。