Fugu-MT 論文翻訳(概要): Evaluating LLMs for Quotation Attribution in Literary Texts: A Case Study of LLaMa3

論文の概要: Evaluating LLMs for Quotation Attribution in Literary Texts: A Case Study of LLaMa3

arxiv url: http://arxiv.org/abs/2406.11380v2
Date: Thu, 23 Jan 2025 15:44:07 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-24 15:56:23.506145
Title: Evaluating LLMs for Quotation Attribution in Literary Texts: A Case Study of LLaMa3
Title（参考訳）: リテラリーテキストにおける引用属性のLLM評価:LLaMa3を例として
Authors: Gaspard Michel, Elena V. Epure, Romain Hennequin, Christophe Cerisara,
Abstract要約: 小説における直接音声の発声におけるLlama-3の有効性について検討した。 LLMは28の小説のコーパスで印象的な結果を示し、ChatGPTとエンコーダベースのベースラインを大きなマージンで上回った。
参考スコア（独自算出の注目度）: 11.259583037191772
License:
Abstract: Large Language Models (LLMs) have shown promising results in a variety of literary tasks, often using complex memorized details of narration and fictional characters. In this work, we evaluate the ability of Llama-3 at attributing utterances of direct-speech to their speaker in novels. The LLM shows impressive results on a corpus of 28 novels, surpassing published results with ChatGPT and encoder-based baselines by a large margin. We then validate these results by assessing the impact of book memorization and annotation contamination. We found that these types of memorization do not explain the large performance gain, making Llama-3 the new state-of-the-art for quotation attribution in English literature. We release publicly our code and data.
Abstract（参考訳）: 大規模言語モデル(LLM)は様々な文学的タスクにおいて有望な結果を示しており、しばしばナレーションと架空のキャラクターの複雑な記憶された詳細を用いている。本研究は,Llama-3が小説における話者への直接音声の発声に寄与する能力を評価するものである。 LLMは28の小説のコーパスで印象的な結果を示し、ChatGPTとエンコーダベースのベースラインを大きなマージンで上回った。次に,本書の暗記とアノテーションの汚染の影響を評価することによって,これらの結果を検証した。これらの記憶化は大きなパフォーマンス向上を説明できないことが分かり、Llama-3は英語文学における引用帰属の新たな最先端技術となった。コードとデータを公開しています。

関連論文リスト

Idiosyncrasies in Large Language Models [54.26923012617675]
大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
論文参考訳（メタデータ） (2025-02-17T18:59:02Z)
Are LLMs Good Literature Review Writers? Evaluating the Literature Review Writing Ability of Large Language Models [2.048226951354646]
本稿では,大規模言語モデルの文献レビュー作成能力を自動評価するフレームワークを提案する。我々は,3つのタスク(参照の生成,要約の執筆,文献レビューの執筆)でLLMの性能を評価する。
論文参考訳（メタデータ） (2024-12-18T08:42:25Z)
Generating bilingual example sentences with large language models as lexicography assistants [2.6550899846546527]
本稿では,資源レベルの異なる言語におけるバイリンガル辞書の例文の生成と評価におけるLLMの性能について検討する。 GDEX(Good Dictionary Example)基準に対するLCM生成例の品質評価を行った。
論文参考訳（メタデータ） (2024-10-04T06:45:48Z)
CUTE: Measuring LLMs' Understanding of Their Tokens [54.70665106141121]
大きな言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示す。 LLMはどの程度の間、正書法情報を学ぶことができるのか? LLMの正書法知識をテストするために設計されたタスクの集合を特徴とする新しいベンチマークを提案する。
論文参考訳（メタデータ） (2024-09-23T18:27:03Z)
Exploring the Role of Transliteration in In-Context Learning for Low-resource Languages Written in Non-Latin Scripts [50.40191599304911]
非ラテン文字で書かれた低リソース言語に対するLLMの性能向上にも効果があるか検討する。本稿では,(1) の原文,(2) ラテン文字,(3) の両文を対象とする3つのプロンプトテンプレートを提案する。本研究の結果から,翻訳の有効性はタスクタイプやモデルサイズによって異なることが明らかとなった。
論文参考訳（メタデータ） (2024-07-02T14:51:20Z)
Evaluating Character Understanding of Large Language Models via Character Profiling from Fictional Works [33.817319226631426]
大規模言語モデル(LLM)は印象的なパフォーマンスを示し、多くのAIアプリケーションに拍車をかけた。これらのRPAの前提条件は、LLMが架空の作品からキャラクターを理解する能力にある。これまでの努力は、基本的な分類タスクや特徴的模倣を通じて、この機能を評価してきた。
論文参考訳（メタデータ） (2024-04-19T09:10:29Z)
PhonologyBench: Evaluating Phonological Skills of Large Language Models [57.80997670335227]
音声学は、音声の構造と発音規則の研究であり、Large Language Model (LLM) 研究において批判的であるが、しばしば見落とされがちな要素である。 LLMの音韻的スキルを明示的にテストするための3つの診断タスクからなる新しいベンチマークであるPhonologyBenchを提案する。我々は,Rhyme Word GenerationとSyllable countingにおいて,人間と比較した場合,それぞれ17%と45%の有意なギャップを観察した。
論文参考訳（メタデータ） (2024-04-03T04:53:14Z)
Harnessing Artificial Intelligence to Combat Online Hate: Exploring the Challenges and Opportunities of Large Language Models in Hate Speech Detection [4.653571633477755]
大規模言語モデル(LLM)は、翻訳、要約、感情分析など、言語生成以外の多くの多様なアプリケーションで優れている。このことは、憎しみや有害なスピーチを識別する領域において、問題や倫理的なジレンマに悩まされる。
論文参考訳（メタデータ） (2024-03-12T19:12:28Z)
When LLMs Meet Cunning Texts: A Fallacy Understanding Benchmark for Large Language Models [59.84769254832941]
本稿では,人間が理解し易いが,理解し難い文を含むFaLlacy Understanding Benchmark (FLUB)を提案する。具体的には、FLUBが焦点を絞ったcunningテキストは、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招くテキストで構成されている。 FLUBに基づいて,複数の代表および先進LLMの性能について検討する。
論文参考訳（メタデータ） (2024-02-16T22:12:53Z)
Beware of Words: Evaluating the Lexical Diversity of Conversational LLMs using ChatGPT as Case Study [3.0059120458540383]
対話型大言語モデル(LLM)が生成するテキストの語彙的リッチ性の評価と,それがモデルパラメータにどのように依存するかを検討する。その結果、語彙豊かさがChatGPTのバージョンと、そのパラメータのいくつか、例えば存在ペナルティやモデルに割り当てられた役割にどのように依存しているかが示される。
論文参考訳（メタデータ） (2024-02-11T13:41:17Z)
Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文参考訳（メタデータ） (2024-02-09T05:37:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。