論文の概要: The Role of Large Language Models in Musicology: Are We Ready to Trust the Machines?

• arxiv url: http://arxiv.org/abs/2409.01864v1
• Date: Tue, 3 Sep 2024 13:05:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 01:36:22.862371
• Title: The Role of Large Language Models in Musicology: Are We Ready to Trust the Machines?
• Title（参考訳）: 音楽学における大規模言語モデルの役割 : マシンを信頼する準備はできているか?
• Authors: Pedro Ramoneda, Emilia Parada-Cabaleiro, Benno Weck, Xavier Serra,
• Abstract要約: 本稿では,検索拡張生成モデルと複数選択質問生成を用いた初期ベンチマーク作成のための半自動手法を提案する。 400人の有能な質問に対する評価は、現在のバニラLLMは、音楽辞書からの強化生成を検索するよりも信頼性が低いことを示している。
• 参考スコア（独自算出の注目度）: 9.971968382238522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we explore the use and reliability of Large Language Models (LLMs) in musicology. From a discussion with experts and students, we assess the current acceptance and concerns regarding this, nowadays ubiquitous, technology. We aim to go one step further, proposing a semi-automatic method to create an initial benchmark using retrieval-augmented generation models and multiple-choice question generation, validated by human experts. Our evaluation on 400 human-validated questions shows that current vanilla LLMs are less reliable than retrieval augmented generation from music dictionaries. This paper suggests that the potential of LLMs in musicology requires musicology driven research that can specialized LLMs by including accurate and reliable domain knowledge.
• Abstract（参考訳）: 本研究では,音楽学におけるLarge Language Models(LLM)の使用と信頼性について検討する。 専門家や学生との議論から、現在ユビキタスな技術に対する現在の受容と懸念を評価する。 我々はさらに一歩進めて、人間専門家が検証した検索強化世代モデルと複数選択質問生成を用いた初期ベンチマークを作成するための半自動手法を提案する。 400人の有能な質問に対する評価は、現在のバニラLLMは、音楽辞書からの強化生成を検索するよりも信頼性が低いことを示している。 本稿では,音楽学におけるLLMの可能性について,正確で信頼性の高いドメイン知識を含めることで,LLMを専門化できる音楽学による研究が必要であることを示唆する。

関連論文リスト

• LLMs Meet Multimodal Generation and Editing: A Survey [89.76691959033323]
  本調査では,画像,ビデオ,3D,オーディオなど,さまざまな領域にわたるマルチモーダル生成と編集について詳述する。 これらの分野でのマイルストーンの成果を要約し、これらの研究をLLM法とCLIP/T5法に分類する。 我々は、既存の生成モデルを人間とコンピュータの相互作用に活用できるツール強化マルチモーダルエージェントを掘り下げる。
  論文  参考訳（メタデータ） (2024-05-29T17:59:20Z)
• PhonologyBench: Evaluating Phonological Skills of Large Language Models [57.80997670335227]
  音声学は、音声の構造と発音規則の研究であり、Large Language Model (LLM) 研究において批判的であるが、しばしば見落とされがちな要素である。 LLMの音韻的スキルを明示的にテストするための3つの診断タスクからなる新しいベンチマークであるPhonologyBenchを提案する。 我々は,Rhyme Word GenerationとSyllable countingにおいて,人間と比較した場合,それぞれ17%と45%の有意なギャップを観察した。
  論文  参考訳（メタデータ） (2024-04-03T04:53:14Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• The Quo Vadis of the Relationship between Language and Large Language Models [3.10770247120758]
  LLM(Large Language Models)は、LLMを言語科学モデルとして採用することを奨励している。 透明性に欠ける科学的モデルの導入によって引き起こされる最も重要な理論的および経験的リスクを特定します。 現在の開発段階において、LLMは言語に関する説明をほとんど提供していないと結論付けている。
  論文  参考訳（メタデータ） (2023-10-17T10:54:24Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Spoken Language Intelligence of Large Language Models for Language Learning [3.5924382852350902]
  教育分野における大規模言語モデル(LLM)の有効性を評価することに注力する。 上記のシナリオにおけるLLMの有効性を評価するために,新しい複数選択質問データセットを提案する。 また,ゼロショット法や少数ショット法など,様々なプロンプト技術の影響についても検討する。 異なる大きさのモデルは、音韻学、音韻学、第二言語習得の概念をよく理解しているが、実世界の問題に対する推論には限界がある。
  論文  参考訳（メタデータ） (2023-08-28T12:47:41Z)
• Potential Benefits of Employing Large Language Models in Research in Moral Education and Development [0.0]
  近年,計算機科学者は大規模言語コーパスと人間強化を用いた予測モデルを訓練することで,大規模言語モデル(LLM)を開発した。 LLMが道徳教育・開発研究にどのように貢献するかについて検討する。
  論文  参考訳（メタデータ） (2023-06-23T22:39:05Z)
• Inaccessible Neural Language Models Could Reinvigorate Linguistic Nativism [0.0]
  大規模言語モデル(LLM)は、機械学習コミュニティで大きな波を呼んでいる。 この研究は、このアクセシビリティの欠如が、計算言語学に新しい研究者のナチビストバイアスを具現化できると主張している。 このような出来事は、言語処理コミュニティにおいて、新たなナチビズムの波を引き起こす可能性があると推測する。
  論文  参考訳（メタデータ） (2023-01-12T19:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。