論文の概要: TaxoLLaMA: WordNet-based Model for Solving Multiple Lexical Semantic Tasks

• arxiv url: http://arxiv.org/abs/2403.09207v2
• Date: Mon, 17 Jun 2024 16:43:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 05:27:06.210321
• Title: TaxoLLaMA: WordNet-based Model for Solving Multiple Lexical Semantic Tasks
• Title（参考訳）: TaxoLLaMA:複数語彙意味課題の解決のためのWordNetベースのモデル
• Authors: Viktor Moskvoretskii, Ekaterina Neminova, Alina Lobanova, Alexander Panchenko, Irina Nikishina,
• Abstract要約: 本稿では,LLMがWordNetから語彙・意味的知識を抽出する能力について検討する。 4ビット量子化とLoRAにより軽量なオールインワンモデルであるTaxoLLaMAを提案する。
• 参考スコア（独自算出の注目度）: 54.01153045234468
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this paper, we explore the capabilities of LLMs in capturing lexical-semantic knowledge from WordNet on the example of the LLaMA-2-7b model and test it on multiple lexical semantic tasks. As the outcome of our experiments, we present TaxoLLaMA, the everything-in-one model, lightweight due to 4-bit quantization and LoRA. It achieves 11 SotA results, 4 top-2 results out of 16 tasks for the Taxonomy Enrichment, Hypernym Discovery, Taxonomy Construction, and Lexical Entailment tasks. Moreover, it demonstrates very strong zero-shot performance on Lexical Entailment and Taxonomy Construction with no fine-tuning. We also explore its hidden multilingual and domain adaptation capabilities with a little tuning or few-shot learning. All datasets, code, and model are available online at https://github.com/VityaVitalich/TaxoLLaMA
• Abstract（参考訳）: 本稿では,LLaMA-2-7bモデルの例を用いて,WordNetから語彙意味知識を抽出し,複数の語彙意味タスクで検証するLLMの機能について検討する。 実験の結果,4ビット量子化とLoRAにより軽量なオールインワンモデルであるTaxoLLaMAを提案する。 SotAの結果は11で、分類の豊かさ、ハイパーネム発見、分類構築、レキシカル・エンテリメントの16のタスクのうち4つのトップ2が達成されている。 さらに、レキシカルエンターメントと分類構築において、微調整なしで非常に強力なゼロショット性能を示す。 また、その隠れた多言語およびドメイン適応機能についても、少しチューニングしたり、ほんの少しの学習で調べます。 すべてのデータセット、コード、モデルはhttps://github.com/VityaVitalich/TaxoLLaMAで公開されている。

関連論文リスト

• D2LLM: Decomposed and Distilled Large Language Models for Semantic Search [18.63768158439252]
  D2LLMs-Decomposed and Distilled LLMs for semantic search。 クロスエンコーダを効率的なバイエンコーダに分解し,マルチヘッド・アテンションとインタラクション・エミュレーション・モジュールによるポーリングと統合する。 実験の結果,D2LLMは3つのタスクにまたがるすべての指標において,主要なベースラインを5つ超えていることがわかった。
  論文  参考訳（メタデータ） (2024-06-25T04:03:04Z)
• VEGA: Learning Interleaved Image-Text Comprehension in Vision-Language Large Models [76.94378391979228]
  我々は、Interleaved Image-Text (IITC) と呼ばれる、より要求の多い新しいタスクを導入する。 この課題は、画像とテキストの両方の過剰な要素を識別・無視し、質問に正確に答えるためにモデルに挑戦する。 このタスクを支援するために、科学コンテンツに関するIITCタスクに適した新しいVEGAデータセットを構築し、サブタスクである画像テキストアソシエーション(ITA)を考案した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:40Z)
• Unveiling the Lexical Sensitivity of LLMs: Combinatorial Optimization for Prompt Enhancement [11.363521189714504]
  大規模言語モデル(LLM)は,タスク命令の語彙変化に対して過敏であることを示す。 プロンプト語彙強調(COPLE)のためのブラックボックス組合せ最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:53:59Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [77.66158066013924]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• Octavius: Mitigating Task Interference in MLLMs via LoRA-MoE [85.76186554492543]
  LLM(Large Language Models)は、命令チューニングを通じて、ゼロショット能力をマルチモーダル学習に拡張することができる。 ネガティブな対立や干渉は パフォーマンスに悪影響を及ぼすかもしれない 我々は,MLLMを用いたマルチモーダル学習に関する総合的な研究と実験を行うための,Octaviusと呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-05T15:48:29Z)
• Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
  Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。 Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。 実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:31:58Z)
• Text2KGBench: A Benchmark for Ontology-Driven Knowledge Graph Generation from Text [2.396908230113859]
  大規模言語モデル (LLM) と創発的機能を持つ基礎モデルは、多くのNLPタスクの性能を向上させることが示されている。 オントロジーでガイドされた自然言語テキストから知識グラフ(KG)を生成する言語モデルの能力を評価するベンチマークであるText2KGBenchを提案する。
  論文  参考訳（メタデータ） (2023-08-04T14:47:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。