論文の概要: Improving Natural Language Understanding for LLMs via Large-Scale Instruction Synthesis

• arxiv url: http://arxiv.org/abs/2502.03843v1
• Date: Thu, 06 Feb 2025 07:53:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:34:12.459162
• Title: Improving Natural Language Understanding for LLMs via Large-Scale Instruction Synthesis
• Title（参考訳）: 大規模命令合成によるLLMの自然言語理解の改善
• Authors: Lin Yuan, Jun Xu, Honghao Gui, Mengshu Sun, Zhiqiang Zhang, Lei Liang, Jun Zhou,
• Abstract要約: 自然言語理解の分野では、指導力の不足が深刻である。 これまでのNLU命令の構築は,主に情報抽出に重点を置いていた。 我々は,NLUタスクのための大規模かつ高品質な合成命令コーパスHumを提案する。
• 参考スコア（独自算出の注目度）: 13.70936635839382
• License:
• Abstract: High-quality, large-scale instructions are crucial for aligning large language models (LLMs), however, there is a severe shortage of instruction in the field of natural language understanding (NLU). Previous works on constructing NLU instructions mainly focus on information extraction (IE), neglecting tasks such as machine reading comprehension, question answering, and text classification. Furthermore, the lack of diversity in the data has led to a decreased generalization ability of trained LLMs in other NLU tasks and a noticeable decline in the fundamental model's general capabilities. To address this issue, we propose Hum, a large-scale, high-quality synthetic instruction corpus for NLU tasks, designed to enhance the NLU capabilities of LLMs. Specifically, Hum includes IE (either close IE or open IE), machine reading comprehension, text classification, and instruction generalist tasks, thereby enriching task diversity. Additionally, we introduce a human-LLMs collaborative mechanism to synthesize instructions, which enriches instruction diversity by incorporating guidelines, preference rules, and format variants. We conduct extensive experiments on 5 NLU tasks and 28 general capability evaluation datasets for LLMs. Experimental results show that Hum enhances the NLU capabilities of six LLMs by an average of 3.1\%, with no significant decline observed in other general capabilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)の整合には,高品質で大規模な命令が不可欠であるが,自然言語理解(NLU)の分野では非常に不足している。 これまでのNLU命令の構築は、主に情報抽出(IE)、機械読解、質問応答、テキスト分類などのタスクを無視することに焦点を当てていた。 さらに、データの多様性の欠如は、他のNLUタスクにおける訓練済みLLMの一般化能力の低下と、基本モデルの汎用能力の顕著な低下につながった。 この問題に対処するため,我々は,LLMのNLU能力を高めるために,大規模かつ高品質なNLUタスク用合成命令コーパスHumを提案する。 具体的には、IE(クローズIEまたはオープンIE)、機械読解、テキスト分類、命令ジェネリストタスクが含まれており、それによってタスクの多様性が向上する。 さらに,人間とLLMが協調して命令を合成する機構を導入し,ガイドラインや嗜好規則,フォーマットの変種を取り入れることで,命令の多様性を高める。 5つのNLUタスクと28の汎用能力評価データセットについて広範な実験を行った。 実験の結果,Humは6LLMのNLU能力を平均3.1\%向上させ,他の一般の能力では顕著な低下は見られなかった。

関連論文リスト

• BioMistral-NLU: Towards More Generalizable Medical Language Understanding through Instruction Tuning [19.027921909970832]
  汎用医療用NLUモデルであるBioMistral-NLUをMNLU-Instruct上で微調整して開発する。 我々のBioMistral-NLUはオリジナルのBioMistralよりも優れています。 多様なNLUタスクに対するデータセットに依存しないプロンプト戦略と命令チューニングのステップにより、多様な医療NLUタスク間のLLMの一般化性が向上する。
  論文  参考訳（メタデータ） (2024-10-24T17:53:53Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models [91.02730155418699]
  大規模言語モデル(LLM)は、自然言語命令に従うことで幅広いタスクを実行できる。 LLMに提供される命令の質を自動改善する新しい手法であるAuto-Instructを導入する。 118のアウトオブドメインタスクの実験では、Auto-Instructは人間による命令と既存のLCM生成命令のベースラインを超越している。
  論文  参考訳（メタデータ） (2023-10-19T19:52:55Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Improving Translation Faithfulness of Large Language Models via Augmenting Instructions [89.76691340615848]
  SWIE(Segment-Weighted Instruction Embedding)と命令追従データセットOVERMISSを提案する。 SWIEは、以下の入力および応答表現に大域的な命令表現を追加することにより、モデル命令理解を改善する。 OVERMISSは、オーバー翻訳とミス翻訳の結果を正しい翻訳と比較することにより、モデルの忠実度を向上させる。
  論文  参考訳（メタデータ） (2023-08-24T09:32:29Z)
• Metacognitive Prompting Improves Understanding in Large Language Models [12.112914393948415]
  メタ認知プロンプト(MP)は,人間の内省的推論プロセスにインスパイアされた戦略である。 我々は10の自然言語理解(NLU)データセットにまたがる4つの先行するLarge Language Model(LLM)の実験を行った。 MPは、一般的なNLUタスクとドメイン固有のNLUタスクの両方において、既存のプロンプトメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-08-10T05:10:17Z)
• Prompting Large Language Models for Counterfactual Generation: An Empirical Study [13.506528217009507]
  大規模言語モデル(LLM)は、幅広い自然言語理解と生成タスクにおいて顕著な進歩を遂げている。 本稿では,様々な種類のNLUタスクに対する総合的な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-24T06:44:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。