論文の概要: Diverse and Fine-Grained Instruction-Following Ability Exploration with Synthetic Data

• arxiv url: http://arxiv.org/abs/2407.03942v1
• Date: Thu, 4 Jul 2024 13:54:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 17:53:13.144247
• Title: Diverse and Fine-Grained Instruction-Following Ability Exploration with Synthetic Data
• Title（参考訳）: ディヴァースとファイングラインドインストラクション-合成データを用いた追従能力探索
• Authors: Zihui Gu, Xingwu Sun, Fengzong Lian, Zhanhui Kang, Cheng-Zhong Xu, Ju Fan,
• Abstract要約: 本稿では,細粒度で多彩なインストラクションフォロー評価データセットであるINGOを紹介する。 実世界のユーザリクエストから派生した130ノードからなる、手動で注釈付き、きめ細かな、マルチレベルのカテゴリツリーに基づいている。
• 参考スコア（独自算出の注目度）: 20.451720017247066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction-following is particularly crucial for large language models (LLMs) to support diverse user requests. While existing work has made progress in aligning LLMs with human preferences, evaluating their capabilities on instruction following remains a challenge due to complexity and diversity of real-world user instructions. While existing evaluation methods focus on general skills, they suffer from two main shortcomings, i.e., lack of fine-grained task-level evaluation and reliance on singular instruction expression. To address these problems, this paper introduces DINGO, a fine-grained and diverse instruction-following evaluation dataset that has two main advantages: (1) DINGO is based on a manual annotated, fine-grained and multi-level category tree with 130 nodes derived from real-world user requests; (2) DINGO includes diverse instructions, generated by both GPT-4 and human experts. Through extensive experiments, we demonstrate that DINGO can not only provide more challenging and comprehensive evaluation for LLMs, but also provide task-level fine-grained directions to further improve LLMs.
• Abstract（参考訳）: インストラクションフォローは、大きな言語モデル(LLM)が多様なユーザリクエストをサポートするために特に重要である。 既存の研究はLLMを人間の好みと整合させる作業を進めてきたが、実際のユーザ命令の複雑さと多様性のために、次の命令でそれらの能力を評価することは依然として課題である。 既存の評価手法は一般的なスキルに重点を置いているが、それらは2つの大きな欠点、すなわち、きめ細かいタスクレベルの評価の欠如と特異な命令表現への依存に悩まされている。 これらの問題を解決するために,本論文では,(1)実世界のユーザ要求から130ノードを抽出した手作業による注釈付き,きめ細かな,多段階のカテゴリツリーに基づく,指示追従型評価データセットであるINGOを紹介し,(2)GPT-4と人的専門家の双方によって生成された多様な命令を含む。 広範囲な実験を通じて, INGO は LLM に対してより困難かつ包括的な評価を行うだけでなく, タスクレベルのきめ細かな方向も提供し, LLM をさらに改善できることが実証された。

関連論文リスト

• Find the Intention of Instruction: Comprehensive Evaluation of Instruction Understanding for Large Language Models [8.020688053947547]
  LLM(Large Language Models)の重要な強みの1つは、与えられた指示に対する適切な応答を生成することによって、人間と対話する能力である。 この能力は命令追従能力として知られ、様々な分野におけるLSMの使用の基礎を確立している。 我々は、LLMが命令形式文によって容易に気を散らすことができ、それによって命令理解スキルの監視に繋がる可能性があることを指摘した。
  論文  参考訳（メタデータ） (2024-12-27T04:37:39Z)
• CoIN: A Benchmark of Continual Instruction tuNing for Multimodel Large Language Model [121.23360004498893]
  逐次的命令チューニングパラダイムにおける既存のMLLMを評価するためのベンチマークであるContinuous Instruction tuNing(CoIN)を提案する。 CoINの実験では、現在の強力なMLLMが依然として破滅的な忘れを被っていることが示されている。 従来の命令アライメントを維持するのに有効なMLLMにMoELoRAを導入する。
  論文  参考訳（メタデータ） (2024-03-13T08:54:31Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• InFoBench: Evaluating Instruction Following Ability in Large Language Models [57.27152890085759]
  Decomposed Requirements following Ratio (DRFR) は、命令に従うLarge Language Models (LLM) 能力を評価するための新しい指標である。 InFoBenchは500の多様な命令と2250の分解された質問を複数の制約カテゴリに分けたベンチマークである。
  論文  参考訳（メタデータ） (2024-01-07T23:01:56Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Through the Lens of Core Competency: Survey on Evaluation of Large Language Models [27.271533306818732]
  大規模言語モデル(LLM)は優れた性能と幅広い実用性を持っている。 既存の評価タスクは、現実世界のシナリオにおける幅広いアプリケーションに追いつくのは難しい。 LLMの4つのコア能力は、推論、知識、信頼性、安全性などである。 この能力アーキテクチャの下では、類似したタスクを組み合わせて対応する能力を反映し、新しいタスクをシステムに簡単に追加することができる。
  論文  参考訳（メタデータ） (2023-08-15T17:40:34Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。