論文の概要: Learning from "Silly" Questions Improves Large Language Models, But Only Slightly

• arxiv url: http://arxiv.org/abs/2411.14121v1
• Date: Thu, 21 Nov 2024 13:45:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:19:36.628804
• Title: Learning from "Silly" Questions Improves Large Language Models, But Only Slightly
• Title（参考訳）: Silly」質問から学ぶ:大規模言語モデルを改善するが、わずかに改善する
• Authors: Tingyuan Zhu, Shudong Liu, Yidong Wang, Derek F. Wong, Han Yu, Takahiro Shinozaki, Jindong Wang,
• Abstract要約: 本稿では,その成功の潜在的解釈と大規模評価という,隠れた要因について検討することを目的とする。 我々は, GPT-4を用いて, 教育, 心理学, 認知科学の観点から, ルージバ問題の成功事例を分析した。 意外なことに、我々の結果は、ルールが特定のタスクにおけるモデル性能を著しく改善する一方で、他のタスクにおけるパフォーマンスを低下させる可能性があることを示唆している。
• 参考スコア（独自算出の注目度）: 46.41255699142185
• License:
• Abstract: Constructing high-quality Supervised Fine-Tuning (SFT) datasets is critical for the training of large language models (LLMs). Recent studies have shown that using data from a specific source, Ruozhiba, a Chinese website where users ask "silly" questions to better understand certain topics, can lead to better fine-tuning performance. This paper aims to explore some hidden factors: the potential interpretations of its success and a large-scale evaluation of the performance. First, we leverage GPT-4 to analyze the successful cases of Ruozhiba questions from the perspective of education, psychology, and cognitive science, deriving a set of explanatory rules. Then, we construct fine-tuning datasets by applying these rules to the MMLU training set. Surprisingly, our results indicate that rules can significantly improve model performance in certain tasks, while potentially diminishing performance on others. For example, SFT data generated following the "Counterintuitive Thinking" rule can achieve approximately a 5% improvement on the "Global Facts" task, whereas the "Blurring the Conceptual Boundaries" rule leads to a performance drop of 6.14% on the "Econometrics" task. In addition, for specific tasks, different rules tend to have a consistent impact on model performance. This suggests that the differences between the extracted rules are not as significant, and the effectiveness of the rules is relatively consistent across tasks. Our research highlights the importance of considering task diversity and rule applicability when constructing SFT datasets to achieve more comprehensive performance improvements.
• Abstract（参考訳）: 高品質なSupervised Fine-Tuning(SFT)データセットの構築は、大規模言語モデル(LLM)のトレーニングに不可欠である。 最近の研究では、特定のソースからのデータを使用することで、ユーザーが特定のトピックをよりよく理解するために「シリー」な質問をする中国のウェブサイトであるRuozhibaが、より精巧なチューニングパフォーマンスをもたらすことが示されている。 本稿では,その成功の潜在的解釈と大規模評価という,隠れた要因について検討することを目的とする。 まず, GPT-4を用いて, 教育, 心理学, 認知科学の観点から, ルジバ問題の成功事例を分析し, 一連の説明規則を導出する。 そして、これらのルールをMMLUトレーニングセットに適用することにより、微調整データセットを構築する。 意外なことに、我々の結果は、ルールが特定のタスクにおけるモデル性能を著しく改善する一方で、他のタスクにおけるパフォーマンスを低下させる可能性があることを示唆している。 例えば、"Counterintuitive Thinking" のルールに従って生成された SFT データは、"Global Facts" のタスクで約5%改善できるが、"Blurring the Conceptual Boundaries" のルールでは、"Econometrics" のタスクでパフォーマンスが6.14%低下する。 さらに、特定のタスクでは、異なるルールがモデルのパフォーマンスに一貫した影響を与える傾向があります。 このことは、抽出されたルールの違いはそれほど重要ではなく、ルールの有効性はタスク間で比較的一貫性があることを示している。 本研究は、より包括的なパフォーマンス向上を実現するために、SFTデータセットを構築する際のタスク多様性とルール適用性を検討することの重要性を強調した。

関連論文リスト

• Mixing It Up: The Cocktail Effect of Multi-Task Fine-Tuning on LLM Performance -- A Case Study in Finance [0.32985979395737774]
  金融を含むドメイン固有の文脈における大規模言語モデル(LLM)の適用について検討する。 ターゲットタスクのみを微調整することが、必ずしも最も効果的な戦略であるとは限らない。 代わりに、マルチタスクの微調整はパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-01T22:35:56Z)
• Empirical Insights on Fine-Tuning Large Language Models for Question-Answering [50.12622877002846]
  大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。 我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。 実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2024-09-24T07:38:38Z)
• Less is More: High-value Data Selection for Visual Instruction Tuning [127.38740043393527]
  本稿では,視覚的命令データの冗長性を排除し,トレーニングコストを削減するために,高価値なデータ選択手法TIVEを提案する。 約15%のデータしか使用していない我々のアプローチは、8つのベンチマークで全データ微調整モデルに匹敵する平均性能を実現することができる。
  論文  参考訳（メタデータ） (2024-03-14T16:47:25Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Instruction Tuned Models are Quick Learners [20.771930945083994]
  そこで本研究では,各種タスクにおける指導調律モデルのサンプル効率について述べる。 STL設定では、下流列車データの25%を備えた指導調律モデルが下流タスクのSOTA性能を上回っている。 MTL設定では、下流のトレーニングデータの6%しか訓練されていない指導調律モデルがSOTAを達成する一方で、100%のトレーニングデータを使用することで3.69%の改善が達成される。
  論文  参考訳（メタデータ） (2023-05-17T22:30:01Z)
• Exploring the Impact of Instruction Data Scaling on Large Language Models: An Empirical Study on Real-World Use Cases [17.431381376675432]
  本稿では,命令データのスケールの異なる命令データに対して,命令チューニングに基づく大規模言語モデルの性能について検討する。 ベースモデルとしてBloomz-7B1-mtを用いると、命令データの量を増やすだけで、オープン・エンド・ジェネレーションのようなタスクが継続的に改善されることが示される。 本稿では,高品質なトレーニングデータ,スケールベースモデル,ハードタスクに特化したトレーニング手法を効果的に選択する,といった将来的な研究方向を提案する。
  論文  参考訳（メタデータ） (2023-03-26T14:49:37Z)
• Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering [80.60605604261416]
  本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。 言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。 個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
  論文  参考訳（メタデータ） (2020-11-07T22:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。