論文の概要: Rethinking Scale: The Efficacy of Fine-Tuned Open-Source LLMs in Large-Scale Reproducible Social Science Research

• arxiv url: http://arxiv.org/abs/2411.00890v1
• Date: Thu, 31 Oct 2024 20:26:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:51:47.740010
• Title: Rethinking Scale: The Efficacy of Fine-Tuned Open-Source LLMs in Large-Scale Reproducible Social Science Research
• Title（参考訳）: 大規模再生可能社会科学研究におけるファインチューニング型オープンソースLLMの有効性
• Authors: Marcello Carammia, Stefano Maria Iacus, Giuseppe Porro,
• Abstract要約: 大規模言語モデル(LLM)は、パラメータのサイズと性能を規定するアーキテクチャによって区別される。 社会科学者はテキスト分類タスクにLLMを採用しており、人間のコーダーではスケールが難しい。 本研究は,ChatGPT-4 などのモデルに対して,小型かつ微調整のオープンソース LLM が同等あるいは優れた性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large Language Models (LLMs) are distinguished by their architecture, which dictates their parameter size and performance capabilities. Social scientists have increasingly adopted LLMs for text classification tasks, which are difficult to scale with human coders. While very large, closed-source models often deliver superior performance, their use presents significant risks. These include lack of transparency, potential exposure of sensitive data, challenges to replicability, and dependence on proprietary systems. Additionally, their high costs make them impractical for large-scale research projects. In contrast, open-source models, although available in various sizes, may underperform compared to commercial alternatives if used without further fine-tuning. However, open-source models offer distinct advantages: they can be run locally (ensuring data privacy), fine-tuned for specific tasks, shared within the research community, and integrated into reproducible workflows. This study demonstrates that small, fine-tuned open-source LLMs can achieve equal or superior performance to models such as ChatGPT-4. We further explore the relationship between training set size and fine-tuning efficacy in open-source models. Finally, we propose a hybrid workflow that leverages the strengths of both open and closed models, offering a balanced approach to performance, transparency, and reproducibility.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、パラメータのサイズと性能を規定するアーキテクチャによって区別される。 社会科学者はテキスト分類タスクにLLMを採用しており、人間のコーダーではスケールが難しい。 非常に大規模でクローズドソースなモデルは、しばしば優れたパフォーマンスをもたらすが、それらの使用は重大なリスクをもたらす。 これには透明性の欠如、機密データの潜在的な露出、複製性への挑戦、プロプライエタリなシステムへの依存が含まれる。 さらに、その高コストは大規模な研究プロジェクトにとって実用的ではない。 対照的に、オープンソースモデルは様々なサイズで利用できるが、さらなる微調整なしで使用する場合、商用の代替品に比べて性能が劣る可能性がある。 しかし、オープンソースモデルは、ローカルで(データプライバシの保証)実行でき、特定のタスクのために微調整され、研究コミュニティ内で共有され、再現可能なワークフローに統合される、という、明確な利点がある。 本研究は,ChatGPT-4 などのモデルに対して,小型かつ微調整のオープンソース LLM が同等あるいは優れた性能を発揮することを示す。 さらに、オープンソースモデルにおけるトレーニングセットのサイズと微調整の有効性の関係について検討する。 最後に、オープンモデルとクローズドモデルの両方の長所を活用し、パフォーマンス、透明性、再現性に対するバランスのとれたアプローチを提供するハイブリッドワークフローを提案する。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• EasyJudge: an Easy-to-use Tool for Comprehensive Response Evaluation of LLMs [6.179084469089114]
  本稿では,重要な言語モデル応答を評価するために開発された EasyJudge を提案する。 軽量で、正確で、効率的で、ユーザフレンドリで、デプロイや使用が容易な、直感的な視覚化インターフェースを備えている。
  論文  参考訳（メタデータ） (2024-10-13T08:24:12Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• AXOLOTL: Fairness through Assisted Self-Debiasing of Large Language Model Outputs [20.772266479533776]
  AXOLOTLはタスクやモデル間で不可知的に動作する新しい後処理フレームワークである。 バイアスを識別し、解像度を提案し、モデルにアウトプットを自己バイアスさせる。 このアプローチは計算コストを最小化し、モデル性能を保存する。
  論文  参考訳（メタデータ） (2024-03-01T00:02:37Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows [72.40917624485822]
  我々は、研究者が強力な大規模言語モデルを実装することができるオープンソースのPythonライブラリであるDataDreamerを紹介した。 DataDreamerはまた、オープンサイエンスを促進するために提案するベストプラクティスに研究者が従うのを助ける。
  論文  参考訳（メタデータ） (2024-02-16T00:10:26Z)
• Building Real-World Meeting Summarization Systems using Large Language Models: A Practical Perspective [8.526956860672698]
  本稿では,大規模言語モデル(LLM)を用いた実世界利用のための会議要約システムを効果的に構築する方法について検討する。 以上の結果から,ほとんどのクローズドソース LLM は性能的に優れていることが判明した。 LLaMA-2 (7Bと13B) のようなより小さなオープンソースモデルは、ゼロショットシナリオでも大きなクローズドソースモデルに匹敵するパフォーマンスを達成することができた。
  論文  参考訳（メタデータ） (2023-10-30T02:25:21Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Open, Closed, or Small Language Models for Text Classification? [10.186568241388331]
  我々は,3つの異なるNLPタスクにまたがる8つのデータセットを用いて,モデルの3つのクラスを評価する。 オープンソースモデルは、微調整によってクローズドソースモデルに匹敵する可能性がある。 本研究は,タスク要求に基づくモデル選択の重要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2023-08-19T18:58:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。