論文の概要: Laboratory-Scale AI: Open-Weight Models are Competitive with ChatGPT Even in Low-Resource Settings
- arxiv url: http://arxiv.org/abs/2405.16820v1
- Date: Mon, 27 May 2024 04:38:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 17:00:31.521472
- Title: Laboratory-Scale AI: Open-Weight Models are Competitive with ChatGPT Even in Low-Resource Settings
- Title（参考訳）: 実験室規模のAI:低リソース環境でもオープンウェイトモデルはChatGPTと競合する
- Authors: Robert Wolfe, Isaac Slaughter, Bin Han, Bingbing Wen, Yiwei Yang, Lucas Rosenblatt, Bernease Herman, Eva Brown, Zening Qu, Nic Weber, Bill Howe,
- Abstract要約: 非営利のクローズドウェイトモデルは、透明性、プライバシ、適応性、証拠の標準の要件と互換性がないと考えています。
GPT-4-Turboをゼロショット、少数ショット、微調整で置き換えるために、より小型でオープンウェイトなモデルを使用することの可能性を評価する。
比較的低い労力、非常に低い絶対的な金銭的コスト、そして微調整のための比較的少ないデータによって、小さなオープンウェイトモデルが競争的なパフォーマンスを達成することができる。
- 参考スコア（独自算出の注目度）: 11.878413021518194
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The rapid proliferation of generative AI has raised questions about the competitiveness of lower-parameter, locally tunable, open-weight models relative to high-parameter, API-guarded, closed-weight models in terms of performance, domain adaptation, cost, and generalization. Centering under-resourced yet risk-intolerant settings in government, research, and healthcare, we see for-profit closed-weight models as incompatible with requirements for transparency, privacy, adaptability, and standards of evidence. Yet the performance penalty in using open-weight models, especially in low-data and low-resource settings, is unclear. We assess the feasibility of using smaller, open-weight models to replace GPT-4-Turbo in zero-shot, few-shot, and fine-tuned regimes, assuming access to only a single, low-cost GPU. We assess value-sensitive issues around bias, privacy, and abstention on three additional tasks relevant to those topics. We find that with relatively low effort, very low absolute monetary cost, and relatively little data for fine-tuning, small open-weight models can achieve competitive performance in domain-adapted tasks without sacrificing generality. We then run experiments considering practical issues in bias, privacy, and hallucination risk, finding that open models offer several benefits over closed models. We intend this work as a case study in understanding the opportunity cost of reproducibility and transparency over for-profit state-of-the-art zero shot performance, finding this cost to be marginal under realistic settings.
- Abstract（参考訳）: 生成AIの急速な普及は、パフォーマンス、ドメイン適応、コスト、一般化の点で、ハイパラメータ、APIガード、クローズドウェイトモデルと比較して、低パラメータ、ローカルチューニング可能、オープンウェイトモデルの競争性に関する疑問を提起している。
政府、研究、医療における過度にリソース不足でリスクを伴わない設定を中心に、営利目的のクローズドウェイトモデルは、透明性、プライバシ、適応性、証拠の基準の要件と相容れないものだと考えています。
しかし、特に低データおよび低リソース設定において、オープンウェイトモデルを使用する際のパフォーマンス上のペナルティは不明確である。
GPT-4-Turboをゼロショット、少数ショット、微調整で置き換えるために、より小型でオープンウェイトなモデルを使用することの可能性を評価する。
偏見、プライバシー、棄権に関する価値に敏感な問題を、これらのトピックに関連する3つのタスクについて評価する。
比較的低い労力、非常に低い絶対的な金銭的コスト、そして微調整のための比較的少ないデータで、小さなオープンウェイトモデルでは、一般性を犠牲にすることなく、ドメイン適応タスクにおいて競争的なパフォーマンスを達成することができる。
次に、バイアス、プライバシ、幻覚リスクの実践的な問題を考慮した実験を行い、オープンモデルがクローズドモデルに対していくつかのメリットをもたらすことを発見した。
我々は、この研究を、営利目的のゼロショットのパフォーマンスよりも再現性と透明性の機会コストを理解するためのケーススタディとして、現実的な環境下では、このコストが限界となることを発見したいと考えています。
関連論文リスト
- SLIM: Spuriousness Mitigation with Minimal Human Annotations [24.863960194779875]
深層学習における素早い相関を減らし,費用対効果と性能を目標としたSLIMを導入する。
複雑なトレーニング戦略よりもデータ品質を優先することにより、SLIMはより小さいがより機能バランスの取れたデータサブセットをキュレートし、スプリアスネス・ロバストモデルの開発を促進する。
論文 参考訳（メタデータ） (2024-07-08T04:15:44Z) - Automated Text Scoring in the Age of Generative AI for the GPU-poor [49.1574468325115]
自動テキストスコアリングのためのオープンソースの小規模生成言語モデルの性能と効率を解析する。
以上の結果から, GLMは, 最先端の高性能化には至らず, 適正な調整が可能であることが示唆された。
論文 参考訳（メタデータ） (2024-07-02T01:17:01Z) - Improving Large Models with Small models: Lower Costs and Better Performance [81.55672406002715]
我々は,小型モデルと大規模モデルの協調のための一般的なパラダイムであるData Shunt$+$ (DS$+$)を提案する。
例えば、ChatGPTはAmazon Productの感情分析で9,43%の精度を達成し、DS$+は9,5.64%の精度を達成している。
論文 参考訳（メタデータ） (2024-06-15T14:44:43Z) - IMFL-AIGC: Incentive Mechanism Design for Federated Learning Empowered by Artificial Intelligence Generated Content [15.620004060097155]
フェデレートラーニング(FL)は、クライアントがローカルデータをアップロードすることなく、共有グローバルモデルを協調的にトレーニングできる、有望なパラダイムとして登場した。
顧客参加を促すため,データ品質を考慮したインセンティブ機構を提案する。
提案したメカニズムは,トレーニングの精度が高く,実世界のデータセットによるサーバコストの最大53.34%を削減できる。
論文 参考訳（メタデータ） (2024-06-12T07:47:22Z) - Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。
本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。
低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
論文 参考訳（メタデータ） (2024-05-28T20:43:53Z) - Fast Model Debias with Machine Unlearning [54.32026474971696]
ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。
既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。
バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
論文 参考訳（メタデータ） (2023-10-19T08:10:57Z) - Democratizing LLMs: An Exploration of Cost-Performance Trade-offs in
Self-Refined Open-Source Models [53.859446823312126]
SoTAは7Bから65Bまでのさまざまなサイズのオープンソースモデルを平均して、ベースラインのパフォーマンスから8.2%改善している。
厳密に言えば、Vicuna-7Bのような非常に小さなメモリフットプリントを持つモデルでさえ、全体的な11.74%の改善と、高い創造性、オープンエンドタスクの25.39%の改善を示している。
論文 参考訳（メタデータ） (2023-10-11T15:56:00Z) - Fairness Reprogramming [42.65700878967251]
モデル再プログラミング手法を取り入れたFairRe Programと呼ばれる新しい汎用フェアネス学習パラダイムを提案する。
具体的には、FairRe Programはモデルを変更することができず、フェアネストリガと呼ばれる一連の摂動を入力に追加するケースについて検討している。
我々は,固定MLモデルの出力予測において,公平性トリガが効果的に人口統計バイアスを曖昧にすることができることを理論的および実証的に示す。
論文 参考訳（メタデータ） (2022-09-21T09:37:00Z) - Quantization for decentralized learning under subspace constraints [61.59416703323886]
エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。
本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。
この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
論文 参考訳（メタデータ） (2022-09-16T09:38:38Z) - Promoting Fairness through Hyperparameter Optimization [4.479834103607383]
この研究は、現実世界の不正検出アプリケーションの文脈において、従来のMLモデル開発から生じる不公平さを探求する。
本稿では,一般的な3つのhoアルゴリズム,fair random search,fair tpe,fairbandの提案と評価を行う。
我々は、現実の銀行口座の不正使用事例のオープニングと、フェアネス文献からの3つのデータセットに対するアプローチを検証する。
論文 参考訳（メタデータ） (2021-03-23T17:36:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。