論文の概要: The Open Source Advantage in Large Language Models (LLMs)

• arxiv url: http://arxiv.org/abs/2412.12004v1
• Date: Mon, 16 Dec 2024 17:32:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:01:07.579520
• Title: The Open Source Advantage in Large Language Models (LLMs)
• Title（参考訳）: 大規模言語モデル(LLM)におけるオープンソースアドバンテージ
• Authors: Jiya Manchanda, Laura Boettcher, Matheus Westphalen, Jasser Jasser,
• Abstract要約: 大規模言語モデル(LLM)は自然言語処理(NLP)の重要な転換点である。 LLaMAやBLOOMといったオープンソースのイニシアチブは、コミュニティ主導の開発と計算効率による民主化を優先している。 確実に、クローズドソースアプローチとオープンソースアプローチの緊張は、AIにおける透明性とコントロールに関するより広範な議論を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large language models (LLMs) mark a key shift in natural language processing (NLP), having advanced text generation, translation, and domain-specific reasoning. Closed-source models like GPT-4, powered by proprietary datasets and extensive computational resources, lead with state-of-the-art performance today. However, they face criticism for their "black box" nature and for limiting accessibility in a manner that hinders reproducibility and equitable AI development. By contrast, open-source initiatives like LLaMA and BLOOM prioritize democratization through community-driven development and computational efficiency. These models have significantly reduced performance gaps, particularly in linguistic diversity and domain-specific applications, while providing accessible tools for global researchers and developers. Notably, both paradigms rely on foundational architectural innovations, such as the Transformer framework by Vaswani et al. (2017). Closed-source models excel by scaling effectively, while open-source models adapt to real-world applications in underrepresented languages and domains. Techniques like Low-Rank Adaptation (LoRA) and instruction-tuning datasets enable open-source models to achieve competitive results despite limited resources. To be sure, the tension between closed-source and open-source approaches underscores a broader debate on transparency versus proprietary control in AI. Ethical considerations further highlight this divide. Closed-source systems restrict external scrutiny, while open-source models promote reproducibility and collaboration but lack standardized auditing documentation frameworks to mitigate biases. Hybrid approaches that leverage the strengths of both paradigms are likely to shape the future of LLM innovation, ensuring accessibility, competitive technical performance, and ethical deployment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、高度なテキスト生成、翻訳、ドメイン固有の推論を持つ自然言語処理(NLP)の重要な転換点である。 プロプライエタリなデータセットと広範な計算リソースを駆使したGPT-4のようなクローズドソースモデルは、今日の最先端のパフォーマンスをリードしている。 しかし、彼らは「ブラックボックス」の性質と、再現性と平等なAI開発を妨げる方法でアクセシビリティを制限することに対する批判に直面している。 対照的に、LLaMAやBLOOMのようなオープンソースのイニシアチブは、コミュニティ主導の開発と計算効率を通じて民主化を優先している。 これらのモデルは、特に言語的多様性とドメイン固有のアプリケーションにおいて、パフォーマンスのギャップを著しく減らし、グローバルな研究者や開発者にとってアクセス可能なツールを提供している。 特に、両パラダイムは、Vaswani et al (2017)によるTransformerフレームワークなど、基本的なアーキテクチャ革新に依存している。 クローズド・ソース・モデルは効果的にスケーリングすることで優れ、一方、オープンソース・モデルは、表現不足の言語やドメインにおける現実世界のアプリケーションに適応する。 Low-Rank Adaptation (LoRA)やインストラクションチューニングデータセットのような技術により、限られたリソースにもかかわらず、オープンソースのモデルが競合する結果を達成することができる。 確実に、クローズドソースアプローチとオープンソースアプローチの緊張は、AIにおけるプロプライエタリなコントロールに対する透明性に関する広範な議論を浮き彫りにする。 倫理的な考慮は、この分割をさらに強調する。 クローズドソースシステムは外部の精査を制限する一方で、オープンソースモデルは再現性とコラボレーションを促進するが、バイアスを軽減するための標準化された監査ドキュメントフレームワークは欠如している。 両方のパラダイムの長所を生かしたハイブリッドアプローチは、LLMイノベーションの未来、アクセシビリティ、競争力のある技術的パフォーマンス、倫理的展開を形作る可能性が高い。

関連論文リスト

• Is Open Source the Future of AI? A Data-Driven Approach [41.94295877935867]
  大規模言語モデル(LLM)は、学術と産業の中心となっている。 鍵となる問題は、プロプライエタリなモデルの信頼性であり、オープンソースはしばしばソリューションとして提案される。 オープンソースは、潜在的な誤用、財務上の不利益、知的財産権の懸念など、課題を提示している。
  論文  参考訳（メタデータ） (2025-01-27T09:03:49Z)
• A Comprehensive Survey on Joint Resource Allocation Strategies in Federated Edge Learning [9.806901443019008]
  Federated Edge Learning (FEL)は、分散環境でのモデルトレーニングを可能にすると同時に、ユーザデータの物理的分離を利用することで、ユーザのプライバシを確保する。 IoT(Internet of Things)やSmart Earthといった複雑なアプリケーションシナリオの開発により、従来のリソース割り当てスキームは、これらの増大する計算および通信要求を効果的にサポートすることができなくなった。 本稿では,複数の資源需要が増大する中で,計算と通信の多面的課題を体系的に解決する。
  論文  参考訳（メタデータ） (2024-10-10T13:02:00Z)
• Large Language Model as a Catalyst: A Paradigm Shift in Base Station Siting Optimization [62.16747639440893]
  大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。 提案するフレームワークは、検索拡張生成(RAG)を組み込んで、ドメイン固有の知識を取得してソリューションを生成するシステムの能力を高める。
  論文  参考訳（メタデータ） (2024-08-07T08:43:32Z)
• TRACE: TRansformer-based Attribution using Contrastive Embeddings in LLMs [50.259001311894295]
  TRACE と呼ばれるコントラスト埋め込みを用いた新しいTRansformer-based Attribution フレームワークを提案する。 TRACEは情報源の属性を精度良く改善し,大規模言語モデルの信頼性と信頼性を高める貴重なツールであることを示す。
  論文  参考訳（メタデータ） (2024-07-06T07:19:30Z)
• Evaluating the Efficacy of Open-Source LLMs in Enterprise-Specific RAG Systems: A Comparative Study of Performance and Scalability [0.0]
  本稿では,オープンソースの大規模言語モデル(LLM)とその検索・拡張生成(RAG)タスクへの応用について述べる。 この結果から,オープンソースのLCMと効果的な埋め込み技術が組み合わさって,RAGシステムの精度と効率を大幅に向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-06-17T11:22:25Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• Is open source software culture enough to make AI a common ? [0.0]
  言語モデル(LM)は人工知能(AI)の分野でますます普及している この疑問は、ユーザコミュニティによって管理され、維持される共通のリソースであるかどうかというものである。 LMを作成するのに必要なデータとリソースをコモンズとして扱うことの潜在的な利点を強調します。
  論文  参考訳（メタデータ） (2024-03-19T14:43:52Z)
• FOFO: A Benchmark to Evaluate LLMs' Format-Following Capability [70.84333325049123]
  FoFoは、大規模言語モデル(LLM)の複雑なドメイン固有のフォーマットに従う能力を評価するための先駆的なベンチマークである。 本稿では,大規模言語モデル(LLM)の複雑なドメイン固有フォーマットに従う能力を評価するための先駆的ベンチマークであるFoFoを提案する。
  論文  参考訳（メタデータ） (2024-02-28T19:23:27Z)
• GlotLID: Language Identification for Low-Resource Languages [51.38634652914054]
  GlotLID-M は広い範囲、信頼性、効率性のデシラタを満たす LID モデルである。 1665の言語を識別し、以前の作業に比べてカバー範囲が大幅に増加した。
  論文  参考訳（メタデータ） (2023-10-24T23:45:57Z)
• External Reasoning: Towards Multi-Large-Language-Models Interchangeable Assistance with Human Feedback [0.0]
  本稿では、外部リポジトリからの知識の選択的統合により、LLM(Large Language Models)を拡張できることを提案する。 このアプローチの中心は、複数のLLMインターチェンジ支援に基づくTextbf外部推論のためのタイレッドポリシーの確立である。 結果は、Crefcomparisonにおける最先端のパフォーマンスを示し、ChatPDF.comを含む既存のソリューションを上回った。
  論文  参考訳（メタデータ） (2023-07-05T17:05:32Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。