論文の概要: The Open Source Advantage in Large Language Models (LLMs)

• arxiv url: http://arxiv.org/abs/2412.12004v2
• Date: Sun, 02 Feb 2025 21:27:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 15:57:53.40324
• Title: The Open Source Advantage in Large Language Models (LLMs)
• Title（参考訳）: 大規模言語モデル(LLM)におけるオープンソースアドバンテージ
• Authors: Jiya Manchanda, Laura Boettcher, Matheus Westphalen, Jasser Jasser,
• Abstract要約: 大規模言語モデル(LLM)は急速に進歩した自然言語処理を持ち、テキスト生成、機械翻訳、ドメイン固有の推論といったタスクにおいて大きなブレークスルーを引き起こしている。 GPT-4のようなクローズドソースモデルは、最先端のパフォーマンスを提供するが、アクセシビリティを制限し、外部の監視を行う。 LLaMAやMixtralといったオープンソースフレームワークはアクセスを民主化し、コラボレーションを促進し、多様なアプリケーションをサポートする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have rapidly advanced natural language processing, driving significant breakthroughs in tasks such as text generation, machine translation, and domain-specific reasoning. The field now faces a critical dilemma in its approach: closed-source models like GPT-4 deliver state-of-the-art performance but restrict reproducibility, accessibility, and external oversight, while open-source frameworks like LLaMA and Mixtral democratize access, foster collaboration, and support diverse applications, achieving competitive results through techniques like instruction tuning and LoRA. Hybrid approaches address challenges like bias mitigation and resource accessibility by combining the scalability of closed-source systems with the transparency and inclusivity of open-source framework. However, in this position paper, we argue that open-source remains the most robust path for advancing LLM research and ethical deployment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は急速に進歩した自然言語処理を持ち、テキスト生成、機械翻訳、ドメイン固有の推論といったタスクにおいて大きなブレークスルーを引き起こしている。 GPT-4のようなクローズドソースモデルは、最先端のパフォーマンスを提供するが、再現性、アクセシビリティ、外部の監視を制限する。一方、LLaMAやMixtralといったオープンソースフレームワークは、アクセスを民主化し、コラボレーションを奨励し、多様なアプリケーションをサポートし、インストラクションチューニングやLoRAといった技術による競合的な結果を達成する。 ハイブリッドアプローチは、クローズドソースシステムのスケーラビリティとオープンソースフレームワークの透明性と傾斜度を組み合わせることで、バイアス軽減やリソースアクセシビリティといった課題に対処する。 しかし、本稿では、LLM研究と倫理的展開を進める上で、オープンソースが依然として最も堅牢な道であると論じている。

関連論文リスト

• The Role of Open-Source LLMs in Shaping the Future of GeoAI [11.083173173865491]
  大規模言語モデル(LLM)は地理空間人工知能(GeoAI)を変換している 本稿では,このトランスフォーメーションにおけるオープンソースパラダイムの役割について考察する。
  論文  参考訳（メタデータ） (2025-04-24T13:20:17Z)
• Syntactic and Semantic Control of Large Language Models via Sequential Monte Carlo [90.78001821963008]
  広い範囲のLMアプリケーションは、構文的制約や意味論的制約に適合するテキストを生成する必要がある。 我々は、連続モンテカルロ(SMC)に基づく制御LM生成のためのアーキテクチャを開発する。 我々のシステムはLew et al. (2023) のフレームワーク上に構築されており、言語モデル確率型プログラミング言語と統合されている。
  論文  参考訳（メタデータ） (2025-04-17T17:49:40Z)
• Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
  より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。 当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。 当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
  論文  参考訳（メタデータ） (2025-03-31T07:31:32Z)
• Distributed LLMs and Multimodal Large Language Models: A Survey on Advances, Challenges, and Future Directions [1.3638337521666275]
  言語モデル (LM) は、テキストなどの大規模データセットに基づいて単語列の確率を推定することにより、言語パターンを予測する機械学習モデルである。 より大きなデータセットは一般的にLM性能を高めるが、計算能力とリソースの制約のためスケーラビリティは依然として課題である。 近年の研究では、分散トレーニングと推論を可能にする分散型技術の開発に焦点が当てられている。
  論文  参考訳（メタデータ） (2025-03-20T15:18:25Z)
• Comprehensive Analysis of Transparency and Accessibility of ChatGPT, DeepSeek, And other SoTA Large Language Models [2.6900047294457683]
  オープンソース人工知能(AI)に関する議論が増えているが、既存の研究は、最先端(SoTA)大規模言語モデル(LLM)の透明性とアクセシビリティに関する議論を欠いている。 この研究は、ChatGPT、DeepSeek、LLaMAなどを含む過去5年間のSoTA LLMを批判的に分析し、透明性標準への準拠と部分的開放性の影響を評価する。 我々の研究結果によると、いくつかのモデルはオープンソースとしてラベル付けされているが、必ずしも完全にオープンソースであるとは限らない。
  論文  参考訳（メタデータ） (2025-02-21T23:53:13Z)
• Fully Open Source Moxin-7B Technical Report [38.13392000279939]
  大きな言語モデル(LLM)は、その人気と能力の急激な上昇によって、大きな変革を遂げている。 この問題を緩和するために、モデルオープンネスフレームワーク(MOF)に従って開発された完全にオープンソースなLLMであるMoxin 7Bを紹介します。 本モデルは,事前学習コードと構成の包括的リリースを通じて,オープンサイエンスのMOF分類レベルを最大化する。
  論文  参考訳（メタデータ） (2024-12-08T02:01:46Z)
• Rethinking Scale: The Efficacy of Fine-Tuned Open-Source LLMs in Large-Scale Reproducible Social Science Research [0.0]
  大規模言語モデル(LLM)は、パラメータのサイズと性能を規定するアーキテクチャによって区別される。 社会科学者はテキスト分類タスクにLLMを採用しており、人間のコーダーではスケールが難しい。 本研究は,ChatGPT-4 などのモデルに対して,小型かつ微調整のオープンソース LLM が同等あるいは優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-10-31T20:26:30Z)
• A Comprehensive Survey on Joint Resource Allocation Strategies in Federated Edge Learning [9.806901443019008]
  Federated Edge Learning (FEL)は、分散環境でのモデルトレーニングを可能にすると同時に、ユーザデータの物理的分離を利用することで、ユーザのプライバシを確保する。 IoT(Internet of Things)やSmart Earthといった複雑なアプリケーションシナリオの開発により、従来のリソース割り当てスキームは、これらの増大する計算および通信要求を効果的にサポートすることができなくなった。 本稿では,複数の資源需要が増大する中で,計算と通信の多面的課題を体系的に解決する。
  論文  参考訳（メタデータ） (2024-10-10T13:02:00Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Large Language Model as a Catalyst: A Paradigm Shift in Base Station Siting Optimization [62.16747639440893]
  大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。 提案するフレームワークは、検索拡張生成(RAG)を組み込んで、ドメイン固有の知識を取得してソリューションを生成するシステムの能力を高める。
  論文  参考訳（メタデータ） (2024-08-07T08:43:32Z)
• TRACE: TRansformer-based Attribution using Contrastive Embeddings in LLMs [50.259001311894295]
  TRACE と呼ばれるコントラスト埋め込みを用いた新しいTRansformer-based Attribution フレームワークを提案する。 TRACEは情報源の属性を精度良く改善し,大規模言語モデルの信頼性と信頼性を高める貴重なツールであることを示す。
  論文  参考訳（メタデータ） (2024-07-06T07:19:30Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Open-Source AI-based SE Tools: Opportunities and Challenges of Collaborative Software Learning [23.395624804517034]
  大規模言語モデル(LLM)は、ソフトウェア工学(SE)タスクの進展に役立っている。 これらのAIベースのSEモデルのコラボレーションは、高品質なデータソースの最大化に重点を置いている。 特に高品質のデータは、しばしば商業的または機密性の高い価値を持ち、オープンソースAIベースのSEプロジェクトではアクセスできない。
  論文  参考訳（メタデータ） (2024-04-09T10:47:02Z)
• FOFO: A Benchmark to Evaluate LLMs' Format-Following Capability [70.84333325049123]
  FoFoは、大規模言語モデル(LLM)の複雑なドメイン固有のフォーマットに従う能力を評価するための先駆的なベンチマークである。 本稿では,大規模言語モデル(LLM)の複雑なドメイン固有フォーマットに従う能力を評価するための先駆的ベンチマークであるFoFoを提案する。
  論文  参考訳（メタデータ） (2024-02-28T19:23:27Z)
• Open-Sourcing Highly Capable Foundation Models: An evaluation of risks, benefits, and alternative methods for pursuing open-source objectives [6.575445633821399]
  AIラボをオープンソースにするか、あるいはモデルへのアクセスを制限するという最近の決定は、議論を巻き起こした。 本稿では,高機能基盤モデルのオープンソース化のリスクとメリットについて考察する。
  論文  参考訳（メタデータ） (2023-09-29T17:03:45Z)
• External Reasoning: Towards Multi-Large-Language-Models Interchangeable Assistance with Human Feedback [0.0]
  本稿では、外部リポジトリからの知識の選択的統合により、LLM(Large Language Models)を拡張できることを提案する。 このアプローチの中心は、複数のLLMインターチェンジ支援に基づくTextbf外部推論のためのタイレッドポリシーの確立である。 結果は、Crefcomparisonにおける最先端のパフォーマンスを示し、ChatPDF.comを含む既存のソリューションを上回った。
  論文  参考訳（メタデータ） (2023-07-05T17:05:32Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)
• Universal Source-Free Domain Adaptation [57.37520645827318]
  ドメイン適応のための新しい2段階学習プロセスを提案する。 Procurementの段階では、今後のカテゴリギャップやドメインシフトに関する事前知識を前提とせず、将来的なソースフリーデプロイメントのためのモデルの提供を目標としています。 Deploymentの段階では、幅広いカテゴリギャップをまたいで動作可能な統一適応アルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2020-04-09T07:26:20Z)
• Towards Inheritable Models for Open-Set Domain Adaptation [56.930641754944915]
  本稿では、将来、ソースデータセットが存在しない場合の適応を容易にするために、ソース学習モデルを用いた実用的なドメイン適応パラダイムを提案する。 本稿では,ソースデータがない場合でも,対象領域に対して最適なソースモデルの選択を可能にするために,継承可能性の定量化を目的とする手法を提案する。
  論文  参考訳（メタデータ） (2020-04-09T07:16:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。