論文の概要: Thomson: Continual Learning of Frontier Models for SovereignAI
- arxiv url: http://arxiv.org/abs/2608.27147v1
- Date: Thu, 27 Aug 2026 13:59:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.435977
- Title: Thomson: Continual Learning of Frontier Models for SovereignAI
- Title（参考訳）: Thomson: SovereignAIのためのフロンティアモデルの継続的な学習
- Abstract要約: 我々は、フロンティアのパフォーマンスは、利用可能なオープンウェイトモデル上での継続学習を通じて、幅広い機関によって達成可能であると論じる。
我々はこれを、ハイテイクなプロの仕事に集中して訓練された汎用フロンティアモデルThomsonで実証する。
- 参考スコア（独自算出の注目度）: 20.382494818209253
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: The development of frontier models is commonly perceived to be the exclusive remit of a small number of heavily funded players, creating an information, economic and power asymmetry between developers and the diverse user base of modern AI. Recent public discourse acknowledges this concern, calling for SovereignAI (an organisation's capability to independently build, deploy and govern AI use), but offers little concrete advice on how this can be achieved in the short term under a diversity of funding settings. We argue that frontier performance is achievable by a wide range of institutions through Continual Learning on readily available open-weight models. Unlike limited approaches such as small-scale fine-tuning, prompt engineering, or tool-augmentation of a frozen model, our approach exploits a modern mid- & post-training stack while introducing safeguards that preserve both plasticity and stability at each stage, making the minimal number of high-impact interventions on the parameters. This yields gains comparable to those typically seen across multiple successive model generations, at compute and personnel budgets substantially lower than commonly thought, making ownership of large parts of the SovereignAI stack (model, tool infrastructure, values & data privacy) viable for far more actors. We demonstrate this with Thomson, a general-purpose frontier model trained with an enhanced focus on high-stakes professional work. Thomson performs competitively with recent frontier models across agentic tasks, safety, legal, tax & multilingualism, and large-scale Deep Research. Evaluations show a distinctive $π$-shaped pattern: distinct improvements across a wide range of capabilities, including those not explicitly targeted, while almost completely eliminating the forgetting problem common to narrow domain adaptation.
- Abstract（参考訳）: フロンティアモデルの開発は、少数の巨額の資金提供を受けたプレイヤーの排他的許可であり、開発者と現代のAIの多様なユーザー基盤の間に情報、経済的、パワー非対称性を生み出す。
最近の公開談話では、SovereignAI(AI使用を独立して構築、デプロイ、管理する組織の能力)を呼びかけて、この懸念を認めているが、資金設定の多様性の下で短期的にどのように達成できるかについて、具体的なアドバイスはほとんどない。
我々は、フロンティアのパフォーマンスは、利用可能なオープンウェイトモデル上での継続学習を通じて、幅広い機関によって達成可能であると論じる。
小型微調整や急速加工,凍結モデルのツール強化といった限定的なアプローチとは異なり,本手法では,各段階における塑性と安定性を両立させる安全ガードを導入し,パラメータへの高インパクト介入を最小限に抑えるとともに,現代の中・後訓練スタックを活用する。
計算と人事予算は一般的に考えられているよりも大幅に低く、SovereignAIスタックの大部分(モデル、ツールインフラストラクチャ、価値、データプライバシ)の所有権は、はるかに多くのアクターに対して有効である。
我々はこれを、ハイテイクなプロの仕事に集中して訓練された汎用フロンティアモデルThomsonで実証する。
トムソンは、エージェント的タスク、安全、法律、税と多言語主義、大規模ディープリサーチなど、近年のフロンティアモデルと競争力がある。
評価は、特有な$π$のパターンを示しており、明示的に標的にされていないものを含め、幅広い機能で異なる改善がなされている一方で、狭い領域適応に共通する忘れる問題をほぼ完全に排除している。
関連論文リスト
- DeRelayL: Sustainable Decentralized Relay Learning [53.733457724691654]
本稿では,分散リレー学習(DeRelayL)という新しい学習パラダイムを提案する。
DeRelayLは、無許可の参加者がリレー的な方法でモデルのトレーニングに貢献し、モデルを共有する、持続可能な学習システムである。
本稿では,DeRelayLのアーキテクチャとワークフローについて述べるとともに,持続可能性を確保するためのインセンティブ機構を設計し,理論解析と数値シミュレーションを行い,その有効性を実証する。
論文 参考訳（メタデータ） (2026-04-30T15:45:30Z) - EoS-FM: Can an Ensemble of Specialist Models act as a Generalist Feature Extractor? [8.178030486012437]
リモートセンシングファウンデーションモデル(RSFM)構築のためのアンサンブル・オブ・スペシャリストフレームワークを提案する。
本手法はトレーニングプロセスを,凍結・再利用可能な軽量でタスク固有のConvNeXtV2専門家に分解する。
我々のフレームワークは、スケーラブルで効率的なRSFMを構築するための新しい方向を設定します。
論文 参考訳（メタデータ） (2025-11-26T15:52:56Z) - Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs [80.72350166388601]
Nemotron Elasticは推論指向のLLMを構築するためのフレームワークである。
ネストしたサブモデルを単一の親モデルに組み込む。
これらのサブモデルはそれぞれ、親モデルと重みを共有し、デプロイ中にゼロショットを抽出できる。
論文 参考訳（メタデータ） (2025-11-20T18:59:21Z) - NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。
NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。
さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
論文 参考訳（メタデータ） (2025-10-15T16:25:18Z) - Revealing the Power of Post-Training for Small Language Models via Knowledge Distillation [43.68215777330875]
我々は,小型モデルの精度を効果的に向上する,系統的な後学習パイプラインを導入する。
結果として得られた命令調整モデルにより、最先端のパフォーマンスが達成される。
この研究は、Ascendエッジデバイス上で高性能言語モデルを開発するための実用的で効率的なソリューションを提供する。
論文 参考訳（メタデータ） (2025-09-30T16:40:55Z) - Multi-Model Synthetic Training for Mission-Critical Small Language Models [0.0]
海上情報に対する261倍のコスト削減を実現する新しい手法を提案する。
提案手法は,320億個の自動識別システム (AIS) の船体追跡記録を21,543個の質問と回答のペアに変換する。
その結果得られた微調整Qwen2.5-7Bモデルは、海事作業において75%の精度を達成し、推論のためにより大きなモデルを使用するよりもかなり安価である。
論文 参考訳（メタデータ） (2025-09-16T13:04:48Z) - AI in a vat: Fundamental limits of efficient world modelling for agent sandboxing and interpretability [84.52205243353761]
最近の研究は、世界モデルを使用して、AIエージェントをデプロイ前にテストできる制御された仮想環境を生成することを提案する。
評価対象のAIエージェントに非依存な世界モデルを簡単にする方法を検討する。
論文 参考訳（メタデータ） (2025-04-06T20:35:44Z) - A Framework for Situating Innovations, Opportunities, and Challenges in Advancing Vertical Systems with Large AI Models [30.35173355997027]
大規模なAIモデルは、医療、教育、法律など、高度な分野に展開されている。
これらの課題は、モデルの能力と現実世界のアプリケーションのニーズを整合させるために、学際的な革新を必要とします。
我々は,ユーザの要求を満たすためのイノベーションを階層的に抽象化することで,このギャップに対処するフレームワークを導入する。
論文 参考訳（メタデータ） (2025-04-03T17:40:11Z) - Robots That Ask For Help: Uncertainty Alignment for Large Language Model
Planners [85.03486419424647]
KnowNoは、大きな言語モデルの不確実性を測定し、調整するためのフレームワークである。
KnowNoは、タスク完了に関する統計的保証を提供する共形予測理論に基づいている。
論文 参考訳（メタデータ） (2023-07-04T21:25:12Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳（メタデータ） (2023-03-20T19:20:34Z) - Legal-Tech Open Diaries: Lesson learned on how to develop and deploy
light-weight models in the era of humongous Language Models [10.086015702323971]
私たちは、現代の法律技術スタートアップのR&Dグループのステップに従い、モデル開発とデプロイメントに関する重要な洞察を示します。
我々は、契約書や規制書に適合する複数のドメイン固有の多言語LMを事前訓練することで、ゼロから始める。
5つのダウンストリームタスクからなる半公的な半私的法定ベンチマークにおいて,そのようなモデルのベンチマーク結果を示す。
論文 参考訳（メタデータ） (2022-10-24T10:08:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。