論文の概要: Pico: A Modular Framework for Hypothesis-Driven Small Language Model Research
- arxiv url: http://arxiv.org/abs/2509.16413v1
- Date: Fri, 19 Sep 2025 20:55:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-23 18:58:15.778475
- Title: Pico: A Modular Framework for Hypothesis-Driven Small Language Model Research
- Title（参考訳）: Pico:仮説駆動型小言語モデル研究のためのモジュラーフレームワーク
- Authors: Richard Diehl Martinez, David Demitri Africa, Yuval Weiss, Suchir Salhan, Ryan Daniels, Paula Buttery,
- Abstract要約: Picoは軽量でモジュール化されたフレームワークで、中小規模の言語モデル開発のための体系的で仮説駆動型の研究を可能にする。
Picoは2つのライブラリで構成されており、研究者がモデルアーキテクチャやトレーニング手順のターゲット変更を行うための実用的なサンドボックスを提供する。
また、再現可能な実験を支援するため、標準条件下で訓練されたベースラインモデルであるピコデコーダのスイートをリリースし、コミュニティのためにオープンソース化した。
- 参考スコア（独自算出の注目度）: 2.814114978900084
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Building language models (LMs), especially small and medium ones, remains more art than science. While large LMs often improve by sheer scale, it is still unclear why many design choices work. For small LMs, this uncertainty is more limiting: tight parameter budgets make each decision critical, yet researchers still lack systematic, scientific ways to test and refine new ideas. We introduce Pico, a lightweight, modular framework that enables systematic, hypothesis-driven research for small and medium-scale language model development. Pico consists of two libraries that together provide a practical sandbox where researchers can make targeted changes to a model's architecture or training procedures and directly observe their effects on the model's behavior. To support reproducible experimentation, we also release a suite of baseline models, pico-decoder, trained under standardized conditions and open-sourced for the community. Case studies highlight how Pico can support iterative small LM design and analysis.
- Abstract（参考訳）: 言語モデル(LM)の構築、特に中小のものは、科学よりも芸術的である。
大規模なLMは大規模化によってしばしば改善されるが、なぜ多くの設計選択が機能するのかはいまだ不明である。
厳密なパラメータ予算はそれぞれの決定を批判的にするが、研究者には新しいアイデアをテストし、洗練するための体系的で科学的方法が欠けている。
我々は、小規模・中規模の言語モデル開発のための体系的で仮説駆動型研究を可能にする軽量でモジュール化されたフレームワークであるPicoを紹介した。
Picoは2つのライブラリで構成されており、研究者がモデルアーキテクチャやトレーニング手順にターゲットを絞った変更を行い、モデルの振る舞いにその影響を直接観察する、実用的なサンドボックスを提供する。
また、再現可能な実験を支援するため、標準条件下で訓練されたベースラインモデルであるピコデコーダのスイートをリリースし、コミュニティのためにオープンソース化した。
ケーススタディでは、Picoが小さなLM設計と分析を反復的にサポートする方法を強調している。
関連論文リスト
- The Role of Exploration Modules in Small Language Models for Knowledge Graph Question Answering [19.009534602200862]
KGに基づく質問応答におけるSLM(Small Language Model)に対する既存の統合手法の能力について検討する。
この制限に対処するため,単純で効率的な探索モジュールを提案する。
実験により,これらの軽量モジュールは小言語モデルの性能を効果的に向上することが示された。
論文 参考訳（メタデータ） (2025-09-09T05:26:29Z) - Fine-tuning large language models for domain adaptation: Exploration of training strategies, scaling, model merging and synergistic capabilities [4.389938747401259]
本研究は、材料科学や工学などの分野における大規模言語モデル(LLM)に対する微調整戦略の効果について考察する。
複数の微調整モデルの融合は、親モデルの個々の貢献を超越した能力の出現につながる可能性がある。
論文 参考訳（メタデータ） (2024-09-05T11:49:53Z) - LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。
本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。
異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
論文 参考訳（メタデータ） (2024-07-28T06:10:47Z) - Large Language Model Pruning [0.0]
LLMに特化したモデルプルーニング手法を提案する。
提案手法は深層学習モデルの説明可能性を強調する。
また、大規模モデルにおけるプルーニングと小規模モデルにおけるプルーニングの違いについても検討する。
論文 参考訳（メタデータ） (2024-05-24T18:22:15Z) - Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation [59.37775534633868]
同族PLM間で事前訓練されたタスク固有のPEFTモジュールを転送するための極めて簡単なアプローチを提案する。
また,不整合性PLM間のモジュールの移動を,推論複雑性の変化を伴わずに行う方法を提案する。
論文 参考訳（メタデータ） (2024-03-27T17:50:00Z) - Faithful Question Answering with Monte-Carlo Planning [78.02429369951363]
本稿では,FAME(Fithful Questioning with Monte-carlo planning)を提案する。
我々は,タスクを離散的な意思決定問題として定式化し,推論環境とコントローラの相互作用によって解決する。
FAMEは標準ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-05-04T05:21:36Z) - nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。
トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。
NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
論文 参考訳（メタデータ） (2023-04-14T00:45:01Z) - Lite-Mono: A Lightweight CNN and Transformer Architecture for
Self-Supervised Monocular Depth Estimation [9.967643080731683]
CNNとトランスフォーマーの効率的な組み合わせについて検討し,Lite-Monoのハイブリッドアーキテクチャを設計する。
完全なモデルはMonodepth2よりも精度が高く、トレーニング可能なパラメータが約80%少ない。
論文 参考訳（メタデータ） (2022-11-23T18:43:41Z) - What Language Model to Train if You Have One Million GPU Hours? [54.32062236748831]
モデリングの実践の違いがゼロショット一般化に与える影響について検討する。
また、多言語モデルの性能と、英語のみとの比較についても検討する。
私たちのモデルとコードは、https://huggingface.co/bigscience.comでオープンソース化されています。
論文 参考訳（メタデータ） (2022-10-27T13:43:27Z) - Less is More: A Call to Focus on Simpler Models in Genetic Programming
for Interpretable Machine Learning [1.0323063834827415]
解釈可能性(interpretability)は、ハイテイクなアプリケーションにおける機械学習モデルの安全かつ責任ある使用に不可欠である。
GP for IMLの研究は、低複雑さモデルにおける探索に重点を置く必要があると我々は主張する。
論文 参考訳（メタデータ） (2022-04-05T08:28:07Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳（メタデータ） (2020-06-11T17:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。