Fugu-MT 論文翻訳(概要): OlmoEarth v1.1: A more efficient family of OlmoEarth models

論文の概要: OlmoEarth v1.1: A more efficient family of OlmoEarth models

arxiv url: http://arxiv.org/abs/2605.20804v1
Date: Wed, 20 May 2026 06:50:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-21 19:19:56.53905
Title: OlmoEarth v1.1: A more efficient family of OlmoEarth models
Title（参考訳）: OlmoEarth v1.1:より効率的なOlmoEarthモデルファミリー
Authors: Gabriel Tseng, Yawen Zhang, Favyen Bastani, Henry Herzog, Joseph Redmon, Hadrien Sablon, Piper Wolters, Patrick Alan Johnson, Christopher Wilhelm, Patrick Beukema,
Abstract要約: 私たちはOlmoEarthファミリーにいくつかの改善点を提示します。これらの改善により、トレーニング中の計算コストを削減できます。トレーニングコードはすべてatallenai.com/olmoearth_pretrainで利用できる。
参考スコア（独自算出の注目度）: 7.9370993704369575
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a set of improvements to the OlmoEarth family. These improvements allow us to cut compute costs during training ($1.7 \times$ reduction in GPU hours required to train our Base models) and inference ($2.9\times$ reductions in MACs on Sentinel-2 tasks), while maintaining the models' overall performance. All training code is available at github.com/allenai/olmoearth_pretrain.
Abstract（参考訳）: 私たちはOlmoEarthファミリーにいくつかの改善点を提示します。これらの改善により、モデル全体のパフォーマンスを維持しながら、トレーニング中の計算コスト(ベースモデルをトレーニングするために必要なGPU時間の1.7 \times$削減)と推論(Sentinel-2タスクでのMACの2.9\times$削減)を削減できます。すべてのトレーニングコードはgithub.com/allenai/olmoearth_pretrainで利用できる。

関連論文リスト

Rethinking UMM Visual Generation: Masked Modeling for Efficient Image-Only Pre-training [16.148088520940796]
データ効率のよい2段階トレーニングフレームワークである UMM (IOMM) の $textbf Image-Only Training を提案する。第1ステージは、豊富なラベル付けされていない画像のみのデータを使用して、ビジュアル生成コンポーネント$textbfexclusively$を事前トレーニングする。第2段階は、ラベルのない画像と小さなキュレートされたテキストイメージペアを使ってモデルを微調整し、命令アライメントと生成品質を改善した。
論文参考訳（メタデータ） (2026-03-17T05:41:48Z)
OlmoEarth: Stable Latent Image Modeling for Multimodal Earth Observation [68.10925029626709]
オルモアース(OlmoEarth)は、地球観測領域向けに設計された、多モードでシーケンシャルな基礎モデルである。 OlmoEarthは12のファンデーションモデルと比較して最先端のパフォーマンスを実現している。我々はOlmoEarthを、データ収集、ラベル付け、トレーニング観察、地球観測モデルの推測のためのエンドツーエンドプラットフォームのバックボーンとして配置する。
論文参考訳（メタデータ） (2025-11-17T18:06:26Z)
Scaling Embedding Layers in Language Models [61.939921364422936]
$SCONE$は入力埋め込み層を拡張して言語モデルのパフォーマンスを向上させる新しいメソッドである。 SCONE$は、n-gramの頻繁なセットに埋め込みを導入しながら、元の語彙を保持します。これらの埋め込みは、各入力トークンに対してコンテキスト化された表現を提供し、トレーニング中に別のモデルで学習する。 $SCONE$は、n-gram埋め込みの数を増やし、それらを学ぶために使用するモデルをスケーリングする、という2つの新しいスケーリング戦略を可能にします。
論文参考訳（メタデータ） (2025-02-03T18:59:32Z)
2 OLMo 2 Furious [154.15728448754854]
我々は、私たちの完全にオープンな言語の次世代モデルであるOLMo 2を紹介します。 OLMo 2は、7B、13B、32Bスケールの高密度な自己回帰言語モデルを含む。修正されたモデルアーキテクチャとトレーニングレシピについて説明する。
論文参考訳（メタデータ） (2024-12-31T21:55:10Z)
Scalable MatMul-free Language Modeling [9.048532540945086]
MatMul操作は、大きな言語モデルから除外できる。最大2.7BパラメータのモデルでテストされるMatMulフリーモデルは、最先端のトレーニング済みトランスフォーマーに匹敵する。
論文参考訳（メタデータ） (2024-06-04T17:50:34Z)
Improvements in Interlayer Pipelining of CNN Accelerators Using Genetic Algorithms [0.229514708078516]
我々は,CNNを対象とする層融合技術を開発し,グラフベースのトポロジソートに適用した遺伝的アルゴリズム(GA)を用いてチップ外データ通信を低減する。その結果、SIMBAのようなモバイルアーキテクチャ上でのMobileNet-v3のエネルギ遅延製品(EDP)の1.8$times$エネルギー効率の向上と1.9$times$エネルギー遅延製品の改善が示されている。
論文参考訳（メタデータ） (2023-11-20T23:24:58Z)
Towards MoE Deployment: Mitigating Inefficiencies in Mixture-of-Expert (MoE) Inference [7.743308058511418]
言語モデリング(LM)と機械翻訳(MT)という2つのMoEワークロードの特徴を提供する。本研究では,(1)動的ゲーティング,(2)エキスパートバッファリング,(3)エキスパートロードバランシングの3つの最適化手法を提案する。
論文参考訳（メタデータ） (2023-03-10T19:30:15Z)
Training a Vision Transformer from scratch in less than 24 hours with 1 GPU [10.517362955718799]
限られたハードウェア(1GPU)と時間(24時間)のリソースで、スクラッチからViTモデルをトレーニングできるアルゴリズムの改良をいくつか導入する。学習開始時に各画像から抽出したパッチ数を削減できる新しい画像サイズカリキュラム学習戦略を開発する。最後に、ハードウェアと時間制約を追加することで、人気のあるImageNet1kベンチマークの新たな変種を提案する。
論文参考訳（メタデータ） (2022-11-09T20:36:46Z)
L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks [118.37805042816784]
グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
論文参考訳（メタデータ） (2020-03-30T16:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。