論文の概要: Manacá-1B: An Open, Reproducible Brazilian-Portuguese Language Model and a Tokenizer-Aware, Paired Evaluation
- arxiv url: http://arxiv.org/abs/2608.30114v1
- Date: Mon, 31 Aug 2026 01:00:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.18309
- Title: Manacá-1B: An Open, Reproducible Brazilian-Portuguese Language Model and a Tokenizer-Aware, Paired Evaluation
- Title（参考訳）: Manacá-1B: オープンで再現可能なブラジル・ポルトガル語の言語モデルと tokenizer-Aware, Paired Evaluation
- Abstract要約: Manac-1Bはブラジルのポルトガル語でトレーニングされた12億のパラメータからなるオープンデコーダのみのモデルです。
1つのハーネスでポルトガルの4つのベンチマークで9つのオープンベースラインに対してモデルを評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Brazilian Portuguese remains under-served by open language models, and the few that exist are difficult to reproduce and are often compared without measures of uncertainty. We release Manacá-1B, an open decoder-only model of 1.72 billion parameters trained from scratch for Brazilian Portuguese with a fully containerized, reproducible pipeline. The pretraining is stable, with zero skipped or NaN steps and self-recovering loss spikes, and we release its full log and dynamics. We evaluate the model against nine open baselines on four Portuguese benchmarks under a single harness. Every comparison reports a standard error and a paired significance test, and the harness is validated against previously published numbers. On last-word prediction Manacá-1B is the strongest model below the 7B scale, exceeding both Tucano-1b1 and Tucano-2b4 on LAMBADA-PT with large paired margins; it is competitive on commonsense completion and near chance on multiple-choice reasoning, as are all small base models. Along the way we document a concrete evaluation pitfall: converting a SentencePiece tokenizer with case-folding normalization to the HuggingFace fast format silently drops the normalizer, routing every capitalized token to byte-fallback and depressing scores in a way that is invisible in aggregate metrics. The uncorrected tokenizer lowered LAMBADA-PT accuracy from 45.3 to 25.0; we quantify the effect and provide a one-line fix that reproduces the training tokenizer exactly. Code, raw training and evaluation logs, per-example prediction vectors, the model weights, and the corrected tokenizer are released so that every number in this paper can be recomputed.
- Abstract（参考訳）: ブラジルのポルトガル語は、オープン・ランゲージ・モデルによって保護されていないままであり、現存する数少ない言語は再現が困難であり、不確実性の尺度なしでしばしば比較される。
Manacá-1Bは、完全にコンテナ化され再現可能なパイプラインを備えたブラジルポルトガル語のために、スクラッチからトレーニングされた12億のパラメータからなるオープンデコーダのみのモデルです。
事前トレーニングは安定しており、スキップまたはNaNステップがゼロで、自己回復的な損失スパイクがあり、完全なログとダイナミクスがリリースされます。
1つのハーネスでポルトガルの4つのベンチマークで9つのオープンベースラインに対してモデルを評価した。
各比較では、標準誤差とペアの重要度テストが報告され、ハーネスは以前に公表された数に対して検証される。
最後の単語予測では、Manacá-1B は 7B スケール以下の最強モデルであり、LAMBADA-PT では Tucano-1b1 と Tucano-2b4 を上回り、大きなマージンを持つ。
ケースフォールディングの正規化でSentencePieceトークンライザをHuggingFaceの高速フォーマットに変換すると、ノーマライザを静かにドロップし、大文字化されたトークンをバイトフォールバックにルーティングし、集約メトリクスで見えない方法でスコアを減らします。
不正なトークン化装置はLAMBADA-PTの精度を45.3から25.0に下げ、その効果を定量化し、トレーニングトークン化装置を正確に再現するワンライン修正を提供する。
コード、生のトレーニングと評価ログ、サンプルごとの予測ベクトル、モデルウェイト、修正されたトークン化器は、この論文のすべての数を再計算できるようにリリースされている。
関連論文リスト
- Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models [67.72077328700088]
本稿では,2次元の異なるデコーダのみの高密度変圧器モデルについて検討した。
Token-1B モデルは低FLOP 方式ではバイトモデル (End-Of-Token-1B と Bytes-1B) より優れていたが、最終的には高原となる。
100Kトークンの順序ではなく256バイトの小さな語彙で操作することで、ログダンピング時にトップクランケーションの必要性を回避することができる。
論文 参考訳（メタデータ） (2026-09-11T00:17:22Z) - Arkios: An Open Bilingual English-Nepali Language Model Trained From Scratch, with a Devanagari-Aware Tokenizer [0.0]
我々は150Bのバイリンガル・イングリッシュ・ネパリ文字のトークンにスクラッチから事前訓練された高密度トランスフォーマーArkiosを提示する。
アルキオスは、訓練トークンの桁数が桁違いであるにもかかわらず、3つの比較可能な大きさのオープンモデル(Pythia-1.4B、TinyLlama-1.1B、OLMo-1B)を超える。
論文 参考訳（メタデータ） (2026-08-30T23:39:44Z) - Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか?
アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
論文 参考訳（メタデータ） (2026-08-11T16:18:34Z) - DenseOn with the LateOn: Fully Open Dense and Late-Interaction Models for Multilingual, Long-Context, and Code Search [2.0669978569487384]
英語の教師が翻訳学習を通して多言語検索にどのように移行するかを示す。
我々はまず、34の公開ソースにわたる1.4Bペアから665万の英語コントラスト事前学習ペアを再構築し、キュレートした。
検証された英語データを8言語に翻訳し、2.8B対の言語間サンプルを生成する。
論文 参考訳（メタデータ） (2026-07-29T17:50:51Z) - MTEB-BR: A Text Embedding Benchmark for Brazilian Portuguese [0.0]
MTEB-BRは、7つのカテゴリにわたる22のブラジルとポルトガルのネイティブタスクのベンチマークである。
23Mから27Bのパラメータにまたがる93のモデルを評価する。
すべてのタスク、コード、公開リーダボードを公開していますので、実践者はネイティブエビデンスにポルトガルの埋め込みモデルを選択することができます。
論文 参考訳（メタデータ） (2026-07-06T01:19:30Z) - Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。
人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
論文 参考訳（メタデータ） (2025-05-27T03:47:33Z) - Rho-1: Not All Tokens Are What You Need [132.31428897792114]
以前の言語モデル事前学習手法は、すべてのトレーニングトークンに次トーケン予測損失を均一に適用した。
Rho-1 は選択言語モデリング (SLM) を採用しており、所望の分布に合わせて有用なトークンを選択的に訓練する。
15B OpenWebMathコーパスで継続事前トレーニングを行うと、Rho-1は9つの数学タスクで最大30%のショット精度で絶対的に改善する。
論文 参考訳（メタデータ） (2024-04-11T17:52:01Z) - Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。
しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。
対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
論文 参考訳（メタデータ） (2024-03-13T13:54:00Z) - Paloma: A Benchmark for Evaluating Language Model Fit [112.481957296585]
言語モデル (LM) の評価では、トレーニングから切り離されたモノリシックなデータに難易度が報告されるのが一般的である。
Paloma(Perplexity Analysis for Language Model Assessment)は、546の英語およびコードドメインに適合するLMを測定するベンチマークである。
論文 参考訳（メタデータ） (2023-12-16T19:12:45Z) - An Analysis and Mitigation of the Reversal Curse [70.13419502543915]
最近の研究は、大型言語モデル(LLM)で注目すべき現象を観測している。
逆の呪文は、$a$と$b$の2つのエンティティを扱う場合、LLMは$aRb$,'という形式でシーケンスを処理するのに優れるが、$bR-1a$'を処理する場合の課題に直面することである。
論文 参考訳（メタデータ） (2023-11-13T17:01:12Z) - Nonparametric Masked Language Modeling [113.71921977520864]
既存の言語モデル(LM)は、有限語彙上のソフトマックスでトークンを予測する。
NPMは,このソフトマックスを参照コーパス内の各フレーズの非パラメトリック分布に置き換える最初の非パラメトリックマスク付き言語モデルである。
NPMは、コントラスト目的と全コーパス検索に対するバッチ内近似で効率的に訓練することができる。
論文 参考訳（メタデータ） (2022-12-02T18:10:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。