論文の概要: OPEN-1B: A Fully Auditable Training Run

• arxiv url: http://arxiv.org/abs/2609.17380v1
• Date: Tue, 15 Sep 2026 16:23:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.615682
• Title: OPEN-1B: A Fully Auditable Training Run
• Title（参考訳）: OPEN-1B:完全に聴取可能なトレーニングラン
• Abstract要約: トレーニング中のデータサンプルのすべての操作は、コモディティハードウェア上で独立して再現可能である。 我々は、単一のコモディティハードウェア上で実行される大規模分散トレーニングの個々のステップをリプレイし、公開された軌道に対してそれをチェックできるようにします。 この体制下でトレーニングされたモデルであるOpen-1Bと、その完全な事前トレーニングデータセット、すべての中間チェックポイント、トレーニング、トレーニングの任意のステップを再現し検証するために必要な監査ハーネスを合わせてリリースします。
• 参考スコア（独自算出の注目度）: 0.7223361655030193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-source language models have a reproducibility problem. Despite releasing weights, training data, and recipes, none of them are provably reproducible due to the non-associativity of floating-point arithmetic. Deep learning frameworks often offer a deterministic execution mode, allowing reproducible operations on the same machines. Unfortunately, this determinism does not carry across hardware such that a user can verify that a released checkpoint was actually produced using the declared training recipe. This leaves room for undisclosed data, injected biases, or backdoors that existing techniques such as proof-of-learning or proof-of-training-data cannot rule out. We introduce a new tier of model transparency, fully auditable, in which every operation on every data sample during training is independently reproducible on heterogeneous commodity hardware with bitwise certainty. By imposing a definite order on the sources of training nondeterminism, GPU kernel reductions, data batch ordering across a data-parallel cluster, and inter/intra-node collective communication, we make it possible to replay any individual step of a large, distributed training run on a single piece of commodity hardware and check it against the published trajectory. Because replaying an entire run on one machine is infeasible, we support this with a collective verification scheme in which many independent auditors each certify individual steps, together covering the whole run. We release Open-1B, a model trained under this regime, together with its full pretraining dataset, every intermediate checkpoint, the training codebase, and the audit harness needed to reproduce and verify any step of its training.
• Abstract（参考訳）: オープンソース言語モデルには再現性の問題がある。 ウェイト、トレーニングデータ、レシピはリリースされているが、浮動小数点算術の非連想性のため、いずれも再現可能である。 ディープラーニングフレームワークは、しばしば決定論的実行モードを提供し、同じマシン上で再現可能な操作を可能にする。 残念ながら、この決定論は、ユーザが宣言されたトレーニングレシピを使って、リリースされたチェックポイントが実際に作成されたことを検証できるように、ハードウェアをまたいで実行されない。 これは、未開示のデータ、注入バイアス、あるいは学習の証明や学習の証明のような既存のテクニックが除外できないバックドアの余地を残します。 トレーニング中のすべてのデータサンプルに対するすべての操作は、ビットワイズで不均一なコモディティハードウェア上で独立に再現可能である。 トレーニング非決定性,GPUカーネルの削減,データ並列クラスタ間のデータバッチ順序,ノード間通信などのソースに明確な順序を付与することにより,単一のコモディティハードウェア上で実行される大規模分散トレーニングの個々のステップを再生して,公開トラジェクトリに対して確認することが可能となる。 1台のマシン上で実行全体をリプレイすることは不可能であるため、多数の独立した監査者がそれぞれ個別のステップを認証し、実行全体をカバーする集合的な検証方式でこれをサポートします。 この体制下でトレーニングされたモデルであるOpen-1Bと、その完全な事前トレーニングデータセット、すべての中間チェックポイント、トレーニングコードベース、トレーニングの任意のステップを再現し検証するために必要な監査ハーネスを合わせてリリースします。

関連論文リスト

• AuditWeave: A Tamper-Evident, Auditor-Navigable Evidence Layer for AI-Assisted and Data-Transformation Workflows [0.0]
  AuditWeaveは、AIアシストとデータ変換のステップを1つのハッシュチェーンの台帳に記録する軽量Pythonライブラリである。 本稿では,参照実装におけるオーバヘッド,拡張性,タンパー検出の正確さを設計し,評価する。
  論文  参考訳（メタデータ） (2026-06-14T21:46:04Z)
• Privacy Auditing with Zero (0) Training Run [24.856718399464636]
  2つの固定データセットを使用してモデルを監査するためのポストホックフレームワークであるZero-Runのプライバシ監査を紹介する。 最初のアプローチは、適応的な構成として分布シフトとアルゴリズムリークの併用効果をモデル化する。 第2のアプローチでは、観測されたデータに基づいて、ポイントワイドなメンバシップ推定を調整し、よりシャープなインスタンス依存境界を得る。
  論文  参考訳（メタデータ） (2026-05-14T09:00:56Z)
• Fine-Grained Traceability for Transparent ML Pipelines [10.182692014427909]
  FG-Tracは、機械学習パイプライン全体にわたって詳細なサンプルレベルのトレーサビリティを確立する、モデルに依存しないフレームワークである。 これは、前処理とトレーニングにわたるサンプルライフサイクルイベントをキャプチャし、検証するための明示的なメカニズムを定義する。 トレーニングチェックポイントに明示的に基づいたコントリビューションスコアを計算し、これらのトレースを暗黙の暗号コミットに固定する。
  論文  参考訳（メタデータ） (2026-01-21T13:21:30Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• On the Impossibility of Retrain Equivalence in Machine Unlearning [43.39599739799909]
  機械学習は、モデルの出力に関する特定のトレーニングデータの"影響"を選択的に除去しようとする。 理想的なゴールは、保持されたデータのみに基づいて、スクラッチからトレーニングされたモデルと同一のトレーニング等価性である。 現代のパイプラインは、しばしば多段階のトレーニングを伴い、各ステージは異なるデータ分散と目的を持っている。
  論文  参考訳（メタデータ） (2025-10-18T19:58:31Z)
• CountingDINO: A Training-free Pipeline for Class-Agnostic Counting using Unsupervised Backbones [7.717986156838291]
  CAC(Class-Agnostic counting)は、事前に定義されたカテゴリに制限されることなく、画像内のオブジェクト数を推定することを目的としている。 現在のCAC法はトレーニングのためにラベル付きデータに大きく依存している。 初となるCACフレームワークであるCountingDINOを紹介する。
  論文  参考訳（メタデータ） (2025-04-23T09:48:08Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
  本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。 本手法は画像内情報と画像間情報の両方を利用する。 トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
  論文  参考訳（メタデータ） (2021-04-01T08:09:26Z)
• Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
  我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。 生徒は、合成された入力データを通じて教師の出力を訓練する。 その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T14:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。