論文の概要: Training Witnesses: Trusting the Training without Trusting the Trainer
- arxiv url: http://arxiv.org/abs/2609.33915v1
- Date: Sun, 27 Sep 2026 20:50:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 15:39:19.652264
- Title: Training Witnesses: Trusting the Training without Trusting the Trainer
- Title（参考訳）: トレーニングウィットネス:トレーナーを信頼せずにトレーニングを信頼すること
- Abstract要約: 本稿では,ニューラルネットワークトレーニングランにおけるトレーニング,データ使用,評価の認定方法であるWitnessesを紹介する。
私たちの重要な洞察は、高速な行動指紋と時々再生する課題が、ニューラルネットワークのトレーニングを監査するのに十分であるということです。
我々は,DDPとFSDPをまたいだ1億から2Bスケールの言語モデルトレーニングにおいて,本手法を検証し,この最小オーバーヘッドを実証する。
- 参考スコア（独自算出の注目度）: 10.811905782682459
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Progress in machine learning cannot outpace our ability to verify it. With an explosion in papers today, every scientific claim rests initially on trust in the trainer, leading to uneven evaluation, baselines, and forestalling of reliable progress. Traditionally, the burden of verification falls on the reader, who must reproduce expensive training runs. This strategy is impractical due to an explosion in slop contributions, diversity of methods, and the sheer compute required. We put the burden of proof where it belongs, on the trainer, and in the process also cut the overall cost of verification significantly. We introduce Witnesses, a method for certifying training, data usage and evaluation in a neural network training run. Our key insight is that fast behavioral fingerprints with occasional replay challenges are sufficient for auditing neural network training. Our method is applicable at scale with minimal overhead to the trainer, is cheap for the verifier, rejects bad training runs with amplifiable probability, and allows for exact queries of both data inclusion and exclusion. We test our method on language model training runs from 100M to 2B scales, across DDP and FSDP, and demonstrate this minimal overhead. We also introduce a self-regulating leaderboard of "auto-certified" training runs that enables shared baselines and progress. We invite the community to participate in the leaderboard to improve reproducibility in machine learning.
- Abstract（参考訳）: 機械学習の進歩は、それを検証する能力を上回っません。
今日では論文が爆発的に増えているため、あらゆる科学的主張はまずトレーナーの信頼にかかっており、不均一な評価、ベースライン、そして信頼できる進歩の森林管理に繋がる。
伝統的に、検証の負担は、高価なトレーニング実行を再現しなければならない読者に負う。
この戦略は、スロープコントリビューションの爆発、メソッドの多様性、必要な厳密な計算が原因で実行不可能である。
我々は、それがどこにあるか、トレーナーに証明の負担を課し、その過程で、検証の全体的なコストを著しく削減する。
本稿では,ニューラルネットワークトレーニングランにおけるトレーニング,データ使用,評価の認定方法であるWitnessesを紹介する。
私たちの重要な洞察は、高速な行動指紋と時々再生する課題が、ニューラルネットワークのトレーニングを監査するのに十分であるということです。
提案手法は,訓練者に対して最小限のオーバーヘッドで大規模に適用可能であり,検証者にとって安価であり,不適切なトレーニング実行を増幅可能な確率で拒否し,データの包含と排除の両方の正確なクエリを可能にする。
我々は,DDPとFSDPをまたいだ1億から2Bスケールの言語モデルトレーニングにおいて,本手法を検証し,この最小オーバーヘッドを実証する。
また、共有ベースラインと進捗を可能にする“自動認定”トレーニング実行の自己規制型リーダボードも導入しています。
我々は、機械学習の再現性を改善するために、コミュニティにリーダーボードへの参加を呼びかけます。
関連論文リスト
- Retrieval is Enough: Training-Free Interpretability with a Tool-Using Agent [56.93673666934672]
トレーニングベースのメソッドは、トレーニング中に大きなアクティベーションデータセットを活用するため、一般的にはより強力である。
これは自然な疑問を引き起こします – トレーニングデータセット自体から回復可能なもの以上の洞察を実際に提示するのでしょうか?
LLMエージェントに、アクティベーションを操作するツールとともに、テキストコンテキストと組み合わせたアクティベーションのベクトルデータベースを装備する。
エージェントはデータベースを反復的にクエリし、検索したサンプルから仮説を作成し、線形プローブを構築して検証する。
論文 参考訳（メタデータ） (2026-07-17T18:47:31Z) - Removing Sandbagging in LLMs by Training with Weak Supervision [2.522724840981509]
信頼性のある検証なしに、モデルのベストな仕事を引き出すことができるか?
教師用微調整(SFT)と強化学習(RL)を組み合わせると,弱い監督によるトレーニングが確実にサンドバッグモデルを引き出すことができることがわかった。
論文 参考訳（メタデータ） (2026-04-23T21:26:31Z) - Optimistic Verifiable Training by Controlling Hardware Nondeterminism [22.85808027490485]
トレーニング中のGPUタイプ間の非決定性は、トレーニングプロセスの正確な複製を防ぐ。
本稿では,目標よりも高精度なトレーニング,中間計算後のラウンドリング,適応的しきい値決定に基づくラウンドリング決定の共有を併用する手法を提案する。
検証可能なトレーニング手法は,証明ベースシステムと比較して,ストレージと時間コストを著しく削減する。
論文 参考訳（メタデータ） (2024-03-14T17:44:35Z) - Multi-trainer Interactive Reinforcement Learning System [7.3072544716528345]
複数のトレーナーを導入することにより,より効果的な対話型強化学習システムを提案する。
特に,トレーナーフィードバックアグリゲーション実験の結果,アグリゲーション法が最も正確であることがわかった。
最後に, MTIRLが評価モデルで訓練した政策が, レビューモデルなしでの政策よりも, 最適ポリシーに近いことを示すために, グリッドワールド実験を行った。
論文 参考訳（メタデータ） (2022-10-14T18:32:59Z) - Adversarial Unlearning: Reducing Confidence Along Adversarial Directions [88.46039795134993]
本稿では,自己生成事例の信頼性を低下させる補完的な正規化戦略を提案する。
RCADと呼ばれるこの手法は、トレーニング損失を増やすために反対に選択された方向に沿って横たわっている流通外の事例に対する信頼性を低下させることを目的としている。
その単純さにもかかわらず、多くの分類ベンチマークでは、RCADを既存の技術に追加して、絶対値の1～3%の精度でテストできることがわかった。
論文 参考訳（メタデータ） (2022-06-03T02:26:24Z) - Recursive Least-Squares Estimator-Aided Online Learning for Visual
Tracking [58.14267480293575]
オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。
これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。
我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
論文 参考訳（メタデータ） (2021-12-28T06:51:18Z) - $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial
Training [11.241749205970253]
トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。
本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2～3倍高速化する。
論文 参考訳（メタデータ） (2021-12-01T09:55:01Z) - Fooling Adversarial Training with Inducing Noise [18.07654610758511]
敵陣訓練は、敵陣攻撃に対するモデル堅牢性を改善するための信頼性の高いアプローチであると広く信じられている。
本稿では, ある種類の有毒データを用いて訓練した場合, 敵の訓練も破滅的な行動に陥ることが示唆された。
そこで本研究では,ADVIN(ADVIN)という新たなノイズ誘導法を提案する。
論文 参考訳（メタデータ） (2021-11-19T09:59:28Z) - PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via
Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。
提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
論文 参考訳（メタデータ） (2021-06-09T14:10:50Z) - Towards Understanding Fast Adversarial Training [91.8060431517248]
高速対人訓練の振る舞いを理解するために実験を行う。
その成功の鍵は、過度な適合から弱い攻撃への回復能力である。
論文 参考訳（メタデータ） (2020-06-04T18:19:43Z) - Fast is better than free: Revisiting adversarial training [86.11788847990783]
より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。
我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
論文 参考訳（メタデータ） (2020-01-12T20:30:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。