論文の概要: Cross-Stack Validation of Language-Model Training: A Clinical Fine-Tuning Case Study

• arxiv url: http://arxiv.org/abs/2608.24267v1
• Date: Tue, 25 Aug 2026 08:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.90419
• Title: Cross-Stack Validation of Language-Model Training: A Clinical Fine-Tuning Case Study
• Title（参考訳）: 言語モデルトレーニングのクロススタック検証:臨床微調整症例の検討
• Abstract要約: 独立に実装されたトレーニングスタックが、微調整パイプライン全体の微分オラクルとして機能するかを検討する。 168,574対のQwen3-0.6BのLoRA適応に適用した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network training has an oracle problem: a run can converge normally and yield a usable model while the software beneath it computes something other than specified. Almost all such work runs on one stack, so there is rarely anything independent to check against. We study whether independently implemented training stacks can serve as differential oracles for a whole fine-tuning pipeline, rather than the operators and inference paths that prior differential testing targets. We define a trajectory-level protocol -- a shared specification, cross-check points spanning arithmetic, model loading, data rendering and the learning trajectory, and a separation of independence of the stack, the orchestration and the language runtime -- and apply it to a LoRA adaptation of Qwen3-0.6B over 168,574 clinical question-answer pairs under PyTorch and under numbat, an independent framework written in Zig, driven natively and through its C interface from six languages. Across 42 paired evaluations spanning a full epoch the two stacks' held-out cross-entropy differs by 0.134% on average, and four implementations end the epoch within 0.15% of one another. The comparison exposed 17 faults that single-implementation development had missed, two of them notable for software engineering. The fault with the largest effect on the trained model lay outside the numerical kernels: a mismatch in how clinical text was rendered moved held-out loss 0.15, some 500 times more than the arithmetic faults found beside it. And four faults were reachable only from a language whose memory model differs from the first two implementations: a scheduler migrating work across threads, a collector blind to device memory, an ownership discipline needing a primitive the interface lacked. Implementation diversity has several axes, and the runtime is one.
• Abstract（参考訳）: ランは正常に収束し、使用可能なモデルを生成する一方で、その下のソフトウェアは指定されたもの以外のものを計算します。 たいていの場合、そのような作業は1つのスタック上で実行されます。 独立に実装されたトレーニングスタックが、事前の差分試験対象である演算子や推論パスよりも、微調整パイプライン全体の差分オラクルとして機能するかどうかを検討する。 このプロトコルは、PyTorchとnumbatの下でQwen3-0.6B over 168,574のQwen3-0.6BのLoRA適応に適用し、Zigで記述された独立したフレームワークで、6つの言語からネイティブに駆動される。 完全なエポックにまたがる42対の評価では、2つのスタックのホールドアウトのクロスエントロピーは平均で0.134%、そして4つの実装はエポックを0.15%で終わらせた。 この比較によって、単実装開発が見逃した17の欠点が明らかになった。 トレーニングされたモデルに対する最大の影響を持つ欠陥は数値カーネルの外側にあった: 臨床テキストのレンダリングのミスマッチは、そのそばで見つかった算術的欠陥の約500倍の保留損失0.15を移動させた。 最初の2つの実装とは、スケジューラがスレッド間での作業移行、コレクタの盲点からデバイスメモリへの移動、インターフェースに欠けるプリミティブを必要とするオーナシップの規律である。 実装の多様性にはいくつかの軸があり、ランタイムは1つです。

関連論文リスト

• Numbat: Building and Verifying a Self-Contained Machine-Learning Stack [0.0]
  numbatは1つの汎用言語(Zig)で書かれた機械学習スタックで、サードパーティの依存関係はない。 我々はナムバットの構築と検証について報告する。
  論文  参考訳（メタデータ） (2026-09-09T08:36:12Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Kozuchi Agent: A Language-Agnostic Open-Weight Agent for Software Repair [13.668549452625117]
  Kozuchi Agentは言語に依存しないオープンウェイト修復エージェントであり、CI操作評価パイプラインである。 明示的なフェーズ、永続的な状態、決定論的ツール、モデル非依存のアクションインターフェース、エージェント間のテスト時間選択は、監査可能で繰り返し実行できる。
  論文  参考訳（メタデータ） (2026-08-16T07:06:37Z)
• Differentiate the Evaluator, Not the Program: An Efficient Runtime Representation for Neuro-Symbolic Learning [0.0]
  我々は,各候補を別個のグラフにコンパイルすることなく実行可能プログラムを識別するランタイム表現であるNative Differentiable Virtual Machine(NDVM)を提案する。 NDVMは、シンボル構造と、タグ、シンボル、環境、コントロールはネイティブランタイムデータのままである。 我々はNDVMをバックエンド参照のSchemeと等価なネイティブランタイムとして実現し、約60倍のバッチアモータイズ、ニアリニアマルチコアスケーリング、および2つの独立したフロントエンドを実現した。
  論文  参考訳（メタデータ） (2026-07-03T19:29:35Z)
• OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models [69.2503510410147]
  予め訓練されたVLM上に構築した統合自動運転フレームワークを提案する。 トレーニング済みのVLMアテンションは、純粋言語モデリング以上の強い伝達性を示すことを示す。 エンドツーエンドの自動運転ベンチマークの実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-04-20T07:50:00Z)
• LIDARLearn: A Unified Deep Learning Library for 3D Point Cloud Classification, Segmentation, and Self-Supervised Representation Learning [1.2599533416395765]
  3次元の3次元クラウド解析は、自律運転やロボット工学から林業や生態モニタリングまで幅広い応用の中心となっている。 libは統合されたPyTorchライブラリで、29の教師付きアーキテクチャ、7つのSSL事前トレーニングメソッド、5つのPEFT戦略を含む55以上のモデル構成を統合している。 libは、標準化されたトレーニングランナー、階層化された$K$-fold分割によるクロスバリデーション、自動化/CSVテーブル生成、厳密なマルチモデル比較のための臨界差図を用いたFriedman/Nemenyi統計テスト、200以上の自動テストを備えた総合的なテストスイートを提供する。
  論文  参考訳（メタデータ） (2026-04-12T19:10:12Z)
• AlphaLab: Autonomous Multi-Agent Research Across Optimization Domains with Frontier LLMs [14.167136550376497]
  計算集約ドメインの完全な実験サイクルを自動化する自律的な研究ハーネスであるAlphaLabを紹介する。 ドメインに適応し、データを探索し、分析コードを書き、研究レポートを作成する。 Strategist/Workerループを通じて大規模な実験を実行し、永続的なプレイブックでドメイン知識を蓄積する。
  論文  参考訳（メタデータ） (2026-03-31T21:16:20Z)
• IT$^3$: Idempotent Test-Time Training [95.78053599609044]
  ディープラーニングモデルは、トレーニングデータとテストデータの間の分散シフトのために、現実世界の環境にデプロイする際に苦労することが多い。 Idempotent Test-Time Training (IT$3$) は、現在のテストインスタンスのみを使用して、分散シフトへのオンザフライ適応を可能にする新しいアプローチである。 この結果から,イデオポテンスはドメインやアーキテクチャをまたいで一般化するテスト時間適応の普遍的原理を提供すると考えられる。
  論文  参考訳（メタデータ） (2024-10-05T15:39:51Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• A Unified Framework of Surrogate Loss by Refactoring and Interpolation [65.60014616444623]
  勾配勾配を有する深層ネットワークのトレーニングにおいて,サロゲート損失を発生させる統一フレームワークUniLossを導入する。 3つのタスクと4つのデータセットに対するUniLossの有効性を検証する。
  論文  参考訳（メタデータ） (2020-07-27T21:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。