論文の概要: Evaluating Federated Pre-Training: On the Reliability of Downstream Fine-Tuning and Intrinsic Evaluation

• arxiv url: http://arxiv.org/abs/2607.28658v1
• Date: Mon, 20 Jul 2026 15:14:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-09 10:00:34.248147
• Title: Evaluating Federated Pre-Training: On the Reliability of Downstream Fine-Tuning and Intrinsic Evaluation
• Title（参考訳）: フェデレーション事前試験の評価:下流の微調整と本質的評価の信頼性について
• Abstract要約: フェデレーション事前トレーニングは、基礎となるデータセットを集中させることなく、プライベートまたは分散データ上で基礎モデルをトレーニングする方法を提供する。 我々は,フェデレートされた事前学習品質をより確実に反映する評価プロトコルについて検討した。
• 参考スコア（独自算出の注目度）: 3.488204158798457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated pre-training offers a way to train foundation models on private or distributed data without centralizing the underlying datasets. However, evaluating federated pre-training remains challenging because differences in client participation and local data availability can make directly comparable evaluation difficult. Moreover, pre-training test perplexity is tied to the pre-training distribution, while downstream benchmarks introduce task-specific adaptation that may not faithfully reflect the test perplexity established during pre-training. In this work, we study which evaluation protocol more reliably reflects federated pre-training quality. Using a controlled set of centralized and federated-trained models of a 16M parameter transformer model trained on identical client data, we assess evaluation protocols by whether they preserve a reference ranking established on the same pre-training testset. We compare downstream fine-tuning on GLUE, including full, head-only, and reduced-data variants, with next-token prediction on GLUE text as an intrinsic evaluation signal. Our results show that downstream fine-tuning does not reliably preserve the pre-training ranking, whereas direct next-token prediction exhibits a strong correspondence with the pre-training test perplexity. These findings suggest that downstream fine-tuning alone can be misleading when comparing federated pre-trained models, and that evaluation signals closer to the original pre-training objective deserve greater attention.
• Abstract（参考訳）: フェデレーション事前トレーニングは、基礎となるデータセットを集中させることなく、プライベートまたは分散データ上で基礎モデルをトレーニングする方法を提供する。 しかしながら、クライアントの参加とローカルデータの可用性の違いが直接的に比較するのは難しいため、フェデレートされた事前トレーニングの評価は難しいままである。 さらに、事前トレーニングテストのパープレキシティは事前トレーニングの分布に結び付けられ、ダウンストリームベンチマークでは、事前トレーニング中に確立されたテストのパープレキシティを忠実に反映しないタスク固有の適応が導入される。 本研究では,フェデレートされた事前学習品質をより確実に反映する評価プロトコルについて検討する。 同一クライアントデータに基づいてトレーニングされた16Mパラメータトランスフォーマーモデルの集中型および連合型学習モデルの制御セットを用いて、同一事前学習テストセット上に確立された基準ランキングを保持するか否かの評価プロトコルを評価する。 そこで本研究では,GLUEの完全,頭部のみ,縮小データを含む下流部における微調整と,本質的な評価信号としてのGLUEテキストの次トーケン予測を比較した。 以上の結果から,下流の微調整はトレーニング前のランキングを確実に保持しないが,直接的次トーケン予測はトレーニング前のテストの難易度と強い対応を示すことがわかった。 これらの結果から, 下流の微調整単独では, フェデレーション事前学習モデルとの比較において誤解を招く可能性があり, 従来の事前学習目標に近い評価信号が注目に値することが示唆された。

関連論文リスト

• Expected Gain-based Escalation in Vertical Federated Learning [6.43987569868938]
  協調推論はエージェント間で補完情報を統合することにより予測性能を向上させることができる。 すべてのサンプルにコラボレーティブフュージョンを適用することは、不要な通信と計算オーバーヘッドを引き起こす可能性がある。 2ラウンドのVFL推論プロトコルにおける選択的エスカレーションについて検討する。
  論文  参考訳（メタデータ） (2026-06-30T08:32:53Z)
• Early Data Exposure Improves Robustness to Subsequent Fine-Tuning [26.380638571847815]
  上流でのトレーニング選択が、その能力がいかに頑健に保たれるかを調査する。 初期の露光 - トレーニング後のデータを事前トレーニングに混ぜることで、アップストリームパフォーマンスとダウンストリームパフォーマンスの間のフロンティアを一貫して改善する。 以上の結果から,後続の微調整に対する頑健性は上流トレーニングの第一級目標として扱われるべきであることが示唆された。
  論文  参考訳（メタデータ） (2026-05-12T20:08:00Z)
• Online Bayesian Imbalanced Learning with Bregman-Calibrated Deep Networks [0.7106986689736825]
  本報告では、クラス優先の仮定から確率比の推定を分離する原則的フレームワークであるOBIL(TextitOnline Bayesian Im Balanced Learning)を提案する。 我々のアプローチは、ブレグマンの発散と適切なスコアリングルールとの確立された接続に基づいて、そのような損失で訓練されたディープネットワークが後続確率推定を生成することを示す。 これらの確率比の推定は、クラス事前およびコスト構造における任意の変化の下でも有効であり、最適なベイズ決定のためのしきい値調整のみを必要とすることを証明している。
  論文  参考訳（メタデータ） (2026-02-08T21:23:00Z)
• Can Small Training Runs Reliably Guide Data Curation? Rethinking Proxy-Model Practice [109.9635246405237]
  データ品質に関する実験結果が、ハイパーパラメータのトレーニングに微調整を加えることで、反転できることを示す。 評価プロトコルに簡単なパッチを導入し、プロキシモデルのトレーニングに学習率を削減した。 実験により,データキュレーションの4つの重要な次元をカバーする23種類のデータレシピに対して,このアプローチを検証した。
  論文  参考訳（メタデータ） (2025-12-30T23:02:44Z)
• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• TeLeS: Temporal Lexeme Similarity Score to Estimate Confidence in End-to-End ASR [1.8477401359673709]
  クラス確率に基づく信頼スコアは、自信過剰なASR予測の品質を正確に表すものではない。 信頼度推定モデル(CEM)を訓練するためのTeLeS(Temporal-Lexeme similarity)の信頼性スコアを提案する。 我々は、ヒンディー語、タミル語、カナダ語という3つの言語で訓練されたASRモデルを用いて、様々なトレーニングデータサイズで実験を行う。
  論文  参考訳（メタデータ） (2024-01-06T16:29:13Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• Robust Flow-based Conformal Inference (FCI) with Statistical Guarantee [4.821312633849745]
  本研究では,予測集合の構築や,複雑なデータや高次元データに対するアウトレイラの推測など,一連の共形推論手法を開発する。 ベンチマークデータセットを用いて,ロバストなフローベース共形推論手法の評価を行った。
  論文  参考訳（メタデータ） (2022-05-22T04:17:30Z)
• Unsupervised Domain Adaptation for Speech Recognition via Uncertainty Driven Self-Training [55.824641135682725]
  WSJ をソースドメインとし,TED-Lium 3 とSWITCHBOARD を併用したドメイン適応実験を行った。
  論文  参考訳（メタデータ） (2020-11-26T18:51:26Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。