The FID Lottery: Quantifying Hidden Randomness in Generative-Model Evaluation
Abstractの概要
本論文では、Fréchet Inception Distance (FID) を固定されたスコアではなく確率変数として捉え、学習シードとサンプリングシードの2軸パネルを用いて調査しています。クラス条件付きのImageNet 256x256で学習された数百のSiT拡散モデルを対象に、モデルを再学習した場合と、固定されたモデルからサンプルを再抽出した場合のFIDの変化量を直接測定しました。その結果、再学習による変動は再抽出による変動よりもはるかに大きいことが判明し、さらに学習面でのばらつきを初期化、データ順序、フロー・マッチング・ノイズに分解して評価しています。また、ガイダンス・チューニング、計算量の追加、モデルの大規模化、学習率転移がこの不安定性を低減するかどうかも検証し、その知見をもとにマルチシードによるFID報告プロトコルの必要性を提示しています。
新規性
本論文の主な新規性は、FID評価を学習シードと生成シードの両方にわたる2次元のランダム性の問題として運用し、その分散を大規模に直接測定した点にあります。また、ガイダンスの最適化がノイズフロアやシードの順位をどのように変化させるかを調査するために、セルごとの黄金分割ガイダンス・チューニング・プロトコル（GS-FID）を導入しています。
成果
報告されたSiT-B/2パネルにおいて、再学習によるFIDの変化は固定モデルからの再サンプリングと比較して3.2倍大きく、サンプリングシード単独の変動係数(CoV)が約0.4%であるのに対し、学習シードのCoVは約1.3%に達しました。学習時の分散要因としてはフロー・マッチング・ノイズが最大であり、初期化やデータ順序がこれに続く一方で、数値計算の非決定性がFIDの分散に与える影響はわずかでした。セルごとのCFGチューニングにより相対的なばらつきは約半減するものの、シードの順位は変動し、残存する1〜2%のCoVはモデル規模や計算予算に関わらず持続し、幸運なシードは不運なシードよりも最大2倍少ない計算量で同じFIDに到達可能であることが示されました。
論文の注目点
- FID評価においては学習シードのばらつきがサンプリングシードのばらつきを上回るため、単一モデルの結果報告では不確実性を過小評価することになる。
- 学習時のランダム性要因の中ではフロー・マッチング・ノイズがFIDのばらつきに最も寄与しており、次いで初期化、データ順序が続く一方で、ハードウェアに基づく非決定性の実用的な影響はほとんどない。
- GS-FIDを用いたガイダンス・チューニングは相対的なFIDのノイズフロアを減少させるがシードの順位を変動させ、残存する1〜2%の変動係数フロアはモデル規模や計算量に関わらず持続する。
参考リンク
- arXiv: https://arxiv.org/abs/2606.20536v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.20536v1
- Hugging Face Papers: https://huggingface.co/papers/2606.20536
- Project: https://kyutai.org/fid-lottery