論文の概要: How (Mis)calibrated is Your Federated CLIP and What To Do About It?

• arxiv url: http://arxiv.org/abs/2512.04305v1
• Date: Wed, 03 Dec 2025 22:40:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:45.909884
• Title: How (Mis)calibrated is Your Federated CLIP and What To Do About It?
• Title（参考訳）: あなたのフェデレーションCLIPはどのように(ミス)校正されるのか?
• Authors: Mainak Singha, Masih Aminbeidokhti, Paolo Casari, Elisa Ricci, Subhankar Roy,
• Abstract要約: FLがCLIP校正にどう影響するかを考察し,この分散環境での信頼性向上戦略を提案する。 FL のキャリブレーションを自然に改善する簡単な LoRA ベースのアプローチである $textFL2textoRA$ を提案する。 複数のベンチマークの実験では、$textFL2textoRA$が常によく校正されたモデルを生成することが示されている。
• 参考スコア（独自算出の注目度）: 25.190961305181744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While vision-language models like CLIP have been extensively studied, their calibration, crucial for reliable predictions, has received limited attention. Although a few prior works have examined CLIP calibration in offline settings, the impact of fine-tuning CLIP in a federated learning (FL) setup remains unexplored. In this work, we investigate how FL affects CLIP calibration and propose strategies to improve reliability in this distributed setting. We first analyze Textual Prompt Tuning approaches and show that they degrade calibration metrics when operating under FL. We also evaluate existing in-training calibration techniques across four global aggregation methods, finding that they provide limited improvements. Our results suggest that the key challenge lies not only in how we aggregate or calibrate, but in which components we choose to fine-tune. Motivated by this insight, we propose $\text{FL}^2\text{oRA}$, a straightforward LoRA-based approach that naturally improves calibration in FL, and we analyze the factors behind its effectiveness. Experiments on multiple benchmarks demonstrate that $\text{FL}^2\text{oRA}$ consistently produces well-calibrated models, reducing the need for explicit calibration procedures. Codes are available at https://github.com/mainaksingha01/FL2oRA.
• Abstract（参考訳）: CLIPのような視覚言語モデルは広く研究されているが、信頼性の高い予測に不可欠なキャリブレーションは、あまり注目されていない。 オフライン環境でのCLIP校正について、いくつかの先行研究が検討されているが、フェデレートラーニング(FL)セットアップにおける微調整CLIPの影響は未解明のままである。 本研究では,FLがCLIP校正にどう影響するかを考察し,この分散環境での信頼性向上戦略を提案する。 まず、テキスト・プロンプト・チューニングのアプローチを分析し、FL下での動作時に校正基準を劣化させることを示す。 また,4つのグローバルアグリゲーション法にまたがる既存のイントレーニング校正手法を評価し,それらが限定的な改善をもたらすことを示した。 私たちの結果は、重要な課題は、どのように集約するか、キャリブレーションするかだけでなく、どのコンポーネントを微調整するかという点にあることを示唆しています。 この知見に触発されて、FLのキャリブレーションを自然に改善する簡単なLoRAベースのアプローチである$\text{FL}^2\text{oRA}$を提案し、その効果の背景となる要因を分析する。 複数のベンチマークの実験では、$\text{FL}^2\text{oRA}$ が常によく校正されたモデルを生成し、明示的な校正手順の必要性を減らすことが示されている。 コードはhttps://github.com/mainaksingha01/FL2oRAで公開されている。

関連論文リスト

• Private Federated Multiclass Post-hoc Calibration [22.40729940679]
  フェデレートラーニング(FL)の目標は、複数のクライアントに分散し、プライバシー上の懸念から集中できないデータに対して、グローバルモデルをトレーニングすることだ。 本研究は, FL内におけるポストホックモデルキャリブレーション技術の統合について紹介する。 本研究では,(1)フェデレーション設定,(2)ユーザレベル差分プライバシー(DP)設定について検討し,両者がキャリブレーション精度に与える影響を実証する。
  論文  参考訳（メタデータ） (2025-10-02T13:05:31Z)
• Credence Calibration Game? Calibrating Large Language Models through Structured Play [5.618123969871241]
  大きな言語モデル(LLM)は、決定クリティカルなドメインにますますデプロイされています。 既存の校正法は主にポストホック調整や補助モデル訓練に重点を置いている。 クレデンスゲームに触発された新しいプロンプトベースのキャリブレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-20T03:33:38Z)
• Restoring Calibration for Aligned Large Language Models: A Calibration-Aware Fine-Tuning Approach [34.478524949495345]
  大言語モデル(LLM)の成功のための重要な技術である選好アライメント 本稿では,リコメンデーションアライメントがキャリブレーションになぜ影響するか,この問題にどう対処するかを検討する。
  論文  参考訳（メタデータ） (2025-05-04T05:42:51Z)
• C-TPT: Calibrated Test-Time Prompt Tuning for Vision-Language Models via Text Feature Dispersion [54.81141583427542]
  深層学習において,ラベル付きデータを必要としない微調整手法としてテスト時間適応が注目されている。 本稿では,CLIPの固有特性を利用したテスト時プロンプトチューニング時の校正について検討する。 そこで本研究では,C-TPT(Calibrated Test-time Prompt Tuning)という,キャリブレーションの強化によるテスト時間中のプロンプトの最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-03-21T04:08:29Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Post-hoc Calibration of Neural Networks by g-Layers [51.42640515410253]
  近年、ニューラルネットワークの校正に関する研究が急増している。 負ログライクリーフ(NLL)の最小化は、グローバルな最適化が達成されれば、トレーニングセット上の校正ネットワークにつながることが知られている。 基本ネットワーク (f$) が NLL のグローバルな最適化に繋がらず,追加レイヤ (g$) を追加し,パラメータを$g$ 1 に最適化することで NLL を最小化することで,キャリブレーションネットワークが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-23T07:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。