論文の概要: FDSML: Formula-Driven Supervised Metric Learning with Parameter-Aware Triplet Loss
- arxiv url: http://arxiv.org/abs/2610.39423v1
- Date: Thu, 29 Oct 2026 06:02:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.465341
- Title: FDSML: Formula-Driven Supervised Metric Learning with Parameter-Aware Triplet Loss
- Title(参考訳): FDSML:パラメータ対応トリプルト損失を用いたフォーミュラ駆動監視メトリックラーニング
- Abstract要約: F-Driven Supervised Learning (F)は、実画像なしで視覚前訓練を可能にするが、既存の手法では、識別ラベルの分類として事前学習を行っている。
本稿では,画像生成パラメータから離散クラスラベルを超越したリレーショナル・インテリジェンスを導出するFDを提案する。
FDは、FinFractalDB、洗練されたフラクタルデータセットと、より高いクラス内変動距離とより安定した構造を組み合わせたものです。
- 参考スコア(独自算出の注目度): 22.119982403781957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Formula-Driven Supervised Learning (FDSL) enables vision pre-training without real images, but existing methods cast pre-training as classification on discretized labels, discarding continuity in the generative process. We propose Formula-Driven Supervised Metric Learning (FDSML), which derives relational supervision from image-generation parameters beyond discrete class labels. FDSML combines FineFractalDB, our refined fractal dataset with higher intra-class variation and more stable structures, with a Parameter-Aware Triplet (PA-Triplet) Loss that assigns positives and negatives according to distances in the underlying Iterated Function System parameter space. This objective trains embeddings to respect parameter-derived relative similarity orderings. Experiments show that FDSML improves transferability to image retrieval while remaining competitive on downstream classification and improving robustness under several corruption settings. On ResNet-50, Recall@1 improves from 65.6% to 74.0% on Stanford Online Products and from 56.2% to 78.4% on Stanford Cars over FDSL pre-training. These results suggest that parameter-derived relational supervision provides a stronger synthetic pre-training signal than label-based classification for transfer beyond recognition.
- Abstract(参考訳): フォーミュラ駆動型スーパービジョンラーニング(FDSL)は、実像のない視覚事前学習を可能にするが、既存の手法では、識別ラベルの分類として事前学習を行い、生成過程における連続性を捨てる。
本稿では,FDSML(False-Driven Supervised Metric Learning)を提案する。
FDSMLは、FinFractalDB、洗練されたフラクタルデータセット、高いクラス内変動とより安定した構造、および基礎となる反復関数系パラメータ空間における距離に応じて正と負を割り当てるパラメータ・アウェア・トリプレット(PA-Triplet)損失を組み合わせる。
この目的は、パラメータ由来の相対的類似性順序を尊重するために埋め込みを訓練する。
実験により、FDSMLは、下流の分類において競争力を維持しながら、画像検索への転送性を改善し、複数の汚職条件下で堅牢性を向上させることが示された。
ResNet-50では、Recall@1はStanford Online Productsで65.6%から74.0%、Stanford Carsで56.2%から78.4%に改善されている。
これらの結果から,パラメータに基づく関係性監視は,認識以上の伝達のためのラベルに基づく分類よりも,より強力な合成事前学習信号を提供する可能性が示唆された。
関連論文リスト
- Adaptive Depth Sparse Framework: Similarity-Driven Resource Allocation for Pre-Trained LLMs [18.457250148137494]
本稿では,既設の大規模言語モデルから深度スパースモデルへの変換を行う適応深度スパースフレームワーク(AdaDSF)を提案する。
GPT-NeoX と Qwen2.5 では、言語モデリングとコモンセンス推論について、AdaDSF は高密度の性能を保ちながら、推論FLOP を大幅に削減する。
論文 参考訳(メタデータ) (2026-07-23T13:13:04Z) - FDIF: Formula-Driven supervised Learning with Implicit Functions for 3D Medical Image Segmentation [15.58096401866496]
ディープラーニングに基づく3D医療画像セグメンテーション手法は、大規模ラベル付きデータセットに依存している。
フォーミュラ駆動型スーパービジョン学習法は, 数式から直接トレーニングデータとラベルを生成することで, 魅力的な代替手段を提供する。
実データや医療専門家のアノテーションを使わずに、スケーラブルな事前学習を可能にするフレームワークである、Implicit Functions (FDIF) を用いたフォーミュラ駆動型教師あり学習を紹介する。
論文 参考訳(メタデータ) (2026-03-24T13:45:39Z) - MeanFlow Transformers with Representation Autoencoders [71.45823902973349]
MeanFlow(MF)は、ノイズからデータへのジャンプを直接学習することで、効率的な数ステップ生成を可能にする拡散動機付き生成モデルである。
我々は、表現オートエンコーダ(RAE)の潜在空間におけるMFの効率的なトレーニングとサンプリング手法を開発する。
1ステップのFIDが2.03であり,バニラMFの3.43を上回っ,GFLOPSのサンプリングを38%削減し,ImageNet 256のトレーニングコストを83%削減した。
論文 参考訳(メタデータ) (2025-11-17T06:17:08Z) - Traversal Learning: A Lossless And Efficient Distributed Learning Framework [0.0]
トラバースラーニング(TL)は、人気のある分散学習(DL)パラダイムで発生する品質低下の問題に対処するために設計された新しいアプローチである。
TLは、モデルがフォワード伝搬(FP)中にノードを横切るユニークな戦略を採用し、オーケストレータ上で後方伝搬(BP)を行う。
評価の結果,TL は古典的な CL アプローチと同程度であることがわかった。
論文 参考訳(メタデータ) (2025-04-10T05:48:57Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳(メタデータ) (2024-12-11T12:31:30Z) - Large Continual Instruction Assistant [59.585544987096974]
CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。
既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。
本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-08T11:24:59Z) - A Unified Contrastive Loss for Self-Training [3.3454373538792552]
自己学習法は、半教師あり学習において、豊富なラベルのないデータを利用するのに有効であることが証明されている。
本稿では,CE損失の全ての事例を一意の対照的な損失に置き換える,自己学習手法を強化するための一般的な枠組みを提案する。
私たちのフレームワークは,ラベル付きデータに制限のある3つのデータセットに対して,大幅なパフォーマンス向上を実現しています。
論文 参考訳(メタデータ) (2024-09-11T14:22:41Z) - Training-Free Unsupervised Prompt for Vision-Language Models [27.13778811871694]
本研究では,表現能力の保持と類似性に基づく予測確率の残差による強化を図るために,TFUP(Training-Free Unsupervised Prompts)を提案する。
TFUPは、複数の分類データセットのトレーニングベースメソッドを超え、驚くべきパフォーマンスを達成する。
TFUP-Tは,複数のベンチマークにおける教師なしおよび少数ショット適応手法と比較して,最先端の分類性能が向上する。
論文 参考訳(メタデータ) (2024-04-25T05:07:50Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳(メタデータ) (2022-11-16T21:55:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。