論文の概要: Model Merging Improves Zero-Shot Generalization in Bioacoustic Foundation Models
- arxiv url: http://arxiv.org/abs/2511.05171v1
- Date: Fri, 07 Nov 2025 11:40:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-10 21:00:44.748722
- Title: Model Merging Improves Zero-Shot Generalization in Bioacoustic Foundation Models
- Title（参考訳）: 生体音響基礎モデルにおけるゼロショット一般化のモデルマージによる改善
- Authors: Davide Marincione, Donato Crisostomi, Roberto Dessi, Emanuele Rodolà, Emanuele Rossi,
- Abstract要約: 本研究では,NatureLMをベース言語モデルに補間し,ドメイン知識の喪失を最小限に抑えて命令追従機能を回復する,シンプルなモデルマージ戦略を提案する。
合併モデルでは, 極めて強力なゼロショット一般化が示され, 200%以上の相対的改善が達成され, 未確認種のクローズドセットゼロショット分類における新たな最先端技術が確立された。
- 参考スコア（独自算出の注目度）: 19.37893744134113
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models capable of generalizing across species and tasks represent a promising new frontier in bioacoustics, with NatureLM being one of the most prominent examples. While its domain-specific fine-tuning yields strong performance on bioacoustic benchmarks, we observe that it also introduces trade-offs in instruction-following flexibility. For instance, NatureLM achieves high accuracy when prompted for either the common or scientific name individually, but its accuracy drops significantly when both are requested in a single prompt. We address this by applying a simple model merging strategy that interpolates NatureLM with its base language model, recovering instruction-following capabilities with minimal loss of domain expertise. Finally, we show that the merged model exhibits markedly stronger zero-shot generalization, achieving over a 200% relative improvement and setting a new state-of-the-art in closed-set zero-shot classification of unseen species.
- Abstract（参考訳）: 種とタスクをまたいで一般化できる基礎モデルは、生物音響学の新たなフロンティアであり、NatureLMは最も顕著な例の1つである。
ドメイン固有の微調整はバイオ音響ベンチマークで高い性能を得るが、命令追従の柔軟性にトレードオフをもたらすことも観察する。
例えば、NatureLMは、共通名または科学名の両方を個別に呼び出すと高い精度を達成するが、その精度はどちらも1つのプロンプトで要求されると著しく低下する。
本研究では,NatureLMをベース言語モデルに補間するシンプルなモデルマージ戦略を適用し,ドメイン知識の損失を最小限に抑えて命令追従機能を回復する。
最後に, 合併モデルでは, 200%以上の相対的改良が達成され, 未確認種のゼロショット分類における新たな最先端技術が確立され, 極めて強力なゼロショット一般化が示された。
関連論文リスト
- OpenRubrics: Towards Scalable Synthetic Rubric Generation for Reward Modeling and LLM Alignment [38.1645520104553]
OpenRubricsは,ルーブリック世代とルーブリックベースの報酬モデルをトレーニングするための,大規模な(プロンプト,エクスプリシット)ペアのコレクションである。
識別的・包括的評価信号を引き出すために,優先的・拒否的な応答を対比することにより,厳格な規則(単純質)と原則(簡易品質)の両方を導出するコントラスト生成(CRG)を導入する。
この結果から,ごみは費用対人評価と自動報酬モデリングのギャップを狭めるような,スケーラブルなアライメント信号を提供することがわかった。
論文 参考訳（メタデータ） (2025-10-09T03:31:26Z) - Benchmarking Foundation Models for Mitotic Figure Classification [0.37334049820361814]
自己教師付き学習技術は、大規模なニューラルネットワークのトレーニングに大量のラベルのないデータを使用することを可能にした。
本研究では,ミオティックフィギュア分類における基礎モデルの利用について検討する。
我々は、すべてのモデルと、CNNとVision Transformerの両方のエンドツーエンドトレーニングベースラインを比較した。
論文 参考訳（メタデータ） (2025-08-06T13:30:40Z) - Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning [77.120955854093]
我々は,データ多様性が言語モデルにおける一般化の強力な予測因子であることを示す。
モデル誘起勾配のエントロピーを通して多様性を定量化する計量であるG-Vendiを導入する。
多様な合成データを生成するためのフレームワークであるPrismatic Synthesisを提案する。
論文 参考訳（メタデータ） (2025-05-26T16:05:10Z) - Latent Principle Discovery for Language Model Self-Improvement [14.137106102563514]
本稿では, 自己補正設定で明示的にモデル化することで, 人間の嗜好応答を推論する潜在属性を抽出する手法を提案する。
提案手法は,LM自体から新たな原理を抽出し,発見した要素をクラスタリングにより解釈可能な集合に圧縮する。
複数の反復でアルゴリズムをブートストラップすることで、より小さな言語モデルを自己改善し、AlpacaEvalの勝率+8-10%、MT-Benchの平均+0.3、IFEvalの勝率+19-23%を達成できることを示した。
論文 参考訳（メタデータ） (2025-05-22T17:20:18Z) - StarFT: Robust Fine-tuning of Zero-shot Models via Spuriosity Alignment [70.87096576708898]
本稿では,ゼロショットモデルの微調整を行うフレームワークであるStarFTを提案する。
StarFTはウォーターバードグループのシフトシナリオにおいて、それぞれ14.30%、平均精度を3.02%向上させる。
論文 参考訳（メタデータ） (2025-05-19T15:15:35Z) - Enhancement of Approximation Spaces by the Use of Primals and Neighborhood [0.0]
近隣と原始」からのインスピレーションを引き出す4つの新しい一般化された粗集合モデルを導入する。
我々は、現在のモデルは、粗い集合モデルに関連するほとんどすべての重要な側面を保存できると主張している。
また、我々の日常的な健康に関する問題に対して定義する新たな戦略が、より正確な発見をもたらすことも示している。
論文 参考訳（メタデータ） (2024-10-23T18:49:13Z) - Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy [48.29181662640212]
事実的矛盾は、生成モデルによる忠実な要約にとって重要なハードルとなる。
我々は,要約中の不整合事実のキーエラータイプを集約し,ゼロショットと教師付きパラダイムの両方を容易にするためにそれらを組み込んだ。
論文 参考訳（メタデータ） (2024-02-20T08:41:23Z) - Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳（メタデータ） (2023-05-30T10:07:17Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
局所変換近傍における分類器の出力不変性の尺度を提案する。
私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。
画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
論文 参考訳（メタデータ） (2022-07-05T14:55:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。