論文の概要: Can a Crow Hatch a Falcon? Lineage Matters in Predicting Large Language Model Performance

• arxiv url: http://arxiv.org/abs/2504.19811v1
• Date: Mon, 28 Apr 2025 14:08:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.456161
• Title: Can a Crow Hatch a Falcon? Lineage Matters in Predicting Large Language Model Performance
• Title（参考訳）: クローはファルコンをキャッチできるか? 大規模言語モデルの性能予測における線形性
• Authors: Takuya Tamura, Taro Yano, Masafumi Enomoto, Masafumi Oyamada,
• Abstract要約: 本稿では,Lineage-Regularized Matrix Factorization (LRMF) フレームワークを提案する。 LRMFは、従来の行列分解法と協調フィルタリング法を、インスタンスレベルとベンチマークレベルのパフォーマンス予測の両方で一貫して上回っている。 私たちの大規模な調査には、公開可能なHugging Faceモデル2,934、主要なベンチマークで21,000以上のインスタンスが含まれています。
• 参考スコア（独自算出の注目度）: 2.649901869321331
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurately forecasting the performance of Large Language Models (LLMs) before extensive fine-tuning or merging can substantially reduce both computational expense and development time. Although prior approaches like scaling laws account for global factors such as parameter size or training tokens, they often overlook explicit lineage relationships - i.e., which models are derived or merged from which parents. In this work, we propose a novel Lineage-Regularized Matrix Factorization (LRMF) framework that encodes ancestral ties among LLMs via a graph Laplacian regularizer. By leveraging multi-hop parent-child connections, LRMF consistently outperforms conventional matrix factorization and collaborative filtering methods in both instance-level and benchmark-level performance prediction. Our large-scale study includes 2,934 publicly available Hugging Face models and 21,000+ instances across 6 major benchmarks, showing that lineage constraints yield up to 7-10 percentage points higher correlation with actual performance compared to baselines. Moreover, LRMF effectively addresses the cold-start problem, providing accurate estimates for newly derived or merged models even with minimal data. This lineage-guided strategy thus offers a resource-efficient way to inform hyperparameter tuning, data selection, and model combination in modern LLM development.
• Abstract（参考訳）: 大規模言語モデル(LLM)の性能を、大規模な微調整やマージの前に正確に予測することは、計算コストと開発時間の両方を大幅に削減することができる。 スケール法のような以前のアプローチは、パラメータサイズやトレーニングトークンのようなグローバルな要因を考慮に入れていたが、しばしば明示的な血統関係、すなわち、どのモデルが親から派生または合併されたかを見落としている。 本稿では,Lineage-Regularized Matrix Factorization (LRMF) フレームワークを提案する。 マルチホップ親子接続を利用することで、LRMFはインスタンスレベルおよびベンチマークレベルのパフォーマンス予測において、従来の行列分解および協調フィルタリング手法より一貫して優れる。 大規模な調査では,2,934の公開Hugging Faceモデルと21,000以上のインスタンスを6つのベンチマークで比較した。 さらに、LRMFはコールドスタート問題に効果的に対処し、最小限のデータでも新しい派生モデルやマージモデルの正確な推定値を提供する。 この系統誘導型戦略は、現代のLLM開発において、ハイパーパラメータチューニング、データ選択、モデル組み合わせを通知するリソース効率のよい方法を提供する。

関連論文リスト

• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Cost-Optimal Grouped-Query Attention for Long-Context LLMs [64.90662568387683]
  効率的なTransformerベースの大規模言語モデル(LLM)の構築が最近研究の焦点となっている。 モデル性能,計算コスト,メモリコストの面で,パラメータサイズ,コンテキスト長,アテンションヘッド構成の異なるモデルを比較した。 本研究は, 十分に長いシーケンスを処理した場合, より少ないアテンションヘッドを持つモデルでは, 計算コストとメモリコストの低減を図りながら, 損失を低減できることを示した。
  論文  参考訳（メタデータ） (2025-03-12T17:50:42Z)
• LLMInit: A Free Lunch from Large Language Models for Selective Initialization of Recommendation [34.227734210743904]
  協調フィルタリングモデルは、レコメンデーションシステムのためのユーザ-イテムインタラクションをキャプチャする上で、強力なパフォーマンスを示している。 GPTやLLaMAのような大規模言語モデル(LLM)の出現は、レコメンデーションパフォーマンスを向上する新たな可能性を示している。
  論文  参考訳（メタデータ） (2025-03-03T18:41:59Z)
• Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages [10.418542753869433]
  低リソース言語(LRL)は、限られたデータのために自然言語処理(NLP)において重大な課題に直面している。 現在の最先端の大規模言語モデル(LLM)は、まだLRLと競合している。 mBERTやXLM-Rのような小さなマルチリンガルモデル(mLM)は、トレーニングデータサイズに適合する能力が向上するため、より有望である。
  論文  参考訳（メタデータ） (2025-02-14T13:10:39Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• Aggregating Low Rank Adapters in Federated Fine-tuning [0.0]
  微調整された大きな言語モデルは高い計算資源とメモリ資源を必要とするため、かなりのコストがかかる。 そこで本研究では,機械学習モデルのファインチューニングで訓練された下級アダプターのアグリゲーション手法と,既存のアグリゲーション手法を比較した。 選択したGLUEベンチマークデータセットに対して,その性能を評価する。
  論文  参考訳（メタデータ） (2025-01-10T20:24:33Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
  本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。 Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。 自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
  論文  参考訳（メタデータ） (2022-09-23T18:36:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。