論文の概要: Composable Cross-prompt Essay Scoring by Merging Models
- arxiv url: http://arxiv.org/abs/2505.18548v1
- Date: Sat, 24 May 2025 06:28:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:42.499768
- Title: Composable Cross-prompt Essay Scoring by Merging Models
- Title（参考訳）: 融合モデルによる構成可能なクロスプロンプト評価
- Authors: Sanwoo Lee, Kun Liang, Yunfang Wu,
- Abstract要約: クロスプロンプト自動エッセイは、典型的にはすべてのソースプロンプトで共同でモデルを訓練する。
本稿では、データセットの代わりに個別に訓練されたソースモデルのパラメータを選択的にマージする、ソースフリー適応手法を提案する。
- 参考スコア（独自算出の注目度）: 7.5702468122067685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in cross-prompt automated essay scoring (AES) typically train models jointly on all source prompts, often requiring additional access to unlabeled target prompt essays simultaneously. However, using all sources is suboptimal in our pilot study, and re-accessing source datasets during adaptation raises privacy concerns. We propose a source-free adaptation approach that selectively merges individually trained source models' parameters instead of datasets. In particular, we simulate joint training through linear combinations of task vectors -- the parameter updates from fine-tuning. To optimize the combination's coefficients, we propose Prior-encoded Information Maximization (PIM), an unsupervised objective which promotes the model's score discriminability regularized by priors pre-computed from the sources. We employ Bayesian optimization as an efficient optimizer of PIM. Experimental results with LLMs on in-dataset and cross-dataset adaptation show that our method (1) consistently outperforms training jointly on all sources, (2) maintains superior robustness compared to other merging methods, (3) excels under severe distribution shifts where recent leading cross-prompt methods struggle, all while retaining computational efficiency.
- Abstract（参考訳）: クロスプロンプト自動エッセイスコア(AES)の最近の進歩は、典型的には全てのソースプロンプトでモデルを共同で訓練し、しばしばラベルなしのターゲットプロンプトエッセイに同時にアクセスする必要がある。
しかし、すべてのソースを使用することはパイロット研究において最適であり、適応中にソースデータセットを再アクセスすることはプライバシー上の懸念を引き起こす。
本稿では、データセットの代わりに個別に訓練されたソースモデルのパラメータを選択的にマージする、ソースフリー適応手法を提案する。
特に、タスクベクトルの線形結合による関節トレーニングをシミュレートし、パラメータを微調整から更新する。
この組み合わせの係数を最適化するために,事前計算した先行情報により正規化されるモデルのスコア識別性を促進する教師なし目的である事前符号化情報最大化(PIM)を提案する。
PIMの最適化手法としてベイズ最適化を用いる。
計算効率を保ちつつ,近年の先行するクロスプロンプト法が苦戦している高度分布シフトの下では,(1) が他のマージ法に比べて優れたロバスト性を維持し,(3) 優れた分散性を維持していることを示す。
関連論文リスト
- Fine-Tuned In-Context Learners for Efficient Adaptation [27.541207591799004]
大規模言語モデル(LLM)の微調整に対する統一的アプローチを提案する。
我々は、kショットプロンプトの構造を模倣して、コンテキスト内例を付加したタスク固有データ上でモデルを微調整する。
このアプローチは、タスク毎の微調整を必要とする一方で、コンテキスト内学習のサンプル効率と微調整の性能向上を組み合わせている。
論文 参考訳（メタデータ） (2025-12-22T21:12:02Z) - Adaptive Preference Optimization with Uncertainty-aware Utility Anchor [33.74005997646761]
オフライン優先最適化手法は、大規模言語モデル(LLM)のアライメントに効率的である。
提案手法は, 嗜好データアノテーションから生じる不確実性を推定するアンカー機能を導入し, オフラインの選好最適化手法の一般的なフレームワークを提案する。
本手法は,データ不備のシナリオにおいてもトレーニングが可能であり,データ利用効率を大幅に向上させる。
論文 参考訳（メタデータ） (2025-09-03T10:20:08Z) - Heterogeneous Self-Supervised Acoustic Pre-Training with Local Constraints [64.15709757611369]
異種データを扱うための自己教師付き事前学習手法を提案する。
提案手法は、下流の教師付き微調整タスクに対する自己教師付き事前訓練モデルの適応性を大幅に向上させることができる。
論文 参考訳（メタデータ） (2025-08-27T15:48:50Z) - A Scalable Pretraining Framework for Link Prediction with Efficient Adaptation [16.82426251068573]
リンク予測(LP)は、グラフ機械学習において重要なタスクである。
既存の手法は、疎結合性からの限られた監督を含む重要な課題に直面している。
これらの課題に対処するためのソリューションとして,事前学習について検討する。
論文 参考訳（メタデータ） (2025-08-06T17:10:31Z) - Adaptive Sample Scheduling for Direct Preference Optimization [37.75208455935495]
DPOのためのサンプルスケジューリングという,新しい問題を紹介します。
モデルの進化状態に基づいてトレーニングサンプルを動的かつ適応的にスケジュールすることを目的としている。
トレーニングバッチ毎にサンプルを適応的に選択する,効率的かつ効率的なアルゴリズムであるSamSを提案する。
論文 参考訳（メタデータ） (2025-06-08T10:26:09Z) - Probabilistic Federated Prompt-Tuning with Non-IID and Imbalanced Data [35.47385526394076]
微調整事前学習モデルは、適度なデータで複雑なタスクを解決する機械学習の一般的なアプローチである。
事前訓練されたモデル全体を微調整することは、ローカルデータ分布が多様に歪んだフェデレーションデータシナリオでは効果がない。
提案手法は,フェデレーション学習を分散集合モデリングタスクに変換し,事前学習したモデルを世界規模で微調整するための多様なプロンプトを集約する。
論文 参考訳（メタデータ） (2025-02-27T04:31:34Z) - Aligning Instruction Tuning with Pre-training [81.4748965653345]
そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。
8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2025-01-16T08:27:40Z) - A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。
合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。
実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。
高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
論文 参考訳（メタデータ） (2024-12-18T15:38:39Z) - Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。
目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。
DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
論文 参考訳（メタデータ） (2024-08-14T11:29:47Z) - How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳（メタデータ） (2024-02-15T02:27:57Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。