論文の概要: Composable Cross-prompt Essay Scoring by Merging Models

• arxiv url: http://arxiv.org/abs/2505.18548v1
• Date: Sat, 24 May 2025 06:28:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.499768
• Title: Composable Cross-prompt Essay Scoring by Merging Models
• Title（参考訳）: 融合モデルによる構成可能なクロスプロンプト評価
• Authors: Sanwoo Lee, Kun Liang, Yunfang Wu,
• Abstract要約: クロスプロンプト自動エッセイは、典型的にはすべてのソースプロンプトで共同でモデルを訓練する。 本稿では、データセットの代わりに個別に訓練されたソースモデルのパラメータを選択的にマージする、ソースフリー適応手法を提案する。
• 参考スコア（独自算出の注目度）: 7.5702468122067685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in cross-prompt automated essay scoring (AES) typically train models jointly on all source prompts, often requiring additional access to unlabeled target prompt essays simultaneously. However, using all sources is suboptimal in our pilot study, and re-accessing source datasets during adaptation raises privacy concerns. We propose a source-free adaptation approach that selectively merges individually trained source models' parameters instead of datasets. In particular, we simulate joint training through linear combinations of task vectors -- the parameter updates from fine-tuning. To optimize the combination's coefficients, we propose Prior-encoded Information Maximization (PIM), an unsupervised objective which promotes the model's score discriminability regularized by priors pre-computed from the sources. We employ Bayesian optimization as an efficient optimizer of PIM. Experimental results with LLMs on in-dataset and cross-dataset adaptation show that our method (1) consistently outperforms training jointly on all sources, (2) maintains superior robustness compared to other merging methods, (3) excels under severe distribution shifts where recent leading cross-prompt methods struggle, all while retaining computational efficiency.
• Abstract（参考訳）: クロスプロンプト自動エッセイスコア(AES)の最近の進歩は、典型的には全てのソースプロンプトでモデルを共同で訓練し、しばしばラベルなしのターゲットプロンプトエッセイに同時にアクセスする必要がある。 しかし、すべてのソースを使用することはパイロット研究において最適であり、適応中にソースデータセットを再アクセスすることはプライバシー上の懸念を引き起こす。 本稿では、データセットの代わりに個別に訓練されたソースモデルのパラメータを選択的にマージする、ソースフリー適応手法を提案する。 特に、タスクベクトルの線形結合による関節トレーニングをシミュレートし、パラメータを微調整から更新する。 この組み合わせの係数を最適化するために,事前計算した先行情報により正規化されるモデルのスコア識別性を促進する教師なし目的である事前符号化情報最大化(PIM)を提案する。 PIMの最適化手法としてベイズ最適化を用いる。 計算効率を保ちつつ,近年の先行するクロスプロンプト法が苦戦している高度分布シフトの下では,(1) が他のマージ法に比べて優れたロバスト性を維持し,(3) 優れた分散性を維持していることを示す。

関連論文リスト

• Probabilistic Federated Prompt-Tuning with Non-IID and Imbalanced Data [35.47385526394076]
  微調整事前学習モデルは、適度なデータで複雑なタスクを解決する機械学習の一般的なアプローチである。 事前訓練されたモデル全体を微調整することは、ローカルデータ分布が多様に歪んだフェデレーションデータシナリオでは効果がない。 提案手法は,フェデレーション学習を分散集合モデリングタスクに変換し,事前学習したモデルを世界規模で微調整するための多様なプロンプトを集約する。
  論文  参考訳（メタデータ） (2025-02-27T04:31:34Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。