論文の概要: Leveraging Estimated Transferability Over Human Intuition for Model Selection in Text Ranking
- arxiv url: http://arxiv.org/abs/2409.16198v1
- Date: Tue, 24 Sep 2024 15:48:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 05:17:23.292186
- Title: Leveraging Estimated Transferability Over Human Intuition for Model Selection in Text Ranking
- Title（参考訳）: テキストランキングにおけるモデル選択のための人間の直観による推定伝達可能性の活用
- Authors: Jun Bai, Zhuofan Chen, Zhenzi Li, Hanhua Hong, Jianfei Zhang, Chen Li, Chenghua Lin, Wenge Rong,
- Abstract要約: モデル選択に対する効果的なアプローチとして、転送可能性推定(TE)が登場している。
本稿では,予測ランクを転送可能性として計算し,モデルのランク付け能力を明確に反映することを提案する。
得られた手法であるAdaptive Ranking Transferability (AiRTran)は、モデル間の微妙な差異を効果的に捉えることができる。
- 参考スコア（独自算出の注目度）: 17.475727043819635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text ranking has witnessed significant advancements, attributed to the utilization of dual-encoder enhanced by Pre-trained Language Models (PLMs). Given the proliferation of available PLMs, selecting the most effective one for a given dataset has become a non-trivial challenge. As a promising alternative to human intuition and brute-force fine-tuning, Transferability Estimation (TE) has emerged as an effective approach to model selection. However, current TE methods are primarily designed for classification tasks, and their estimated transferability may not align well with the objectives of text ranking. To address this challenge, we propose to compute the expected rank as transferability, explicitly reflecting the model's ranking capability. Furthermore, to mitigate anisotropy and incorporate training dynamics, we adaptively scale isotropic sentence embeddings to yield an accurate expected rank score. Our resulting method, Adaptive Ranking Transferability (AiRTran), can effectively capture subtle differences between models. On challenging model selection scenarios across various text ranking datasets, it demonstrates significant improvements over previous classification-oriented TE methods, human intuition, and ChatGPT with minor time consumption.
- Abstract（参考訳）: テキストランキングは、事前訓練言語モデル(PLM)によって強化されたデュアルエンコーダの利用により、大幅な進歩が見られた。
利用可能なPLMの急増を考えると、与えられたデータセットに対して最も効果的なPLMを選択することは、非常に難しい課題となっている。
人間の直感やブルートフォースの微調整に代わる有望な代替手段として、モデル選択に対する効果的なアプローチとしてTransferability Estimation (TE)が登場した。
しかし、現在のTE法は主に分類タスク用に設計されており、その推定転送性はテキストランキングの目的とよく一致しない可能性がある。
この課題に対処するために、モデルランキング能力を明確に反映して、期待されるランクを転送可能性として計算することを提案する。
さらに、異方性を緩和し、トレーニング力学を取り入れるために、同方性文の埋め込みを適応的に拡張し、正確なランクスコアを得る。
得られた手法であるAdaptive Ranking Transferability (AiRTran)は、モデル間の微妙な差異を効果的に捉えることができる。
テキストランキングデータセット間の挑戦的なモデル選択シナリオについて、従来の分類指向のTEメソッド、人間の直観、ChatGPTよりも短時間で大幅に改善されていることを示す。
関連論文リスト
- Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。
また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文 参考訳（メタデータ） (2024-01-11T17:56:59Z) - A Conditioned Unsupervised Regression Framework Attuned to the Dynamic Nature of Data Streams [0.0]
本稿では,制限付きラベル付きデータを用いたストリーミング環境の最適戦略を提案し,教師なし回帰のための適応手法を提案する。
提案手法は,初期ラベルのスパースセットを活用し,革新的なドリフト検出機構を導入する。
適応性を高めるために,Adaptive WINdowingアルゴリズムとRoot Mean Square Error (RMSE)に基づく誤り一般化アルゴリズムを統合する。
論文 参考訳（メタデータ） (2023-12-12T19:23:54Z) - Adaptive Weighted Co-Learning for Cross-Domain Few-Shot Learning [23.615250207134004]
クロスドメイン少ショット学習(CDFSL)は、非常に困難な適応問題を引き起こす。
適応重み付き共学習法(AWCoL)を提案し,CDFSL問題に対処する。
複数のベンチマークデータセットに対して総合的な実験を行い,提案手法が最先端のCDFSL性能を実現することを示す実証実験を行った。
論文 参考訳（メタデータ） (2023-12-06T22:09:52Z) - Fast and Accurate Transferability Measurement by Evaluating Intra-class
Feature Variance [20.732095457775138]
転送可能性の測定は、ソースタスクからターゲットタスクに学習したトレーニング済みモデルがどのように転送可能かを定量化する。
本稿では,トランスファビリティを計測する高速かつ正確なアルゴリズムであるTMI(TRANSFERABILITY Measurement with Intra-CLASS FEATURE VARIANCE)を提案する。
論文 参考訳（メタデータ） (2023-08-11T07:50:40Z) - How to Estimate Model Transferability of Pre-Trained Speech Models? [84.11085139766108]
事前学習音声モデルの伝達可能性推定のためのスコアベースアセスメントフレームワーク
ベイズ確率推定と最適輸送という2つの表現理論を利用して、PSM候補のランクスコアを生成する。
本フレームワークは,候補モデルやレイヤを実際に微調整することなく,転送可能性スコアを効率的に計算する。
論文 参考訳（メタデータ） (2023-06-01T04:52:26Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2022-09-30T02:25:12Z) - "Diversity and Uncertainty in Moderation" are the Key to Data Selection
for Multilingual Few-shot Transfer [13.268758633770595]
本稿では,アノテーションのためのデータ選択手法について検討する。
提案手法は,$n$-gram言語モデルを用いたデータエントロピー,予測エントロピー,勾配埋め込みなどの複数の尺度に依存する。
実験により、勾配と損失埋め込みに基づく戦略は、ランダムなデータ選択ベースラインを一貫して上回ることが示された。
論文 参考訳（メタデータ） (2022-06-30T04:22:27Z) - Semi-supervised Formality Style Transfer using Language Model
Discriminator and Mutual Information Maximization [52.867459839641526]
フォーマル・スタイル・トランスファー(英: Formality style transfer)とは、非公式な文を文法的に正しい形式文に変換するタスクである。
本稿では,言語モデルに基づく識別器を用いて,文が形式的である確率を最大化する半教師付き形式表現スタイル転送モデルを提案する。
実験の結果,我々のモデルは,自動計測と人的判断の両面で,従来の最先端のベースラインを著しく上回りました。
論文 参考訳（メタデータ） (2020-10-10T21:05:56Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2020-03-14T22:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。