論文の概要: Opt-ICL at LeWiDi-2025: Maximizing In-Context Signal from Rater Examples via Meta-Learning

• arxiv url: http://arxiv.org/abs/2510.07105v1
• Date: Wed, 08 Oct 2025 14:59:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.578627
• Title: Opt-ICL at LeWiDi-2025: Maximizing In-Context Signal from Rater Examples via Meta-Learning
• Title（参考訳）: LeWiDi-2025におけるOpt-ICL:メタラーニングによるラタ例からのインコンテキスト信号の最大化
• Authors: Taylor Sorensen, Yejin Choi,
• Abstract要約: 本稿では,人間の変動をモデル化するシステムについて概説する。 言語モデル(LLM)のコンテキスト学習能力と2段階のメタ学習訓練手法を用いる。 我々は,Learning With Disagreements (LeWiDi) コンペティションにおいて,両タスクの総合的な勝者であるシステムの性能を評価した。
• 参考スコア（独自算出の注目度）: 34.49657439912369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many natural language processing (NLP) tasks involve subjectivity, ambiguity, or legitimate disagreement between annotators. In this paper, we outline our system for modeling human variation. Our system leverages language models' (LLMs) in-context learning abilities, along with a two-step meta-learning training procedure for 1) post-training on many datasets requiring in-context learning and 2) specializing the model via in-context meta-learning to the particular data distribution of interest. We also evaluate the performance of our system submission to the Learning With Disagreements (LeWiDi) competition, where it was the overall winner on both tasks. Additionally, we perform an ablation study to measure the importance of each system component. We find that including rater examples in-context is crucial for our system's performance, dataset-specific fine-tuning is helpful on the larger datasets, post-training on other in-context datasets is helpful on one of the competition datasets, and that performance improves with model scale.
• Abstract（参考訳）: 多くの自然言語処理(NLP)タスクは、主観性、曖昧性、あるいはアノテータ間の正当な不一致を含む。 本稿では,人間の変動をモデル化するシステムについて概説する。 我々のシステムは、言語モデル(LLM)の文脈内学習能力と2段階のメタ学習訓練手法を活用する。 1)テキスト内学習を必要とする多くのデータセットのポストトレーニング 2) 関心の特定のデータ分布にコンテキスト内メタラーニングを用いてモデルを特化すること。 また,Learning With Disagreements (LeWiDi) コンペティション(Learning With Disagreements (Learning With Disagreements)コンペティション)へのシステム提出の性能評価を行った。 さらに,各システムコンポーネントの重要性を測定するためのアブレーション調査を実施している。 コンテクスト内のレートラ例を含めると、我々のシステムのパフォーマンスに不可欠であり、データセット固有の微調整はより大きなデータセットで有効であり、他のインコンテキストデータセットでのポストトレーニングは競合データセットの1つで有効であり、モデルスケールでパフォーマンスが向上する。

関連論文リスト

• Underlying Semantic Diffusion for Effective and Efficient In-Context Learning [113.4003355229632]
  Underlying Semantic Diffusion (US-Diffusion)は、セマンティック学習、計算効率、文脈内学習能力を高める拡張拡散モデルである。 本稿では,フィードバック信号を利用したフィードバック支援学習(FAL)フレームワークを提案する。 また,高雑音レベルの時間ステップで高密度サンプリングを行うためのプラグイン・アンド・プレイの効率的なサンプリング戦略(ESS)を提案する。
  論文  参考訳（メタデータ） (2025-03-06T03:06:22Z)
• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• In2Core: Leveraging Influence Functions for Coreset Selection in Instruction Finetuning of Large Language Models [37.45103473809928]
  In2Coreアルゴリズムは,トレーニングモデルと評価サンプルの相関関係を解析し,コアセットを選択する。 LLMの微調整データにアルゴリズムを適用することで、トレーニングデータの50%で同様の性能を実現することができる。
  論文  参考訳（メタデータ） (2024-08-07T05:48:05Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for E-Commerce Product Search [4.220439000486713]
  検索結果の質を向上させるために,頑健な多言語モデルを提案する。 事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。 微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
  論文  参考訳（メタデータ） (2023-01-31T07:31:34Z)
• In-context Learning Distillation: Transferring Few-shot Learning Ability of Pre-trained Language Models [55.78264509270503]
  そこで本研究では,大規模モデルから小型モデルへ,文脈内数ショット学習能力を移行するために,文脈内学習蒸留を導入する。 メタ・イン・コンテクスト・タニング(Meta-ICT)とマルチタスク・イン・コンテクスト・タニング(Multitask-ICT)の2つの異なる学習パラダイムの下で、イン・コンテクスト・ラーニング・蒸留を行う。 実験と分析により,マルチタスクICTパラダイムの下で,文脈内学習の目的と言語モデリングの目的が相補的であることが明らかとなった。
  論文  参考訳（メタデータ） (2022-12-20T22:11:35Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。