論文の概要: LPI-RIT at LeWiDi-2025: Improving Distributional Predictions via Metadata and Loss Reweighting with DisCo

• arxiv url: http://arxiv.org/abs/2508.08163v1
• Date: Mon, 11 Aug 2025 16:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:29.213482
• Title: LPI-RIT at LeWiDi-2025: Improving Distributional Predictions via Metadata and Loss Reweighting with DisCo
• Title（参考訳）: LeWiDi-2025におけるLPI-RIT:メタデータによる分布予測の改善とDisCoによる損失強調
• Authors: Mandira Sawkar, Samay U. Shetty, Deepak Pandita, Tharindu Cyril Weerasooriya, Christopher M. Homan,
• Abstract要約: DisCoは、アイテムレベルとアノテータレベルのラベル分布を共同でモデル化するニューラルネットワークである。 我々は、アノテータメタデータを組み込んだDisCoを拡張し、入力表現を強化し、不一致パターンをよりよく捉えるために損失関数を修正した。 この結果から,不一致認識モデリングの価値を浮き彫りにし,システムコンポーネントが人間の注釈付きデータの複雑さとどのように相互作用するかを考察した。
• 参考スコア（独自算出の注目度）: 3.6923465017649915
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The Learning With Disagreements (LeWiDi) 2025 shared task is to model annotator disagreement through soft label distribution prediction and perspectivist evaluation, modeling annotators. We adapt DisCo (Distribution from Context), a neural architecture that jointly models item-level and annotator-level label distributions, and present detailed analysis and improvements. In this paper, we extend the DisCo by incorporating annotator metadata, enhancing input representations, and modifying the loss functions to capture disagreement patterns better. Through extensive experiments, we demonstrate substantial improvements in both soft and perspectivist evaluation metrics across three datasets. We also conduct in-depth error and calibration analyses, highlighting the conditions under which improvements occur. Our findings underscore the value of disagreement-aware modeling and offer insights into how system components interact with the complexity of human-annotated data.
• Abstract（参考訳）: The Learning With Disagreements (LeWiDi) 2025 shared task is to model annotator disagreement through soft label distribution prediction and perspectivist evaluation, modeling annotator。 我々は、アイテムレベルとアノテータレベルのラベル分布を共同でモデル化するニューラルネットワークであるDisCo(Distribution from Context)を適応し、詳細な分析と改善を提示する。 本稿では、アノテータメタデータを組み込んだDisCoの拡張、入力表現の強化、不一致パターンをよりよく捉えるために損失関数の修正を行う。 広範な実験を通じて、3つのデータセットにわたるソフトおよびパースペクティビスト評価指標に大きな改善が示された。 また, 深度誤差と校正解析を行い, 改善が生じる条件を明らかにした。 我々の研究は、不一致認識モデリングの価値を浮き彫りにして、システムコンポーネントが人間の注釈付きデータの複雑さとどのように相互作用するかについての洞察を提供する。

関連論文リスト

• UMB@PerAnsSumm 2025: Enhancing Perspective-Aware Summarization with Prompt Optimization and Supervised Fine-Tuning [8.095763327154335]
  本稿では,パーアンサム共有タスク(PerAnsSumm Shared Task)について,パースペクティブ・スパン識別とパースペクティブ・アウェア・サマリゼーションを包含するアプローチを提案する。 スパン識別には、平均化によって3つのトランスフォーマーモデルを統合するアンサンブル学習を採用し、個々のモデルの強みを利用する。 要約のために、キーフレーズを組み込んだ一連のCoT(Chain-of-Thought)を設計し、要約生成を管理可能なステップに導く。
  論文  参考訳（メタデータ） (2025-03-14T06:29:51Z)
• Entity-Aware Biaffine Attention Model for Improved Constituent Parsing with Reduced Entity Violations [0.0]
  本稿では,構成構文解析のためのエンティティ対応バイファインアテンションモデルを提案する。 このモデルは、潜在的なフレーズに付加的なエンティティロールベクトルを使用することで、エンティティ情報をバイファインアテンションメカニズムに組み込む。 我々は、解析結果におけるエンティティ違反の程度を定量化するために、新しいメトリクスであるEntity Violating Rate(EVR)を導入する。
  論文  参考訳（メタデータ） (2024-09-01T05:59:54Z)
• The Inter-Intra Modal Measure: A Predictive Lens on Fine-Tuning Outcomes in Vision-Language Models [6.7181844004432385]
  Intra Modal Measure (IIMM) は、モーダル内画像の類似性とモーダル間不一致の関係を定量化する予測指標である。 既存の転送可能性測定と比較して、IIMMはデュアルエンコーダモデルにおける微調整後の精度変化に対して、はるかに強い予測力を示す。 我々は、IIMMの変化が、事前と後調整の埋め込みの間のワッサーシュタイン距離によって制限されていることを証明した理論的境界を与える。
  論文  参考訳（メタデータ） (2024-07-22T15:35:09Z)
• InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling [66.3072381478251]
  Reward Hacking(報酬の過度な最適化)は依然として重要な課題だ。 本稿では,報奨モデル,すなわちInfoRMのためのフレームワークを提案する。 InfoRMの過度な最適化検出機構は、有効であるだけでなく、幅広いデータセットにわたって堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-02-14T17:49:07Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。