論文の概要: EqualizeIR: Mitigating Linguistic Biases in Retrieval Models

• arxiv url: http://arxiv.org/abs/2504.07115v1
• Date: Sat, 22 Mar 2025 03:24:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-20 18:26:27.714137
• Title: EqualizeIR: Mitigating Linguistic Biases in Retrieval Models
• Title（参考訳）: EqualizeIR: 検索モデルにおける言語バイアスの緩和
• Authors: Jiali Cheng, Hadi Amiri,
• Abstract要約: 既存の情報検索(IR)モデルでは、入力クエリの言語的複雑さに基づいた大きなバイアスが示される。 我々は、IRモデルの言語バイアスを軽減するためのフレームワークであるEqualizeIRを提案する。
• 参考スコア（独自算出の注目度）: 14.755831733659699
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This study finds that existing information retrieval (IR) models show significant biases based on the linguistic complexity of input queries, performing well on linguistically simpler (or more complex) queries while underperforming on linguistically more complex (or simpler) queries. To address this issue, we propose EqualizeIR, a framework to mitigate linguistic biases in IR models. EqualizeIR uses a linguistically biased weak learner to capture linguistic biases in IR datasets and then trains a robust model by regularizing and refining its predictions using the biased weak learner. This approach effectively prevents the robust model from overfitting to specific linguistic patterns in data. We propose four approaches for developing linguistically-biased models. Extensive experiments on several datasets show that our method reduces performance disparities across linguistically simple and complex queries, while improving overall retrieval performance.
• Abstract（参考訳）: 本研究では、既存の情報検索(IR)モデルが、入力クエリの言語的複雑さに基づいて重要なバイアスを示し、言語学的により単純なクエリ(またはより複雑なクエリ)で、言語学的により複雑なクエリ(またはより単純なクエリ)で性能を低下させる。 この問題に対処するため、我々は、IRモデルにおける言語バイアスを軽減するためのフレームワークであるEqualizeIRを提案する。 EqualizeIRは言語的にバイアスのある弱い学習者を用いて、IRデータセットの言語バイアスを捕捉し、バイアスのある弱い学習者を使用して予測を規則化し、修正することで頑健なモデルを訓練する。 このアプローチは、ロバストモデルがデータ内の特定の言語パターンにオーバーフィットすることを効果的に防ぐ。 言語的にバイアスのあるモデルを開発するための4つのアプローチを提案する。 複数のデータセットに対する大規模な実験により,言語学的に単純で複雑なクエリ間の性能格差を低減し,全体的な検索性能を向上した。

関連論文リスト

• SALAD: Improving Robustness and Generalization through Contrastive Learning with Structure-Aware and LLM-Driven Augmented Data [15.366930934639838]
  モデルロバスト性と一般化を向上する新しいアプローチであるSALADを提案する。 提案手法は,コントラスト学習のための構造認識および非実効的拡張データを生成する。 本研究のアプローチは,感性分類,性行為検出,自然言語推論の3つのタスクを用いて検証する。
  論文  参考訳（メタデータ） (2025-04-16T15:40:10Z)
• Whisper-LM: Improving ASR Models with Language Models for Low-Resource Languages [0.43498389175652036]
  本研究は、従来の言語モデルと新しい言語モデルと微調整されたWhisperモデルを統合し、あまり一般的でない言語での性能を高める。 我々は、特に低リソースシナリオにおいて、単語エラー率を大幅に改善したことを示す。 統合はすべてのモデルサイズに確実に貢献するが、改善の程度は様々であり、最適化された言語モデルパラメータの重要性を強調している。
  論文  参考訳（メタデータ） (2025-03-30T18:03:52Z)
• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• Towards Consistent Language Models Using Declarative Constraints [4.218866843626937]
  大規模言語モデルは、言語的に一貫性があり、構文的に正しい自然言語出力を生成する上で、前例のない能力を示している。 彼らはしばしば、入力された質問に対して不正確で矛盾した回答を返す。 正確で一貫した結果を提供するような言語モデルを変更するのは難しい。
  論文  参考訳（メタデータ） (2023-12-24T12:53:07Z)
• Making Retrieval-Augmented Language Models Robust to Irrelevant Context [55.564789967211844]
  ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。 近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
  論文  参考訳（メタデータ） (2023-10-02T18:52:35Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• Invariant Language Modeling [23.096265183487034]
  複数の環境にまたがってより一般化された不変表現を学習するためのフレームワークを提案する。 特に、IRM(IRM-games)のゲーム理論の実装を言語モデルに適用する。 提案手法は, (i) 構造ノイズを除去し, (ii) グローバルな性能に影響を与えることなく, 特定の刺激的相関を無視し, (iii) 領域外一般化を向上する能力を示す。
  論文  参考訳（メタデータ） (2021-10-16T00:03:19Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。