論文の概要: Mitigating Bias in RAG: Controlling the Embedder

• arxiv url: http://arxiv.org/abs/2502.17390v1
• Date: Mon, 24 Feb 2025 18:16:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:57:50.385899
• Title: Mitigating Bias in RAG: Controlling the Embedder
• Title（参考訳）: RAGにおけるバイアスの緩和:組込み機の制御
• Authors: Taeyoun Kim, Jacob Springer, Aditi Raghunathan, Maarten Sap,
• Abstract要約: 本稿では,各成分の偏りとRAGシステム全体の偏りとの関係について検討する。 偏りの衝突は, 複雑であるにもかかわらず, 成分間の線形関係によって特徴づけられることを示す。 その結果, 公正性を高めるのではなく, 組込み機のバイアスを慎重に制御することで, 公平なRAGシステムの実現が期待できることがわかった。
• 参考スコア（独自算出の注目度）: 26.799581301768622
• License:
• Abstract: In retrieval augmented generation (RAG) systems, each individual component -- the LLM, embedder, and corpus -- could introduce biases in the form of skews towards outputting certain perspectives or identities. In this work, we study the conflict between biases of each component and their relationship to the overall bias of the RAG system, which we call bias conflict. Examining both gender and political biases as case studies, we show that bias conflict can be characterized through a linear relationship among components despite its complexity in 6 different LLMs. Through comprehensive fine-tuning experiments creating 120 differently biased embedders, we demonstrate how to control bias while maintaining utility and reveal the importance of reverse-biasing the embedder to mitigate bias in the overall system. Additionally, we find that LLMs and tasks exhibit varying sensitivities to the embedder bias, a crucial factor to consider for debiasing. Our results underscore that a fair RAG system can be better achieved by carefully controlling the bias of the embedder rather than increasing its fairness.
• Abstract（参考訳）: 検索強化生成(RAG)システムでは、個々のコンポーネント(LDM、埋め込み、コーパス)が、特定の視点やアイデンティティを出力するスキューの形でバイアスを発生させる可能性がある。 本研究では,各成分の偏りとRAGシステム全体の偏りとの関係について検討する。 性別と政治的バイアスの両方をケーススタディとして検討した結果,6つのLDMの複雑さにもかかわらず,コンポーネント間の線形関係によってバイアスの衝突が特徴づけられることがわかった。 120種類の異なるバイアスを発生させる総合的な微調整実験を通じて、実用性を維持しつつバイアスを制御する方法を示し、システム全体のバイアスを軽減するために埋め込み器を逆バイアスすることの重要性を明らかにする。 さらに, LLM やタスクは, 組込みバイアスに対する様々な感受性を示しており, 脱バイアスを考慮すべき重要な要因であることがわかった。 その結果, 公正性を高めるのではなく, 組込み機のバイアスを慎重に制御することで, 公平なRAGシステムの実現が期待できることがわかった。

関連論文リスト

• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• Investigating Implicit Bias in Large Language Models: A Large-Scale Study of Over 50 LLMs [0.0]
  大規模言語モデル(LLM)は幅広いタスクで採用されている。 最近の研究では、LLMは明示的な偏見評価をパスしても暗黙の偏見を抑えることができることが示されている。 この研究は、新しい言語モデルやより大きな言語モデルが自動的にバイアスを減らさないことを強調している。
  論文  参考訳（メタデータ） (2024-10-13T03:43:18Z)
• Unveiling and Mitigating Bias in Large Language Model Recommendations: A Path to Fairness [3.5297361401370044]
  本研究では,LLMに基づくレコメンデーションシステムとバイアスの相互作用について検討する。 音楽、歌、書籍のレコメンデーションなど、様々な民族や文化グループに重点を置いている。 我々の発見によると、これらのシステムのバイアスは深く根深いが、迅速なエンジニアリングのような単純な介入さえも、それを大幅に減らすことができる。
  論文  参考訳（メタデータ） (2024-09-17T01:37:57Z)
• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception [13.592532358127293]
  大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。 LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。 我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-22T00:59:48Z)
• Bias-Conflict Sample Synthesis and Adversarial Removal Debias Strategy for Temporal Sentence Grounding in Video [67.24316233946381]
  TSGV(Temporal Sentence Grounding in Video)は、データセットバイアスの問題に悩まされている。 偏りを伴うサンプル合成と逆行性除去脱バイアス戦略(BSSARD)を提案する。
  論文  参考訳（メタデータ） (2024-01-15T09:59:43Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Step by Step to Fairness: Attributing Societal Bias in Task-oriented Dialogue Systems [42.96878402632241]
  そこで本研究では,TODシステムの各コンポーネントにバイアスを付与する診断手法を提案する。 我々は、TODシステムのバイアスを、性別、年齢、人種の3つの人口軸に属性付ける実験を行う。
  論文  参考訳（メタデータ） (2023-11-11T09:06:15Z)
• Bias Propagation in Federated Learning [22.954608704251118]
  少数政党の少数派に対する偏見がネットワークを通じてネットワーク内のすべての当事者に伝播することを示す。 自然に分割された実世界のデータセット上でのフェデレーション学習におけるバイアス伝搬の分析と説明を行う。
  論文  参考訳（メタデータ） (2023-09-05T11:55:03Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。