論文の概要: Positional Bias in Multimodal Embedding Models: Do They Favor the Beginning, the Middle, or the End?

• arxiv url: http://arxiv.org/abs/2511.11216v1
• Date: Fri, 14 Nov 2025 12:15:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.57885
• Title: Positional Bias in Multimodal Embedding Models: Do They Favor the Beginning, the Middle, or the End?
• Title（参考訳）: マルチモーダル埋め込みモデルにおける位置バイアス:彼らは始まり、中、終わりを好みますか?
• Authors: Kebin Wu, Fatima Albreiki,
• Abstract要約: マルチモーダル表現モデルにおける位置バイアスについて,特に画像テキスト検索の文脈で検討する。 実験により,多モーダルモデルでは位置偏差がよく見られるが,モーダル性によって異なることが示されている。 このバイアスは、位置符号化方式、訓練損失、文脈の重要性、マルチモーダルトレーニングにおける画像とテキストのペアの使用の性質といった要素の組み合わせによって生じるか、増幅される。
• 参考スコア（独自算出の注目度）: 5.449094110831793
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Positional bias - where models overemphasize certain positions regardless of content - has been shown to negatively impact model performance across various tasks. While recent research has extensively examined positional bias in text generation models, its presence and effects in representation models remain underexplored. Even less is known about such biases in multimodal models. In this work, we investigate positional bias in multimodal representation models, specifically in the context of image-text retrieval. We begin by distinguishing between context importance and positional bias, and then assess the presence and extent of positional bias across different models and datasets. Our experiments demonstrate that positional bias is prevalent in multimodal models, but manifests differently across modalities: text encoders tend to exhibit bias toward the beginning of the input, whereas image encoders show bias at both the beginning and end. Furthermore, we find that this bias arises from, or is amplified by, a combination of factors, including the positional encoding scheme, training loss, context importance, and the nature of using image-text pairs in multimodal training.
• Abstract（参考訳）: 位置バイアス — モデルはコンテンツに関係なく特定の位置を過度に強調する — は、さまざまなタスクにおけるモデルパフォーマンスに悪影響を及ぼすことが示されている。 最近の研究では、テキスト生成モデルにおける位置バイアスについて広く研究されているが、表現モデルにおけるその存在と効果は未解明のままである。 さらに、マルチモーダルモデルにおけるそのようなバイアスについては知られていない。 本研究では,マルチモーダル表現モデルにおける位置バイアスについて検討する。 まず、コンテキストの重要度と位置バイアスを区別し、異なるモデルとデータセットにまたがる位置バイアスの存在と範囲を評価する。 テキストエンコーダは入力の開始に向かってバイアスを示す傾向にあり,画像エンコーダは開始と終了の両方でバイアスを示す傾向にある。 さらに、このバイアスは、位置符号化方式、訓練損失、文脈の重要性、マルチモーダルトレーニングにおける画像テキストペアの使用の性質といった要素の組み合わせによって生じるか、増幅される。

関連論文リスト

• BLADE: Bias-Linked Adaptive DEbiasing [2.7352017408152083]
  BLADEは、バイアスやバイアスを伴うサンプルの事前知識を必要としない、生成的デバイアスのフレームワークである。 我々は,複数のベンチマークデータセット上でBLADEを評価し,最先端の手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2025-10-05T12:28:54Z)
• Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
  大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。 MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。 LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
  論文  参考訳（メタデータ） (2025-06-12T08:47:40Z)
• Beyond Early-Token Bias: Model-Specific and Language-Specific Position Effects in Multilingual LLMs [50.07451351559251]
  我々は,5言語(英語,ロシア語,ドイツ語,ヒンディー語,ベトナム語)にまたがる調査を行った。 位置バイアスが即時戦略とどのように相互作用し、出力エントロピーに影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2025-05-22T02:23:00Z)
• An Empirical Study of Position Bias in Modern Information Retrieval [9.958646803388513]
  本研究では,情報検索における位置バイアスについて検討する。 モデルは、後から現れる意味的に関連する情報を無視しながら、通過の開始時にコンテンツを過度に強調する傾向がある。 実験により, 関連する情報が通過中に現れると, 密埋モデルとコルバート式モデルが著しく性能劣化することが示された。
  論文  参考訳（メタデータ） (2025-05-20T05:29:01Z)
• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• GradBias: Unveiling Word Influence on Bias in Text-to-Image Generative Models [75.04426753720553]
  開集合におけるバイアスを特定し,定量化し,説明するための枠組みを提案する。 このパイプラインはLarge Language Model (LLM)を活用して、一連のキャプションから始まるバイアスを提案する。 このフレームワークには、OpenBiasとGradBiasの2つのバリエーションがあります。
  論文  参考訳（メタデータ） (2024-08-29T16:51:07Z)
• Revisiting Zero-Shot Abstractive Summarization in the Era of Large Language Models from the Perspective of Position Bias [13.828653029379257]
  位置バイアスを測定することにより,Large Language Models (LLMs) におけるゼロショット抽象要約を特徴付ける。 位置バイアスは入力テキストの特定の部分からの情報を不当に優先するモデルの傾向を捉え、望ましくない振る舞いをもたらす。 その結果,ゼロショット要約タスクにおけるモデルの性能と位置バイアスに関する新たな洞察と議論につながった。
  論文  参考訳（メタデータ） (2024-01-03T21:38:40Z)
• Towards Debiasing Frame Length Bias in Text-Video Retrieval via Causal Intervention [72.12974259966592]
  トリミングビデオクリップのトレーニングセットとテストセットのフレーム長差による時間偏差について,一意かつ体系的に検討した。 Epic-Kitchens-100, YouCook2, MSR-VTTデータセットについて, 因果脱バイアス法を提案し, 広範な実験およびアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-09-17T15:58:27Z)
• Unravelling the Effect of Image Distortions for Biased Prediction of Pre-trained Face Recognition Models [86.79402670904338]
  画像歪みの存在下での4つの最先端深層顔認識モデルの性能評価を行った。 我々は、画像歪みが、異なるサブグループ間でのモデルの性能ギャップと関係していることを観察した。
  論文  参考訳（メタデータ） (2021-08-14T16:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。