論文の概要: The in-context inductive biases of vision-language models differ across modalities

• arxiv url: http://arxiv.org/abs/2502.01530v1
• Date: Mon, 03 Feb 2025 17:11:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:05:37.247879
• Title: The in-context inductive biases of vision-language models differ across modalities
• Title（参考訳）: 視覚言語モデルの文脈内帰納バイアスはモダリティによって異なる
• Authors: Kelsey Allen, Ishita Dasgupta, Eliza Kosoy, Andrew K. Lampinen,
• Abstract要約: 一般化は、刺激が提示されるモダリティと、刺激がテキストで記述される方法によってどのように変化するかを調べる。 モデルは通常、色よりも形状に応じて一般化する傾向を示す。 これらの結果は、視覚言語モデルがコンテキスト内の異なるタイプの入力をどのように表現するかを明らかにするのに役立つ。
• 参考スコア（独自算出の注目度）: 15.501577963067856
• License:
• Abstract: Inductive biases are what allow learners to make guesses in the absence of conclusive evidence. These biases have often been studied in cognitive science using concepts or categories -- e.g. by testing how humans generalize a new category from a few examples that leave the category boundary ambiguous. We use these approaches to study generalization in foundation models during in-context learning. Modern foundation models can condition on both vision and text, and differences in how they interpret and learn from these different modalities is an emerging area of study. Here, we study how their generalizations vary by the modality in which stimuli are presented, and the way the stimuli are described in text. We study these biases with three different experimental paradigms, across three different vision-language models. We find that the models generally show some bias towards generalizing according to shape over color. This shape bias tends to be amplified when the examples are presented visually. By contrast, when examples are presented in text, the ordering of adjectives affects generalization. However, the extent of these effects vary across models and paradigms. These results help to reveal how vision-language models represent different types of inputs in context, and may have practical implications for the use of vision-language models.
• Abstract（参考訳）: 帰納的バイアスは、学習者が決定的な証拠がない場合に推測できるものである。 これらのバイアスはしばしば認知科学において概念やカテゴリーを用いて研究され、例えば、カテゴリーの境界が曖昧であるいくつかの例から、人間がどのように新しいカテゴリを一般化するかをテストすることで研究されている。 我々はこれらの手法を用いて、文脈内学習における基礎モデルの一般化を研究する。 現代の基礎モデルは、視覚とテキストの両方に条件付けできるが、これらの異なるモダリティからどのように解釈し、学習するかの違いは、新たな研究分野である。 そこで本研究では,それらの一般化が,刺激が提示されるモダリティと,刺激がテキストで記述される方法によってどのように変化するかを検討する。 これらのバイアスは、3つの異なる視覚言語モデルにまたがって3つの異なる実験パラダイムを用いて研究する。 モデルは通常、色よりも形状に応じて一般化する傾向を示す。 この形状バイアスは、例を視覚的に提示する場合に増幅される傾向がある。 対照的に、例がテキストで示されるとき、形容詞の順序は一般化に影響を及ぼす。 しかしながら、これらの効果の程度はモデルやパラダイムによって異なる。 これらの結果は、視覚言語モデルが文脈における異なるタイプの入力をどう表現するかを明らかにするのに役立ち、視覚言語モデルの使用に実用的な意味を持つ可能性がある。

関連論文リスト

• Gender Bias in Instruction-Guided Speech Synthesis Models [55.2480439325792]
  本研究では、モデルが職業関連プロンプトをどのように解釈するかにおける潜在的な性別バイアスについて検討する。 このようなプロンプトを解釈する際に、これらのモデルがジェンダーステレオタイプを増幅する傾向を示すかどうかを検討する。 実験の結果, ある職業において, 性別偏見を示す傾向が示された。
  論文  参考訳（メタデータ） (2025-02-08T17:38:24Z)
• Biased or Flawed? Mitigating Stereotypes in Generative Language Models by Addressing Task-Specific Flaws [12.559028963968247]
  生成言語モデルは、しばしば出力の社会的バイアスを反映し増幅します。 生成モデルにおいて観測されたステレオタイプを暗黙的に緩和する目的のステレオタイプ緩和フレームワークを提案する。 複数の次元にわたるステレオタイプ出力を60%以上削減する。
  論文  参考訳（メタデータ） (2024-12-16T03:29:08Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Exposing Bias in Online Communities through Large-Scale Language Models [3.04585143845864]
  この研究は、言語モデルにおけるバイアスの欠陥を使用して、6つの異なるオンラインコミュニティのバイアスを調査します。 得られたモデルのバイアスは、異なる人口層を持つモデルに促し、これらの世代における感情と毒性の値を比較することで評価される。 この作業は、トレーニングデータからバイアスがどの程度容易に吸収されるかを確認するだけでなく、さまざまなデータセットやコミュニティのバイアスを特定し比較するためのスケーラブルな方法も提示する。
  論文  参考訳（メタデータ） (2023-06-04T08:09:26Z)
• How Do In-Context Examples Affect Compositional Generalization? [86.57079616209474]
  本稿では,コンテクスト内構成一般化を検証するためのテストスイートであるCoFeを提案する。 構成一般化性能は、文脈内例の選択によって容易に影響を受けることが判明した。 我々の系統実験は、文脈内サンプルは、テストケースと構造的に似ており、互いに異なっており、個別に単純であることを示します。
  論文  参考訳（メタデータ） (2023-05-08T16:32:18Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• Learnable Visual Words for Interpretable Image Recognition [70.85686267987744]
  モデル予測動作を2つの新しいモジュールで解釈するLearable Visual Words (LVW)を提案する。 意味的な視覚的単語学習は、カテゴリ固有の制約を緩和し、異なるカテゴリ間で共有される一般的な視覚的単語を可能にする。 6つの視覚的ベンチマーク実験により,提案したLVWの精度とモデル解釈における優れた効果が示された。
  論文  参考訳（メタデータ） (2022-05-22T03:24:45Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Worst of Both Worlds: Biases Compound in Pre-trained Vision-and-Language Models [17.90351661475405]
  この研究は、テキストベースのバイアス分析手法を拡張し、マルチモーダル言語モデルを調べる。 VL-BERTが性別バイアスを示し、視覚シーンを忠実に表現するよりもステレオタイプを強化することを好むことが多いことを実証します。
  論文  参考訳（メタデータ） (2021-04-18T00:02:32Z)
• Sentiment Analysis with Contextual Embeddings and Self-Attention [3.0079490585515343]
  自然言語では、単語や句の意図された意味はしばしば暗黙的であり、文脈に依存する。 本稿では,文脈埋め込みと自己認識機構を用いた感情分析の簡易かつ効果的な手法を提案する。 形態学的にリッチなポーランド語とドイツ語を含む3つの言語の実験結果から、我々のモデルは最先端のモデルに匹敵するか、さらに優れています。
  論文  参考訳（メタデータ） (2020-03-12T02:19:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。