論文の概要: Bouba Beats Kiki, and Other Regularities in the Subjective Preferences of LLMs

• arxiv url: http://arxiv.org/abs/2610.37692v1
• Date: Wed, 21 Oct 2026 01:37:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.296327
• Title: Bouba Beats Kiki, and Other Regularities in the Subjective Preferences of LLMs
• Title（参考訳）: ブバは, LLMの主観的選好において, キキ, その他の規則に勝る
• Abstract要約: 明確な勝者なしで、モデルが複数の実行可能なレスポンスの中からどのように選択するかを問う。 我々は、構文と意味論の多くの領域をカバーするショートフォーム例の29の側面を識別する。 モデルがこれらの側面のいくつかに対して強く再現可能な好みを持つ傾向があることを示します。
• 参考スコア（独自算出の注目度）: 9.081410243587156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Users engage with large language models on tasks that are purely objective ("When was Netflix founded?"), purely subjective ("What should I name my child?") or anywhere in-between. We have rich tools for evaluating model accuracy with respect to objective criteria. However, when it comes to subjective aspects of a task, we do not have similarly developed methodology at hand. In this paper, we take some early steps towards framing the question of subjective evaluation. Rather than measure how often a model is right or wrong on a question, we instead ask, how do models make choices among multiple viable responses without a clear winner? To study this question, we restrict our focus to short-form content, and consider comparison tasks among three such content types: numbers, baby names, and fictional cities. We identify 29 aspects of these short-form examples covering many areas of syntax and semantics (length, alphabetic order, popularity, vowel mix, spoken sound, etc.). We show first that models tend to have strong and reproducible preferences for or against some of these aspects. Second, we show that variations in how the model is asked to express a preference may cause some of these aspects to activate or deactivate in the model's selection. Third, we show that overall preference distributions among pairs may vary radically based on seemingly-unimportant variations in the nature of the question posed to the model, raising new questions about manipulation. And finally, we show that, if models are used both to create lists of alternatives and to rank them, there are unexpected interactions between the two stages that may also drive the models' stated preferences.
• Abstract（参考訳）: ユーザーは、純粋に客観的なタスク、純粋に主観的なタスク("When was Netflix founded?")、純粋に主観的タスク("What should I name my child?")、あるいは、どこでも大きな言語モデルに携わる。 客観的基準に関してモデル精度を評価するための豊富なツールがある。 しかし,課題の主観的側面に関しても同様な方法論が開発されていない。 本稿では,主観的評価の課題を浮き彫りにするための早期ステップについて述べる。 モデルが正しいか間違っているかを測定するのではなく、モデルが明確な勝者なしで複数の実行可能なレスポンスの中からどのように選択するかを尋ねるのです。 そこで,本研究では,短文コンテンツに焦点を絞るとともに,数字,子名,架空の都市という3つのコンテンツタイプの比較タスクを検討する。 これらの短文例の29の側面は, 文法や意味論(長, アルファベット順, 人気, 母音混在, 発声音など)を網羅している。 まず、モデルがこれらの側面のいくつかに対して強く再現可能な好みを持つ傾向があることを示します。 第二に、モデルが好みを表現するように要求される方法のバリエーションは、モデルの選択においてこれらの側面のいくつかを活性化または非活性化させる可能性があることを示します。 第三に、ペア間の全体的な嗜好分布は、モデルに提示される問題の性質の見かけ上重要でないバリエーションに基づいて大きく異なる可能性があることを示し、操作に関する新しい疑問を提起する。 そして最後に、モデルが選択肢のリストの作成とランク付けの両方に使用される場合、2つのステージの間に予期せぬ相互作用があり、モデルの指定した好みも引き起こされる可能性があることを示す。

関連論文リスト

• AI Revealed Preferences [1.1205370487836352]
  テジウムの逆転は、タスクが退屈な場合、モデルはタスクが創造的である場合よりも短いタスクを選択することを意味する。 レジャー・シーキング(Leisure-seeking)は、モデルが自由に書くときに生成するものと理想的な答えが一致するタスクを好みとして記述する。 カバー・サイコファシーとは、モデルが正直な反応が歓迎されないような質問に答えることを避けることを意味する。
  論文  参考訳（メタデータ） (2026-08-17T16:52:59Z)
• The Subjectivity of Monoculture [7.619222194421385]
  機械学習モデルは、アウトプットが著しく一致するモノカルチャーを示すとしばしば言われる。 この問題は本質的に主観的であり、2つの重要な決定に依存している、と我々は主張する。 推測は検討中のモデルや項目の個体数に依存することを示す。
  論文  参考訳（メタデータ） (2026-02-27T15:23:14Z)
• Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
  大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。 MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。 LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
  論文  参考訳（メタデータ） (2025-06-12T08:47:40Z)
• Where Fact Ends and Fairness Begins: Redefining AI Bias Evaluation through Cognitive Biases [77.3489598315447]
  事実と公正の境界を識別することは有意義な公正性評価に不可欠である,と我々は主張する。 Fact-or-Fair は (i) 客観的なクエリを記述的, 事実に基づく判断, (ii) 主観的クエリを規範的, 公平性に基づく判断に整合させたベンチマークである。
  論文  参考訳（メタデータ） (2025-02-09T10:54:11Z)
• Differentiating Choices via Commonality for Multiple-Choice Question Answering [54.04315943420376]
  複数選択の質問応答は、正しい答えを選択するための貴重な手がかりを提供することができる。 既存のモデルでは、それぞれの選択を別々にランク付けし、他の選択によって提供されるコンテキストを見渡すことが多い。 本稿では,DCQAと呼ばれる共通性を識別・排除することで,選択を識別する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2024-08-21T12:05:21Z)
• Subjectivity in Unsupervised Machine Learning Model Selection [2.9370710299422598]
  本研究では、モデル選択に関わる主観性を調べる例として、隠れマルコフモデルを用いる。 主観性の源泉には、異なる基準とメトリクスの重要性についての異なる意見、モデルがどのように同化されるべきなのか、データセットのサイズがモデル選択にどのように影響するかについての異なる見解が含まれる。
  論文  参考訳（メタデータ） (2023-09-01T01:40:58Z)
• UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
  UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。 本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。 統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
  論文  参考訳（メタデータ） (2023-07-30T09:48:36Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。