Fugu-MT 論文翻訳(概要): LLM-Derived Preference Judgments Are Not Self-Consistent

論文の概要: LLM-Derived Preference Judgments Are Not Self-Consistent

arxiv url: http://arxiv.org/abs/2608.17644v1
Date: Tue, 18 Aug 2026 11:01:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-19 21:40:53.314137
Title: LLM-Derived Preference Judgments Are Not Self-Consistent
Title（参考訳）: LLM-Derived Preference Judgmentsは自己整合性がない
Abstract要約: 基本LLM選好判断の自己整合性について検討する。飛行、アパート、ホテルの例による実験では、大きな不整合が示される。このことは、LLM由来の選好判断は単一のユーティリティ関数によって忠実に要約できないことを示唆している。
参考スコア（独自算出の注目度）: 7.956374519288127
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Agents increasingly interpret a person's natural-language preferences by querying an LLM for numerical preference judgments, e.g., by asking how much the person would be willing to pay for an item. A growing body of work estimates a utility function from these judgments and then chooses actions based on their estimated utility. This pipeline assumes the judgments are approximately self-consistent: that a single utility function can reproduce them. But are they? To study this question, we measure the self-consistency of cardinal LLM preference judgments. For example, the difference in stated willingness-to-pay between two items should match the stated payment that makes a person indifferent to exchanging them. We develop statistical tests and interpretable measures of how far observed responses depart from the best-fitting self-consistent utility function. Experiments with flight, apartment, and hotel examples across six LLMs reveal large persistent inconsistencies. This suggests that LLM-derived preference judgments cannot be faithfully summarized by a single utility function.
Abstract（参考訳）: エージェントは、LLMに数値的嗜好判断を照会し、その人がアイテムにいくら支払おうとするかを問うことで、人の自然言語的嗜好をますます解釈する。成長する作業機関は、これらの判断から実用機能を推定し、その実用性に基づいて行動を選択する。このパイプラインは、判断がほぼ自己整合であると仮定し、単一のユーティリティ関数がそれらを再現できると仮定する。しかし、それは? そこで本研究では,標準LLM選好判断の自己整合性を測定する。例えば、2つのアイテム間の支払い意欲の違いは、人が交換に無関心になるような支払いと一致すべきである。我々は、最も適した自己整合性ユーティリティ関数から、観測された応答がどこまで離れているかの統計的検査と解釈可能な測定方法を開発した。飛行、アパート、ホテルの例を6つのLLMで実験した結果、大きな不整合が明らかとなった。このことは、LLM由来の選好判断は単一のユーティリティ関数によって忠実に要約できないことを示唆している。

関連論文リスト

Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
論文参考訳（メタデータ） (2026-02-07T19:39:28Z)
Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
論文参考訳（メタデータ） (2025-11-09T03:38:29Z)
Can We Hide Machines in the Crowd? Quantifying Equivalence in LLM-in-the-loop Annotation Tasks [8.246529401043128]
我々は、人間とLLMの両方によるラベル付け決定が、個人間で統計的に評価される方法について検討することを目指している。 Krippendorffの$alpha$, paired bootstrapping, and the Two One-Sided t-Tests (TOST) equivalence test procedureに基づく統計的評価法を開発した。このアプローチをMovieLens 100K と PolitiFact という2つのデータセットに適用すると、LCM が前者の人間のアノテーションと統計的に区別できないことが分かる。
論文参考訳（メタデータ） (2025-10-08T05:17:33Z)
Alignment Revisited: Are Large Language Models Consistent in Stated and Revealed Preferences? [5.542420010310746]
批判的だが、未調査の問題は、LLMが明記した嗜好と明らかにした嗜好との潜在的な相違である。この研究は正式に定義され、この選好偏差を測定する方法を提案する。我々の研究は、LDMをサービス、特に人間と直接対話するサービスに統合するために不可欠です。
論文参考訳（メタデータ） (2025-05-31T23:38:48Z)
Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
論文参考訳（メタデータ） (2025-05-28T01:31:54Z)
SelfReflect: Can LLMs Communicate Their Internal Answer Distribution? [21.270758668026023]
我々は,要約と回答上の分布の間の情報理論的距離であるSelfReflectメトリックを開発した。我々は,SelfReflectが,要約文字列と LLM の内部分布の回答に対する忠実度を細かな尺度で表していることを示す。
論文参考訳（メタデータ） (2025-05-26T17:59:53Z)
Self-Preference Bias in LLM-as-a-Judge [13.880151307013321]
大規模言語モデル(LLM)における自己参照バイアスを測定するための新しい指標を提案する。以上の結果から, GPT-4は自己選好バイアスがかなり高いことが示唆された。このことは、偏見の本質は難易度にあることを示唆し、自己選好バイアスは LLM がより親しみやすいテキストを好むため存在することを示唆している。
論文参考訳（メタデータ） (2024-10-29T07:42:18Z)
Can LLM be a Personalized Judge? [24.858529542496367]
LLM-as-a-Personalized-Judgeの信頼性を検討した。 LLM-as-a-Personalized-Judgeの直接適用は,従来想定されていたよりも信頼性が低いことが示唆された。本研究では,LLM-as-a-Personalized-Judgeパイプラインに不確実性推定を導入し,不確実性判定に対する信頼度を低く表現する。
論文参考訳（メタデータ） (2024-06-17T15:41:30Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
LLM Evaluators Recognize and Favor Their Own Generations [33.672365386365236]
自己認識能力が自己評価に寄与するかどうかを検討する。自己認識能力と自己参照バイアスの強さとの間には線形な相関関係が認められた。我々は、自己認識が偏見のない評価やAIの安全性をより一般的に阻害する方法について論じる。
論文参考訳（メタデータ） (2024-04-15T16:49:59Z)
Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
論文参考訳（メタデータ） (2024-02-18T03:10:39Z)
A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive [53.08398658452411]
大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。このサンプリング行動が人間の意思決定と類似していることが示される。統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
論文参考訳（メタデータ） (2024-02-16T18:28:43Z)
CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文参考訳（メタデータ） (2023-11-29T08:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。