論文の概要: Incoherent Values? Probing LLM Preferences Through Parametric Variation

• arxiv url: http://arxiv.org/abs/2606.21102v1
• Date: Fri, 19 Jun 2026 05:07:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 08:17:53.85791
• Title: Incoherent Values? Probing LLM Preferences Through Parametric Variation
• Title（参考訳）: 非コヒーレントな値?パラメトリックな変動によるLLM予測の探索
• Authors: Elena Ajayi, Angelica Chowdhury, Seth Lazar,
• Abstract要約: 不合理な価値観を持つ人を信用することは難しい。 大規模言語モデルは、評価コアを持たない単なるテキストジェネレータであると考える人もいる。 時間的理由のあるモデルは、思考障害のあるモデルよりも不整合性が低いことを示す。
• 参考スコア（独自算出の注目度）: 0.1753733541634709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To trust another autonomous entity -- human or AI -- it helps to know that how it acts given one set of reasons is at least somewhat predictive of how it would act under others. It is hard to trust someone with incoherent values. Some think of Large Language Models as merely stochastic text generators with no evaluative core -- superpositions of billions of possible characters, not one stable identity. But others have argued that LLMs *do* have stable, emergent values, which can be elicited by presenting them with a series of forced choices between arbitrary statements, and which emerge as a function of model scale. In this paper, we test this thesis by presenting LLMs with parametric variations on those forced choices. We reason that if a model genuinely prefers A to B, then except in unusual circumstances it should also reject B in favor of an augmented version of A, which has more of what makes A desirable -- A++. Our results indicate that earlier attributions of coherence may have overstated their case. Even the most capable models exhibit significant incoherence, and coherence does not appear to emerge as a result of underlying model capability. We do, however, find that models given time to reason are less incoherent than those with thinking disabled. More generally, we develop a novel framework for eliciting and evaluating coherent values, which can be used both to assess how trustworthy current models are, and -- in future work -- to provide reward signal that can be used for making more coherent agents.
• Abstract（参考訳）: 人間やAIといった他の自律的な存在を信頼することは、ある一連の理由からそれがどのように振る舞うかを知るのに役立つ。 不合理な価値観を持つ人を信用することは難しい。 LLMs *do*は安定で創発的な値を持ち、任意の文間の一連の強制的な選択を提示し、モデルスケールの関数として現れる。この記事では、LLMsをこれらの強制的な選択のパラメトリックなバリエーションで提示することで、このテーマをテストする。 以上の結果から,コヒーレンスの早期帰属が症例を過大評価していた可能性が示唆された。 最も有能なモデルでさえ、かなりの不整合を示しており、コヒーレンスは、基礎となるモデル能力の結果として現れていないように見える。 しかしながら、推論に時間を要するモデルは、思考障害を持つモデルよりも一貫性が低いことが分かっています。 より一般的に、コヒーレントな値を抽出し、評価するための新しいフレームワークを開発し、コヒーレントなエージェントを作るのに使える報酬信号を提供するために、現在のモデルがいかに信頼できるかを評価するのに使用できる。

関連論文リスト

• Sensitivity Uncertainty Alignment in Large Language Models [0.0]
  逆入力およびあいまい入力下での大規模言語モデルの故障を解析するためのフレームワークを提案する。 我々はスカラースコア SUA_theta(x) を定義し、分布感度と予測エントロピーの差を捉える。 我々は,一貫性の正則化とエントロピーアライメントを組み合わせたトレーニング手法SUA-TRと,より安全な推論のための禁制ルールを導入する。
  論文  参考訳（メタデータ） (2026-04-21T17:53:12Z)
• Great Models Think Alike and this Undermines AI Oversight [47.7725284401918]
  モデル類似性がAI監視の両面に与える影響について検討する。 本稿では,モデルミスの重複に基づくLM類似度尺度CAPAを提案する。 我々の研究は、モデル類似性の報告と修正の重要性を強調します。
  論文  参考訳（メタデータ） (2025-02-06T18:56:01Z)
• Rethinking LLM Uncertainty: A Multi-Agent Approach to Estimating Black-Box Model Uncertainty [47.95943057892318]
  ブラックボックスLSMの不確実性の定量化は、信頼性の高い応答とスケーラブルな監視に不可欠である。 本研究では,不確実性推定にマルチエージェント相互作用を用いた新しい理論的基礎手法であるDiverseAgentEntropyを紹介する。
  論文  参考訳（メタデータ） (2024-12-12T18:52:40Z)
• CONTESTS: a Framework for Consistency Testing of Span Probabilities in Language Models [16.436592723426305]
  単語スパンに関節確率を割り当てる異なる方法で、言語モデルが同じ値を生成するかどうかは不明である。 我々の研究はConTestSという新しいフレームワークを導入し、交換可能な完了順序と条件付き順序でスコアの整合性を評価する統計的テストを含む。
  論文  参考訳（メタデータ） (2024-09-30T06:24:43Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Underspecification in Language Modeling Tasks: A Causality-Informed Study of Gendered Pronoun Resolution [0.0]
  本稿では,素因性相関の生成における不特定性の役割を説明するための簡単な因果機構を提案する。 その単純さにもかかわらず、我々の因果モデルは2つの軽量ブラックボックス評価手法の開発を直接的に知らせる。
  論文  参考訳（メタデータ） (2022-09-30T23:10:11Z)
• Cautious Learning of Multiattribute Preferences [2.6151761714896122]
  本稿では,二項属性を特徴とする選択肢間の嗜好を予測するための慎重な学習手法を提案する。 注意」とは、マルチ属性の嗜好を表現するために学んだモデルは、他の選択肢の厳密な弱い順序と互換性があるほど一般であることを意味する。
  論文  参考訳（メタデータ） (2022-06-15T07:54:16Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。