論文の概要: When Specifications Conflict: A Symmetry-Based Framework for Measuring LLM Preferences

• arxiv url: http://arxiv.org/abs/2607.28384v1
• Date: Thu, 30 Jul 2026 15:42:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.628525
• Title: When Specifications Conflict: A Symmetry-Based Framework for Measuring LLM Preferences
• Title（参考訳）: 仕様の矛盾: LLMの優先度を測定するためのシンメトリベースのフレームワーク
• Authors: Tairan Wang, Liang Zhou, Zikang Zhan, Pingchuan Yan,
• Abstract要約: 大規模言語モデル(LLM)は、複数の情報ソースを統合するためにますます必要となる。 矛盾する仕様の下でモデル嗜好を研究するための制御された実験フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.046191671479774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly required to integrate multiple sources of information that may be inconsistent or conflicting. However, there is still a lack of controllable and attributable methods for analyzing how models resolve conflicts between competing specifications. We propose a controlled experimental framework for studying model preferences under conflicting specifications. By constructing specifications with explicit conflicts, the framework enables model choices between competing specifications to be directly observed and analyzed. A symmetry-based design further reduces confounding factors, allowing preferences across representation types to be compared systematically. We evaluate the framework on an executable mathematical benchmark with 550 conflict instances spanning 11 function families, comparing four representation types: pure natural language, formal language, naturalized formal language, and input--output examples. Results show systematic preference patterns rather than random behavior, with a consistent ordering: $ \text{Formal} \approx \text{Naturalized Formal} > \text{Pure Natural Language} > \text{Input--Output Examples} $. Example effects further depend on model capability and function family. We extend the framework to heterogeneous specification conflicts in Boolean algebra, code generation, and the clinical domain, demonstrating its applicability across diverse tasks and specification forms. The framework provides a unified approach for measuring how LLMs resolve conflicts between competing sources of information.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、一貫性や矛盾のある複数の情報ソースを統合するためにますます必要となる。 しかし、モデルがどのように競合する仕様間の衝突を解決するかを分析するための制御可能な、帰属的な方法がまだ存在しない。 矛盾する仕様の下でモデル嗜好を研究するための制御された実験フレームワークを提案する。 明示的な矛盾のある仕様を構築することで、このフレームワークは競合する仕様間のモデル選択を直接観察し分析することができる。 対称性に基づく設計は、さらに欠点を減らし、表現型間の嗜好を体系的に比較できるようにする。 我々は,11の関数族にまたがる550の競合するインスタンスを持つ実行可能数学ベンチマークにおいて,純粋自然言語,形式言語,帰化形式言語,入出力例の4つの表現型を比較した。その結果,ランダムな振る舞いよりも体系的な選好パターンを一貫した順序で示す: $ \text{Formal} \approx \text{Naturalized Formal} > \text{Pure Natural Language} > \text{Input-output Examples} $。 例としては、モデル能力と関数ファミリーに依存する。 我々は、このフレームワークをブール代数、コード生成、臨床領域における異種仕様紛争にまで拡張し、多様なタスクや仕様形式にまたがる適用性を示す。 このフレームワークは、LLMが競合する情報ソース間の競合を解決する方法を測定するための統一的なアプローチを提供する。

関連論文リスト

• PRIME: Evaluating Prompt Resolution Under Incompatible Instructions in LLMs [1.7243216387069673]
  大きな言語モデル(LLM)は、しばしば矛盾するプロンプトに遭遇する。 現在のインストラクションは、これらのメタインストラクションを独立した形で評価する。 矛盾する命令が与えられた場合のLCMの挙動を解析するためのフレームワーク textitPRIME を導入する。
  論文  参考訳（メタデータ） (2026-06-21T12:30:23Z)
• ABLE: Representing and Mapping LLMs via Attribution-Based Large-model Embedding [23.27523995613204]
  本稿では、解釈可能性空間を利用してモデル表現を構築するフレームワークであるABLE(Attribution-based Large-model Embedding)を提案する。 パラメーターに依存しない単語レベルのアライメントによって勾配に基づく特徴属性を集約することにより、ABLEはモデル固有の入力感度パターンをキャプチャする。 我々のトレーニングフリーアプローチは、関係予測、モデルルーティング、ベンチマークスコア予測において、競争力または優れた性能を達成する。
  論文  参考訳（メタデータ） (2026-04-20T04:55:11Z)
• ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
  大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。 本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T07:41:17Z)
• AdaCAD: Adaptively Decoding to Balance Conflicts between Contextual and Parametric Knowledge [57.66282463340297]
  知識の衝突は、大きな言語モデルの文脈における情報と、そのパラメータに格納された知識との相違から生じる。 コンフリクトの度合いに基づいて動的に調整の重みを推定する,AdaCADと呼ばれる細粒度なインスタンスレベルのアプローチを提案する。 ADACADは静的コントラストベースラインよりも平均QA精度14.21%(絶対)のデコードベースラインを一貫して上回り、要約の事実性を6.19倍(AlignScore)向上させることを示す。
  論文  参考訳（メタデータ） (2024-09-11T16:35:18Z)
• Representation Disentaglement via Regularization by Causal Identification [3.9160947065896803]
  本稿では,不整合表現学習における基礎となるデータ生成過程の仮定を記述するために,因果コライダー構造モデルを提案する。 そこで本研究では,大規模生成モデルの挙動を因果同定によって課される絡み合った制約に整合させるモジュール型正規化エンジンReIを提案する。
  論文  参考訳（メタデータ） (2023-02-28T23:18:54Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)
• Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
  自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-16T16:46:32Z)
• Automatically detecting the conflicts between software requirements based on finer semantic analysis [8.035669538927623]
  与えられた自然言語機能要件間の競合を自動的に検出するFiner Semantic Analysis-based Requirements Conflict Detector (FSARC) を提案する。 機能要件の調和したセマンティックメタモデルを8タプルで構築する。 そして、テキストパターンとセマンティック依存関係に基づいてルールを検出する限り、7種類の競合を定義します。
  論文  参考訳（メタデータ） (2021-03-03T08:39:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。