論文の概要: FramingQA: Does the Question Shape the Answer? Measuring the Compositional Framing Effect

• arxiv url: http://arxiv.org/abs/2609.07448v1
• Date: Mon, 07 Sep 2026 12:56:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 00:18:05.159669
• Title: FramingQA: Does the Question Shape the Answer? Measuring the Compositional Framing Effect
• Title（参考訳）: フレーミングQA:質問は回答を形作るか? : 構成的フラミング効果の測定
• Abstract要約: 大規模な言語モデルは、しばしばユーザによる暗黙のスタンスと一致する微妙な言い換えに応答を変更する。 これによってユーザーは、根拠となる事実ではなく、どのようにして質問を言い表したかというアドバイスをユーザーに残すことができる。 FramingQAは、法律、医学、ファイナンス、ロボットシミュレーションにまたがるフレーミングに疑問を呈するモデル感度を測定するベンチマークである。
• 参考スコア（独自算出の注目度）: 69.8983512616053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce FramingQA, a benchmark that measures the model sensitivity to question framing across law, medicine, finance, and robotic simulations. Large language models (LLMs) often change their responses to subtle rephrasings that align with an implied stance by users. This can leave users with advice tainted by how they happened to phrase a question rather than by the underlying facts, and the consequences are highly costly in high-stakes domains. Because in the realistic scenarios, both expert practitioners and non-expert users frequently ask LLMs questions containing incomplete or misleading assumptions, models are highly susceptible to those framings. To test this, we inject the framing bias across three nested levels: a framing-biased question phrasing (root), an injected framing-biased premise prepended to a neutral question (propositional), and a premise paired with a framing-biased question (global). Evaluating nine open models (3.8B-70B) across four families, we find that strong per-variant accuracy does not guarantee the robustness across differently phrased questions under the fixed factual information.
• Abstract（参考訳）: FramingQAは、法律、医学、ファイナンス、ロボットシミュレーションにまたがるフレーミングに疑問を呈するモデル感度を測定するベンチマークである。 大規模言語モデル(LLM)は、ユーザによる暗黙のスタンスに沿った微妙な言い換えに応答を変更することが多い。 このことは、ユーザーに対して、根拠となる事実ではなく、どのようにして質問を言い表したのかというアドバイスを与え、その結果は高額なドメインで非常にコストがかかる。 現実的なシナリオでは、専門家の実践者も非専門家のユーザも、不完全あるいは誤解を招く仮定を含むLSMの質問を頻繁に行うため、モデルはこれらのフレーミングに非常に影響を受けやすい。 これをテストするために、ネストされた3つのレベルのフレーミングバイアスを注入する: フレーミングバイアス付き質問フレーズ(root)、中性質問に先立つフレーミングバイアス付き前提(propositional)、フレーミングバイアス付き問題(global)と組み合わせた前提(global)である。 4つのファミリーにわたる9つのオープンモデル(3.8B-70B)を評価すると、変動毎の強い精度は、固定された事実情報の下で異なるフレーズの質問にまたがる堅牢性を保証するものではないことが分かる。

関連論文リスト

• Not What, But How: A Framework for Auditing LLM Responses across Positioning, Generalization, Anthromorphism, and Maxims [54.31707479192195]
  大規模言語モデル(LLM)は、主観的、情報探索的な疑問に答えるためにますます使われている。 既存の主観的文化的クエリの評価は、応答のフレーム化を無視して、事実の正しさに重点を置いている。 FRANZ(FRAmework for respoNse characteriZation)を導入し、4次元のLLM応答のコミュニケーション監査を行う。
  論文  参考訳（メタデータ） (2026-06-01T17:01:31Z)
• Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy [41.17236645999555]
  本研究では,現実的な質問応答や数学的推論タスクにおいて,意味保存的言い回しの下でモデル解がどう変化するかを検討する。 4つのベンチマークと13のモデルで、モデル出力はプロンプトの正確な表現に依存することが多い。 多くの質問に対して、モデルはフレーズによって正しい答えと間違った答えを交互に行い、ミスマッチ率は23%以上に達する。
  論文  参考訳（メタデータ） (2026-05-18T16:45:13Z)
• Increasing LLM response trustworthiness using voting ensembles [0.20524609401792396]
  質問応答に関する理論的枠組みを導入し,支配的な回答が不足している場合に,アンサンブルが回答の提供を「継続」することを許すことで,残りの回答の信頼性を劇的に向上させることができることを示す。 高い制限のある投票アンサンブルを用いて、回答の信頼性の大きな向上を達成できる一方で、応答の収量と精度は比較的緩やかに低下する。
  論文  参考訳（メタデータ） (2025-10-05T06:02:44Z)
• MinosEval: Distinguishing Factoid and Non-Factoid for Tailored Open-Ended QA Evaluation with LLMs [15.278241998033822]
  大規模言語モデル(LLM)の能力を評価する上で,QA(Open-ended Question answering)が重要な課題である。 オープンな質問をまず識別し,候補回答をランク付けする新しい評価手法である textbfMinosEval を提案する。
  論文  参考訳（メタデータ） (2025-06-18T07:49:13Z)
• Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations [70.6395572287422]
  自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。 我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
  論文  参考訳（メタデータ） (2024-02-23T02:24:36Z)
• Selectively Answering Ambiguous Questions [38.83930394700588]
  我々は, サンプルモデル出力における繰り返しの定量化が, 退避時期を決定する最も信頼性の高い手法であることが判明した。 その結果,サンプリングに基づく信頼度スコアは,比較的あいまいな質問に対する回答のキャリブレーションに有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-24T01:25:38Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• CREPE: Open-Domain Question Answering with False Presuppositions [92.20501870319765]
  オンライン情報検索フォーラムからの予測失敗の自然な分布を含むQAデータセットであるCREPEを紹介する。 25%の質問が偽の前提命題を含み、これらの前提命題とその修正のための注釈を提供する。 既存のオープンドメインQAモデルの適応は適度に予測できるが、仮定が実際に正しいかどうかを予測するのに苦労する。
  論文  参考訳（メタデータ） (2022-11-30T18:54:49Z)
• TASA: Deceiving Question Answering Models by Twin Answer Sentences Attack [93.50174324435321]
  本稿では,質問応答(QA)モデルに対する敵対的攻撃手法であるTASA(Twin Answer Sentences Attack)を提案する。 TASAは、金の回答を維持しながら、流動的で文法的な逆境を生み出す。
  論文  参考訳（メタデータ） (2022-10-27T07:16:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。