論文の概要: Instruction Boundary: Quantifying Biases in LLM Reasoning under Various Coverage

• arxiv url: http://arxiv.org/abs/2509.20278v2
• Date: Sun, 05 Oct 2025 11:12:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 19:16:49.450232
• Title: Instruction Boundary: Quantifying Biases in LLM Reasoning under Various Coverage
• Title（参考訳）: 命令境界:種々の被覆下でのLDM推論におけるビアーゼの定量化
• Authors: Zipeng Ling, Yuehao Tang, Chen Huang, Shuliang Liu, Gaoyang Jiang, Shenghong Fu, Junqi Yang, Yao Wan, Jiawan Zhang, Kejia Huang, Xuming Hu,
• Abstract要約: 異なる命令形式がLLM推論能力をどのように促進するか、それとも誤解を招くかを検討する。 本稿では,インストラクション境界の概念を導入し,異なるレベルのプロンプトカバレッジが推論バイアスにどのように寄与するかを系統的に分析する。 異なる種類の命令境界条件下でスパースラベルを識別するLLMの能力を定量化する統合フレームワークであるBiasDetectorを提案する。
• 参考スコア（独自算出の注目度）: 34.247904738521136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nowadays, automatically generated datasets are increasingly used in LLM reasoning tasks; however, large-scale corpora often contain inherent flaws. For example, a single-choice question may include none or multiple correct options, while true-or-false questions may involve vague or unverifiable statements. We refer to these exceptional answer forms as sparse labels. To compare LLMs' ability to recognize various question forms and produce correct answers, we investigate how different instruction formats can either facilitate or mislead LLM reasoning ability. We introduce the concept of Instruction Boundary, which systematically analyzes how different levels of prompt coverage -- sufficient, redundant, or insufficient -- can lead to reasoning biases and performance changes in LLMs. To examine this phenomenon, we design eight experimental settings across five dataset forms. We further propose BiasDetector, a unified framework that quantifies LLMs' ability to identify sparse labels under different kinds of Instruction Boundary conditions. Evaluations on five mainstream LLMs show that, despite their seemingly high accuracy, substantial reasoning biases persist in many downstream tasks as a direct consequence of prompt coverage. We analyze the impact of these biases and outline possible mitigation strategies. Our findings highlight not only the importance of addressing sparse labels, but also the need for developers to recognize and mitigate the risks introduced by Instruction Boundary.
• Abstract（参考訳）: 今日では、LLM推論タスクで自動生成されたデータセットがますます使用されているが、大規模なコーパスには固有の欠陥が含まれていることが多い。 例えば、単選択の質問には正しい選択肢が一つも複数も含まれず、真または偽の質問にはあいまいな文や検証不可能な文が含まれることがある。 これらの例外的な回答形式をスパースラベルと呼ぶ。 LLMの様々な質問形式を識別し、正しい回答を生成する能力を比較するために、異なる命令形式がLLM推論能力をどのように促進するか、それとも誤解を招くかを検討する。 インストラクション・バウンダリ(Instruction Boundary)という概念を紹介します。これは、異なるレベルのプロンプト・カバレッジ(十分な、冗長、あるいは不十分)が、LCMのバイアスやパフォーマンス変化の原因となる可能性を体系的に分析します。 この現象を調べるために、5つのデータセット形式にまたがる8つの実験的な設定を設計する。 さらに、異なる種類の命令境界条件下でスパースラベルを識別するLLMの能力を定量化する統合フレームワークであるBiasDetectorを提案する。 5つの主要なLCMの評価は、その高い精度にもかかわらず、かなりの推論バイアスが、即時カバレッジの直接的な結果として多くの下流タスクに持続していることを示している。 これらのバイアスの影響を分析し、緩和戦略を概説する。 我々の発見は、スパースラベルに対処することの重要性だけでなく、開発者がインストラクションバウンダリによって引き起こされるリスクを認識し緩和する必要性も浮き彫りにしている。

関連論文リスト

• Reasoning Models Can be Easily Hacked by Fake Reasoning Bias [59.79548223686273]
  我々は、Reasoning Theatre Bias (RTB)を評価するための総合的なベンチマークTheATERを紹介する。 簡単なクイズとフェイク・オブ・サートを含む6種類のバイアスタイプについて検討した。 我々は、RTBの最も強力な形式として、'hallow reasoning'-plausibleだが欠陥のある議論を識別する。
  論文  参考訳（メタデータ） (2025-07-18T09:06:10Z)
• Don't Take the Premise for Granted: Evaluating the Premise Critique Ability of Large Language Models [11.379764847748378]
  大規模言語モデル(LLM)は、しばしば欠陥や矛盾した前提を受け入れ、非効率な推論と信頼できない出力をもたらす。 このことは、入力前提におけるエラーを積極的に識別し、明示する能力として定義されたLSMのためのtextbfPremise Critique Aabilities を持つことの重要性を強調している。 我々は,3つの難易度に4つのエラータイプを組み込んで設計したtextbfPremise Critique Bench (PCBench) を,多面的評価指標と組み合わせて紹介する。
  論文  参考訳（メタデータ） (2025-05-29T17:49:44Z)
• RvLLM: LLM Runtime Verification with Domain Knowledge [8.15645390408007]
  大規模言語モデル(LLM)は、例外的なテキスト理解と生成能力のため、AIパラダイムの主流として現れている。 不整合または誤ったアウトプットを生成する傾向は、特に正確さと信頼性を必要とする高い領域において、その信頼性に挑戦する。 既存の研究は、多くの場合、ドメイン固有の知識を統合する可能性を見越して、汎用シナリオにおけるモデル誤動作の検出と緩和に重点を置いている。
  論文  参考訳（メタデータ） (2025-05-24T08:21:44Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。