論文の概要: CoBe: A Benchmark For Conversational Counterfactual Text Editing

• arxiv url: http://arxiv.org/abs/2610.13057v1
• Date: Fri, 09 Oct 2026 06:11:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.420974
• Title: CoBe: A Benchmark For Conversational Counterfactual Text Editing
• Title（参考訳）: CoBe: 会話の非現実的テキスト編集のためのベンチマーク
• Abstract要約: 偽造テキスト編集は、仮説的変化に照らして、与えられたテキストを改訂する能力である。 このスキルは人間の推論の中心であり、特に医療や法律のような安全上重要な分野において重要である。 我々は,与えられたテキストシナリオを非現実的に編集するゼロショット機能のテストベッドであるCoBe(CoBe)を紹介した。
• 参考スコア（独自算出の注目度）: 47.06556182365094
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Counterfactual text editing is the ability to revise a given text in light of a hypothetical change while preserving facts not causally affected by that change. When asked what would have happened if a doctor had not recommended surgery, the model output should retain the patient's medical history and modify only the consequences of the decision. This requires causal understanding: a model must determine, without being explicitly instructed to, what events are affected by the hypothetical change and what should remain fixed. This skill is central to human reasoning, especially in safety-critical domains like healthcare or law. By contrast, the task of associational text generation merely generates text statistically associated with the altered condition. In the medical example, an associational response might make the patient's symptoms less severe because milder cases correlate with no surgery. Such responses produce a plausible scenario, but not the counterfactual version of the given one. Prior counterfactual-text datasets do not clearly separate these modes of reasoning. We introduce the Counterfactual Benchmark (CoBe), a testbed for models' zero-shot ability to counterfactually edit a given textual scenario when prompted to do so in a conversationally natural way. CoBe contains 2000 questions spanning healthcare, science and engineering, business, and everyday scenarios. We test a suite of frontier and smaller models, with frontier systems achieving an average score of $58.05\%$. Our findings indicate that models frequently default to associational generation rather than preserving the causal structure of the original scenario. Moreover, performance does not scale consistently with either model size or output token length, suggesting that the failure may reflect model training objectives rather than insufficient model capacity.
• Abstract（参考訳）: 偽造テキスト編集は、その変更によって因果的に影響されない事実を保存しながら、仮説的変化に照らして、与えられたテキストを改訂する能力である。 医師が手術を勧めなかったらどうなるかと尋ねると、モデル出力は患者の医療履歴を保持し、決定の結果だけを修正すべきである。 モデルは明示的に指示されることなく、どのイベントが仮説の変化に影響され、何が修正されるべきなのかを判断しなければなりません。 このスキルは人間の推論の中心であり、特に医療や法律のような安全上重要な分野において重要である。 対照的に、関連テキスト生成のタスクは、変化した条件に統計的に関連付けられたテキストを生成するだけである。 医学的な例では、より軽度な症例は手術を伴わないと相関するため、関連性反応により患者の症状がより重症になる可能性がある。 このような応答は妥当なシナリオを生み出すが、与えられたシナリオの反実的なバージョンではない。 以前の反事実テキストデータセットは、これらの推論のモードを明確に分離していない。 提案するCoBe(CoBe)は,対話的に自然な方法で,与えられたテキストシナリオを非現実的に編集する,モデルゼロショット機能のテストベッドである。 CoBeには、医療、科学、エンジニアリング、ビジネス、日々のシナリオにまたがる2000の質問が含まれている。 We test a suite of frontier and smaller models, with frontier systems to achieve the average score of 58.05\%$。 本研究の結果から,モデルが元のシナリオの因果構造を保たず,連帯生成にしばしばデフォルトとなることが示唆された。 さらに、性能はモデルサイズや出力トークン長と一貫してスケールしないため、失敗はモデルキャパシティの不足よりもモデルのトレーニング目標を反映する可能性がある。

関連論文リスト

• Calibrated Decisions at Scale: Converting Police Crash Narratives into Probabilistic Crash Variables with a System One Model (Jev) [1.089614199781423]
  本稿では,Jev が回答した有格な型付き決定文として,ナラティブコーディングを定式化する。 499,500件のテキサスの物語と195,857件が27問のスキーマで書かれた。
  論文  参考訳（メタデータ） (2026-09-21T03:24:47Z)
• Noēsis: Deterministic-First Retrieval with Two-Tier Context Hydration for Factuality-Critical Queries on Small Local Models [0.0]
  我々は、Noesisアーキテクチャの決定論的第一のクエリプレーンであるNoesisを提示する。 ノイズは生成前にすべての決定論的判断を下す。 報告されたすべての値は、その正確なソースと構築による位置にトレース可能である。
  論文  参考訳（メタデータ） (2026-09-07T15:49:16Z)
• RedactionBench [0.0]
  個人識別可能な情報の再作用を必要とするセンシティブなドメインに対して、大規模言語モデルがますます適用される(PII) RedactionBenchは11ドメインにわたる200のさまざまなドキュメントからなるベンチマークである。 Rスコア(R-Score)は、意味論的に類似した反応を等しく扱う新しい指標である。
  論文  参考訳（メタデータ） (2026-06-17T07:51:56Z)
• HealthContradict: Evaluating Biomedical Knowledge Conflicts in Language Models [9.557404300696538]
  我々は、HealthContradictを用いて、長く矛盾するバイオメディカルコンテキストを推論する言語モデルの能力を評価する。 実験により, 微調整バイオメディカル言語モデルの強みは, 不正確な文脈に抵抗しながら, 正しい文脈を活用できることが示唆された。
  論文  参考訳（メタデータ） (2025-12-02T00:38:42Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)
• Sketch and Customize: A Counterfactual Story Generator [71.34131541754674]
  条件と終了に関係のある因果関係を導いたスケッチ・アンド・カスタマイズ生成モデルを提案する。 実験結果から,従来のシーケンス・ツー・シーケンスモデルと比較して,提案モデルの方がより優れたエンディングを生成することがわかった。
  論文  参考訳（メタデータ） (2021-04-02T08:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。