論文の概要: What Breaks When Facts Become Stories? The Distortions Source-Agreement Metrics Miss When Models Retell Real Events
- arxiv url: http://arxiv.org/abs/2610.39500v2
- Date: Fri, 30 Oct 2026 07:15:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.427077
- Title: What Breaks When Facts Become Stories? The Distortions Source-Agreement Metrics Miss When Models Retell Real Events
- Title（参考訳）: 事実がストーリーになったらどうなるか? モデルがリアルイベントをリテリングすると、ソース・アグリメントの基準がずれる
- Abstract要約: 我々は,2000件のニュース記事を要約や物語として書き直し,5つのWの軸ごとの変化と方法を測定し,それぞれに与えられた視点が保証されたかどうかの歪みを問う。
時間と作法は失われなかったが、場所と因果関係はそれらを運ぶ表現を失った。
スコアリングプロトコルを備えた再構成可能なコーパスであるReTold-2kをリリースした。
- 参考スコア（独自算出の注目度）: 0.1802439717192088
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models are now widely used to turn recorded facts into media for public consumption, yet evaluation of such output still assumes agreement with the source as its measure of success. In reconstruction, where departing from the source can itself be the goal, this criterion measures the wrong construct: applied as is, it counts intended departures as errors; withheld, it lets real distortion through. We had three model families rewrite 2,000 news articles as summaries and as stories, measured what changed on every axis of the five Ws and how, and asked of each detected distortion whether the assigned perspective warranted it, which set a third of them aside. Time and manner were not lost but replaced, while place and causation lost the expressions that carry them. Accountability distortion behaved otherwise. Barely present in summaries, it rose up to sevenfold in stories, and of those whose direction could be determined, two in three lightened the perpetrator's responsibility. Such distortions survive claim-level fact checking and leave the retelling grammatically cleaner than its source. Where our judges disagreed, three authors relabeling the same cases converged on whether a distortion had occurred but not on whether it was warranted, a boundary contested rather than merely hard to detect. To support work on detecting and reducing them, we release ReTold-2k, a reconstructable corpus with the scoring protocol and per-judge baselines kept unaggregated.(https://github.com/Retold2K/retold2k).
- Abstract（参考訳）: 言語モデルは、現在、記録された事実をメディア化するために広く使われているが、そのようなアウトプットの評価は、その成功の指標としてソースとの合意を前提としている。
ソースからの離脱自体が目標であるリコンストラクションでは、この基準は間違った構成を計測します。
3つのモデル家族が要約や物語として2000のニュース記事を書き直し、5つのWの軸ごとの変化と方法を測定し、それぞれに与えられた視点がそれを保証したかどうかを判断し、そのうちの3分の1を脇に置いておきました。
時間と作法は失われなかったが、場所と因果関係はそれらを運ぶ表現を失った。
説明責任の歪みはさもなければ振る舞った。
要約にはほとんど存在せず、物語では7倍まで上昇し、方向が決定できるうち3人に2人が加害者の責任を軽視した。
このような歪みはクレームレベルの事実チェックを生き残り、そのソースよりも文法的にクリーンに残します。
審査員の意見が一致しなかった場合、同じ事例を論ずる3人の著者は、歪みが生じたかどうかではなく、それが保証されたかどうかについて収束した。
検出および削減作業を支援するため,スコアリングプロトコルを備えた再構成可能なコーパスであるReTold-2kをリリースする。
(https://github.com/Retold2K/Retold2k)。
関連論文リスト
- Evaluating Real-Time Voice Agents: From Component Quality to Grounded Outcomes [0.0]
リアルタイム音声エージェントは、研究プロトタイプから製品展開へと移行してきたが、それらを記述する文献は断片化されている。
本稿では, TRG (Timing-Recovery-ed) について述べる。
論文 参考訳（メタデータ） (2026-09-25T04:22:20Z) - In RAG We Trust? Measuring Robustness of Retrieval-Augmented Generation Under Document Poisoning [0.0]
我々は、小さな量子化モデルであるLlama 3.1 8B(Llama 3.1 8B)が、検索された文脈のごく一部が汚染されたときにどれだけ劣化するかを研究する。
清潔な文脈では77.9%から43.5%に減少し、3つの通路が全て崩壊する。
論文 参考訳（メタデータ） (2026-09-08T08:31:57Z) - VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳（メタデータ） (2026-09-02T20:36:45Z) - When Does Consensus Mean Correctness? Measuring the Agreement-Accuracy Coupling with Semantics-Preserving Re-Rendering [0.8594140167290097]
ラベルのない信頼性信号として、摂動入力間のモデルの合意が使用される。
レンダリングは正確さと信頼性の両方で再サンプリングする。
モデル自身のクロスレンダーコンセンサスインバータを微調整する。
論文 参考訳（メタデータ） (2026-08-06T07:08:05Z) - DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments [51.049999642138]
誤解を招く証拠の下で、回答回復のための100タスクのベンチマークであるDRNOISEを紹介する。
それぞれのタスクは、2つの間接的レコードチェーンが支持する固有の金の答えを持ち、ペアのノイズ条件は競合する答えを直接記述する1つのもっともらしい文書を付加する。
強いクリーンタスク性能を持つエージェント全体で、この単一の介入は66-88ポイントの精度低下を引き起こす。
論文 参考訳（メタデータ） (2026-07-19T15:20:40Z) - (Fact) Check Your Bias [0.0]
パラメトリック知識バイアスがHerOシステム(FEVER-25のベースライン)の事実チェック結果に与える影響について検討する。
Llama 3.1は、直接、事実検証を行うよう促されたとき、その主張の半分近くを"Not Enough Evidence"とラベル付けしている。
第2の実験では,支持,反感,中立性のある事実チェック文書を生成するようモデルに促す。この結果から得られた証拠の約50%は,各視点に固有のものであるとともに,検索結果に大きく影響する。
得られた証拠の相違にもかかわらず、最終的な判定予測は、迅速な戦略をまたいだ安定性を示す。
論文 参考訳（メタデータ） (2025-06-26T20:03:58Z) - Is the Top Still Spinning? Evaluating Subjectivity in Narrative Understanding [40.78154629252038]
曖昧なクレームにバイナリラベルを強制すると、評価の信頼性が低下する。
請求項のニュアンス評価を提供する方法として,LCM生成した要約の編集を紹介する。
我々は,ARMが主張の忠実性に関するアノテータ合意において,絶対的な21%の改善をもたらすことを示す。
論文 参考訳（メタデータ） (2025-04-01T19:08:24Z) - Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。
ミスシは、誤った推論のための新しい議論理論モデルである。
大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
論文 参考訳（メタデータ） (2024-06-05T12:11:10Z) - Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。
また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。
我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
論文 参考訳（メタデータ） (2023-03-14T16:11:47Z) - Probing Factually Grounded Content Transfer with Factual Ablation [68.78413677690321]
グラウンドドジェネレーションは、事実情報の信頼性のある外部文書(グラウンドディング)に描画する。
事実を計測するのも簡単で、すべての事実ではなく、世代が根拠に同意するかどうかをテストする。
本稿では,現実的な根拠からの情報を用いて,世代がプロンプトを拡大するコンテンツ転送問題について検討する。
論文 参考訳（メタデータ） (2022-03-18T19:18:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。