論文の概要: LLMs Corrupt Your Documents When You Delegate

• arxiv url: http://arxiv.org/abs/2604.15597v1
• Date: Fri, 17 Apr 2026 00:33:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.687825
• Title: LLMs Corrupt Your Documents When You Delegate
• Title（参考訳）: LLMは、文書の削除時に破損する
• Authors: Philippe Laban, Tobias Schnabel, Jennifer Neville,
• Abstract要約: 大規模言語モデル(LLM)は知識労働を妨害する可能性がある。 DeLEGATE-52を導入し、委任作業におけるAIシステムの準備性について検討する。
• 参考スコア（独自算出の注目度）: 24.063010684025084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are poised to disrupt knowledge work, with the emergence of delegated work as a new interaction paradigm (e.g., vibe coding). Delegation requires trust - the expectation that the LLM will faithfully execute the task without introducing errors into documents. We introduce DELEGATE-52 to study the readiness of AI systems in delegated workflows. DELEGATE-52 simulates long delegated workflows that require in-depth document editing across 52 professional domains, such as coding, crystallography, and music notation. Our large-scale experiment with 19 LLMs reveals that current models degrade documents during delegation: even frontier models (Gemini 3.1 Pro, Claude 4.6 Opus, GPT 5.4) corrupt an average of 25% of document content by the end of long workflows, with other models failing more severely. Additional experiments reveal that agentic tool use does not improve performance on DELEGATE-52, and that degradation severity is exacerbated by document size, length of interaction, or presence of distractor files. Our analysis shows that current LLMs are unreliable delegates: they introduce sparse but severe errors that silently corrupt documents, compounding over long interaction.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、新たなインタラクションパラダイム(ビブコーディングなど)として委譲された作業の出現によって、知識労働を妨害する可能性がある。 委譲には信頼が必要です - LLMがドキュメントにエラーを導入せずに、忠実にタスクを実行するという期待です。 DeLEGATE-52を導入し、デリゲートワークフローにおけるAIシステムの準備性について検討する。 DELEGATE-52は、コーディング、結晶学、音楽記法など52の専門分野にわたる詳細な文書編集を必要とする長い委譲ワークフローをシミュレートする。 たとえフロンティアモデル(Gemini 3.1 Pro、Claude 4.6 Opus、GPT 5.4)でさえ、長いワークフローの終わりまでにドキュメントコンテンツの平均25%を台無しにし、他のモデルはより深刻な失敗をしました。 追加の実験では、エージェントツールの使用はDELEGATE-52の性能を向上せず、文書サイズ、インタラクションの長さ、邪魔ファイルの存在によって劣化の重大さが悪化していることが明らかになった。 我々の分析によると、現在のLLMは信頼性の低いデリゲートであり、疎度だが厳しいエラーを導入し、文書を静かに破損させ、長時間のやりとりを複雑化する。

関連論文リスト

• TRAPDOC: Deceiving LLM Users by Injecting Imperceptible Phantom Tokens into Documents [8.44109812649182]
  大規模言語モデル(LLM)への過度な依存は、重要な社会的問題として浮上している。 そこで本研究では,LLMがユーザにとって妥当と思われるが,実際には誤りである出力を生成するために,不知覚なファントムトークンを文書に注入する手法を提案する。 本手法を応用して,高信頼性LLMユーザを欺くためのフレームワークであるTRAPDOCを導入する。
  論文  参考訳（メタデータ） (2025-05-30T07:16:53Z)
• BigDocs: An Open Dataset for Training Multimodal Models on Document and Code Tasks [57.589795399265945]
  我々は,30タスクにわたる750万のマルチモーダルドキュメントからなる高品質なオープンアクセスデータセットであるBigDocs-7.5Mを紹介した。 BigDocs-Benchも導入しています。 実験の結果,BigDocs-Bench を用いたトレーニングでは,クローズドソース GPT-4o よりも平均性能が 25.8% 向上していることがわかった。
  論文  参考訳（メタデータ） (2024-12-05T21:41:20Z)
• Attribute or Abstain: Large Language Models as Long Document Assistants [58.32043134560244]
  LLMは人間が長い文書を扱うのを助けることができるが、幻覚で知られている。 既存の属性に対するアプローチはRAG設定でのみ評価されている。 これは、検索が不要な長いドキュメント設定とは大きく異なるが、助けになる可能性がある。 そこで本研究では,6種類の多種多様文書タスクのベンチマークであるLABと,異なる大きさの5つのLLMに対する属性に対する異なるアプローチの実験を行う。
  論文  参考訳（メタデータ） (2024-07-10T16:16:02Z)
• LongAgent: Scaling Language Models to 128k Context through Multi-Agent Collaboration [47.861310541425766]
  textscLongAgentはマルチエージェントのコラボレーションに基づいており、128Kのコンテキストにスケールする。 LLaMA-7Bでインスタンス化されたエージェントチームは、128k長のテキスト検索やマルチホップ質問応答といったタスクにおいて、GPT-4に比べて大幅に改善されている。
  論文  参考訳（メタデータ） (2024-02-18T11:46:52Z)
• ContraDoc: Understanding Self-Contradictions in Documents with Large Language Models [7.428236410246183]
  われわれはContraDocを紹介した。ContraDocは、複数のドメインにまたがる長いドキュメントにおける自己コントラクションを研究する最初の人間アノテーション付きデータセットである。 我々は,このデータセット上でGPT3.5, GPT4, PaLM2, LLaMAv2の4つの最先端オープンソースおよび商用LLMの現在の機能を分析する。 GPT4はこのタスクで最高のパフォーマンスを発揮し、人間より優れていますが、信頼できないことや、よりニュアンスとコンテキストを必要とする自己矛盾に苦労していることが分かりました。
  論文  参考訳（メタデータ） (2023-11-15T18:23:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。