論文の概要: Reflection or Re-Generation? Why LLM Revision Fails Where Human Revision Succeeds

• arxiv url: http://arxiv.org/abs/2607.28908v1
• Date: Fri, 31 Jul 2026 00:15:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.555983
• Title: Reflection or Re-Generation? Why LLM Revision Fails Where Human Revision Succeeds
• Title（参考訳）: リフレクションかリジェネレーションか? LLMリビジョンが人間リビジョンに失敗した理由
• Abstract要約: 大規模言語モデル (LLM) は、次第に「再帰」するよう促されているが、それが人間の修正に類似しているかどうかは不明である。 我々は,Human-LLM Reflection Framework (HRF)を紹介した。 目的タスクでは、リフレクションはゼロに近い情報ゲイン(Delta I approx 0)を出力し、ニュートラルな再生成は再サンプリングとは区別できない。 主観的なタスクでは、これは大きな負の利得(Delta I 0)をもたらし、予測を目標から遠ざける。
• 参考スコア（独自算出の注目度）: 7.692886317666416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reflection, the ability to revisit and revise prior reasoning, is central to how humans improve their answers. Large language models (LLMs) are increasingly prompted to "reflect," yet whether this resembles human revision remains unclear. We introduce the Human-LLM Reflection Framework (HRF), a controlled two-pass protocol comparing human and LLM revision under identical conditions across self-, peer-, and cross-agent settings. Using an information-theoretic analysis based on per-iteration cross-entropy reduction, we find two failure modes of LLM reflection. On objective tasks with finite answer spaces, reflection yields near-zero information gain (Delta I approx 0), behaving as neutral re-generation indistinguishable from re-sampling. On subjective tasks, it yields significant negative gain (Delta I < 0), moving predictions away from the target. Human revision, by contrast, yields positive gain in both settings. Cross-agent experiments localize the failure to the revision step, not input quality: LLMs degrade even high-quality human responses. Diagnostic analyses (revision conditioned on first-pass correctness, and oracle-guided revision against a random-reshuffle baseline) show that which sub-step dominates varies by task and by model rather than reducing to a single mechanism: self-error detection is present on objective multiple-choice tasks but weak on subjective ones, and recovery under an oracle error signal exceeds the baseline for some models and falls below it for others. The unifying account is structural: without external information, self-conditioned revision cannot reduce uncertainty about the target, so LLM reflection is better understood as conditioned re-generation than as genuine error-driven revision.
• Abstract（参考訳）: 事前の推論を再考し、再考する能力であるリフレクションは、人間がどのように回答を改善するかの中心である。 大規模言語モデル (LLM) は、次第に「再帰」するよう促されているが、それが人間の修正に類似しているかどうかはまだ不明である。 我々は,Human-LLM Reflection Framework (HRF)を紹介した。 LLM反射の2つの障害モードを見出した。 有限回答空間を持つ目的的タスクでは、リフレクションはゼロに近い情報ゲイン(Delta I approx 0)を出力し、ニュートラルな再生成は再サンプリングとは区別できない。 主観的なタスクでは、これは大きな負の利得(Delta I < 0)をもたらし、予測を目標から遠ざける。 対照的に、人間のリビジョンは両方の設定で肯定的な利益をもたらす。 クロスエージェント実験は、入力品質ではなく、リビジョンステップに障害をローカライズする。 診断分析(第1パスの正確性に基づくリビジョン、ランダムリシャッフルベースラインに対するオラクル誘導リビジョン)は、サブステップがタスクやモデルによって支配されるかは、単一のメカニズムに還元されるのではなく、タスクによって異なることを示している: 自己エラー検出は、目的の複数の選択タスクには存在するが、主観的なタスクには弱い。 外部情報がないと、自己条件リフレクションはターゲットに対する不確実性を低減できないため、LCMリフレクションは真のエラー駆動リフレクションよりも条件付きリジェネレーションとして理解しやすい。

関連論文リスト

• BenchTrace: A Benchmark for Testing Reflection Ability and Controlled Evolution in LLM Agents [24.997265534888626]
  LLMエージェントの自己進化能力を評価するベンチマークである textbfBenchTrace を提案する。 BenchTraceは6つのタスクにまたがる1,821の注釈付きエピソードのスナップショット・リフレクションデータセット上に構築されている。 エージェントがターゲットの障害インスタンスをうまく回避するテストケースの割合を計測する新しい評価指標であるtextbffailure avoidance rate (FAR) を提案する。
  論文  参考訳（メタデータ） (2026-05-28T01:25:37Z)
• Learning from Trials and Errors: Reflective Test-Time Planning for Embodied LLMs [63.88783817420284]
  ロボットは、何がどうなったのか、なぜ失敗したのかを反映できず、展開を一連の独立した試行に転換する。 リフレクティブテストタイムプランニングを導入し、リフレクティブの2つのモードを統合する:textitreflection-in-actionと textitreflection-on-action また、振り返りのリフレクションが含まれており、エージェントは事前の判断を再評価し、後向きでモデル更新を実行できます。
  論文  参考訳（メタデータ） (2026-02-24T18:55:18Z)
• ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval [64.14282916266998]
  Composed Image Retrievalは、参照画像と修正テキストからなるハイブリッドクエリに基づいてターゲット画像を取得することを目的としている。 本稿では,診断・生成・再定義パイプラインに従うモデルに依存しないフレームワークであるReCALLを提案する。 CIRRとFashionIQの実験では、ReCALLは継続的に劣化した機能を再検討し、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-02T04:52:54Z)
• Teaching Large Reasoning Models Effective Reflection [62.73646680747003]
  大規模推論モデル(LRM)は、最近、複雑な推論タスクにおいて印象的なパフォーマンスを示している。 しかし、すべてのリフレクションが有益であるとは限らない。 まず,自己批判のみを用いてモデルの反射的推論能力を高める訓練フレームワークである自己批判ファインチューニング(SCFT)を提案する。
  論文  参考訳（メタデータ） (2026-01-19T04:51:53Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Self-Reflective Generation at Test Time [42.02273611421918]
  大規模言語モデル(LLM)は、長いチェーン・オブ・シークレットを通じて複雑な推論タスクを徐々に解決する。 既存の自己修正は、完全なドラフトに対して修正を行うか、高価なトレーニングを通じて自己修正を学ぶ。 テスト時間における自己回帰生成(SRGen)は、不確実な点で生成する前に反映する軽量なテスト時間フレームワークである。
  論文  参考訳（メタデータ） (2025-10-03T11:46:04Z)
• Zero-Shot LLMs in Human-in-the-Loop RL: Replacing Human Feedback for Reward Shaping [2.427844597259453]
  強化学習(Reinforcement Learning, RL)は、しばしば報酬のミスアライメントに苦しむ。 HITL(Human-in-the-loop)メソッドはこの問題を緩和するが、バイアスも導入する。 これらの課題に対処するための2つの重要な貢献を提案する。
  論文  参考訳（メタデータ） (2025-03-26T03:17:12Z)
• GRP: Goal-Reversed Prompting for Zero-Shot Evaluation with LLMs [14.906150451947443]
  大きな言語モデル(LLMs)を使用して2つの回答を評価し比較する。 目的逆プロンプティング(GRP)手法を提案し、元のタスクをより良い解から悪い解を選択するようにシフトする。
  論文  参考訳（メタデータ） (2025-03-08T09:44:24Z)
• Self-Contrast: Better Reflection Through Inconsistent Solving Perspectives [45.87069217634753]
  研究によると、外部からのフィードバックがなければ、Large Language Modelの本質的なリフレクションは不安定である。 我々の調査によると、重要なボトルネックは自己評価されたフィードバックの品質である。 要求に合わせて様々な解決の観点を適応的に探求し、相違点を対比し、これらの相違点を再検討し、相違点を排除するために使用できるチェックリストにまとめます。
  論文  参考訳（メタデータ） (2024-01-04T00:32:33Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。