論文の概要: What Drives Interactive Improvement from Feedback?

• arxiv url: http://arxiv.org/abs/2606.30774v1
• Date: Mon, 29 Jun 2026 18:06:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:18.962997
• Title: What Drives Interactive Improvement from Feedback?
• Title（参考訳）: フィードバックからインタラクティブな改善を促すものは何か?
• Abstract要約: 本研究では,繰り返し試みだけで得られる利得を超えて,自然言語フィードバックがいつ改善をもたらすかを検討する。 マルチターン言語エージェントの設定では、より高い最終的な精度は有用なフィードバックを反映することができるが、再サンプリング、フォーマット修正、追加のテスト時間計算から生じることもある。 我々は,Omni-MATH,Codeforces,BBEH Linguini,ARC-AGI1にまたがる学生教育プロトコルを提案する。
• 参考スコア（独自算出の注目度）: 0.7330217643497284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study when natural-language feedback produces improvement beyond the gains obtainable from repeated attempts alone. In multi-turn language agent setting, higher final accuracy can reflect useful feedback, but it can also arise from resampling, format correction, or additional test-time computation. To separate these effects, we introduce a controlled student-teacher protocol across Omni-MATH, Codeforces, BBEH Linguini, and ARC-AGI1, evaluating thirteen open-weight models in both student and teacher roles. We compare external feedback, self-feedback, and unguided self-refinement, while varying interaction history, task difficulty, and teacher access to privileged task information. Across settings, we find that multi-turn improvement is often not evidence of feedback use: self-generated feedback adds little beyond unguided self-refinement, whereas the strongest external teachers produce substantially larger feedback-specific gains, suggesting that useful feedback must provide guidance beyond generic retry. Dense student-teacher interaction matrices further show that interactive gains are driven more by the student's ability to use feedback than by the teacher's identity, although teacher choice remains important for a fixed student. These results suggest that feedback-based agents should be evaluated against repeated-attempt baselines, and that ability to act on feedback, not merely feedback availability, is a central bottleneck for interactive improvement. We release our controlled student-teacher evaluation framework at https://j-lojek.github.io/feedback-generation-is-a-bottleneck/.
• Abstract（参考訳）: 本研究では,繰り返し試みだけで得られる利得を超えて,自然言語フィードバックがいつ改善をもたらすかを検討する。 マルチターン言語エージェントの設定では、より高い最終的な精度は有用なフィードバックを反映することができるが、再サンプリング、フォーマット修正、追加のテスト時間計算から生じることもある。 これらの効果を分離するために, Omni-MATH, Codeforces, BBEH Linguini, ARC-AGI1 にまたがる制御された学生教育プロトコルを導入する。 外部からのフィードバック,自己フィードバック,無指導の自己抑止,インタラクション履歴の変化,タスク難易度,教師による特権的タスク情報へのアクセスなどを比較した。 自己生成したフィードバックは、無指導の自己修正をほとんど加えていないのに対して、最強の外部教師は、はるかに大きなフィードバック固有の利益をもたらし、有用なフィードバックは、一般的な再試行以上のガイダンスを提供する必要があることを示唆している。 教師と教師のインタラクションマトリックスは、教師のアイデンティティよりも、生徒のフィードバック利用能力によって、よりインタラクティブな利得が促進されることを示しているが、教師の選択は固定された学生にとって重要である。 これらの結果は,フィードバックベースエージェントを反復的ベースラインに対して評価すべきであり,フィードバックの可利用性だけでなく,フィードバックに作用する能力が,インタラクティブな改善のボトルネックとなることを示唆している。 制御された学生-教師評価フレームワークをhttps://j-lojek.github.io/feedback-generation-is-a-bottleneck/でリリースします。

関連論文リスト

• REFINE: Real-world Exploration of Interactive Feedback and Student Behaviour [12.059739840538638]
  本稿では、ローカルにデプロイ可能なマルチエージェントフィードバックシステムであるREFINEを紹介し、フィードバックを対話的なプロセスとして扱う。 REFINEは、人力判断器を用いて、台座フィードバック生成剤とLSM-as-a-judge-guided regeneration loopを併用する。 本研究は,多エージェント・ツール拡張型フィードバックシステムの有効性と有効性を示すものである。
  論文  参考訳（メタデータ） (2026-03-31T01:48:08Z)
• Humanizing Automated Programming Feedback: Fine-Tuning Generative Models with Student-Written Feedback [21.114005575615586]
  我々は、人間が書いたものに近いフィードバックを生成するための言語モデルを微調整する手段として、学習者ソーシングを探求する。 学生による複数のプログラミング問題やバグジープログラムに対するフィードバックを約1,900件収集した。 この結果から,学習データに基づく微調整モデルでは,学生のフィードバックスタイルに適合するフィードバックが生成されるだけでなく,迅速なエンジニアリングによるフィードバックよりも精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-09-12T19:23:05Z)
• CANDERE-COACH: Reinforcement Learning from Noisy Feedback [12.232688822099325]
  CANDERE-COACHアルゴリズムは、非最適教師によるノイズフィードバックから学習することができる。 本稿では,教師のフィードバックの最大40%が誤りであった場合,RLエージェントが学習を成功させるためのノイズフィルタリング機構を提案する。
  論文  参考訳（メタデータ） (2024-09-23T20:14:12Z)
• "My Grade is Wrong!": A Contestable AI Framework for Interactive Feedback in Evaluating Student Essays [6.810086342993699]
  本稿では,対話型フィードバックを自動生成するContestable AI Empowered LLM FrameworkであるCAELFを紹介する。 CAELFは、マルチエージェントシステムと計算的議論を統合することで、学生がフィードバックをクエリし、挑戦し、明確化することができる。 ユーザスタディを用いた500の批判的思考エッセイのケーススタディでは,CAELFが対話的フィードバックを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-09-11T17:59:01Z)
• Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
  きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。 粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。 きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
  論文  参考訳（メタデータ） (2024-06-24T17:19:34Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• Is Feedback All You Need? Leveraging Natural Language Feedback in Goal-Conditioned Reinforcement Learning [54.31495290436766]
  我々はBabyAIを拡張し、環境力学と目標条件の成功から言語フィードバックを自動的に生成する。 我々は、この付加信号を利用するために、決定変換器アーキテクチャを変更する。 言語フィードバックによるトレーニングは, エージェントの一般化性能を向上させること, あるいは, 目標記述に代えて行うことが確認された。
  論文  参考訳（メタデータ） (2023-12-07T22:33:34Z)
• Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
  本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。 我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。 このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-10T09:20:14Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)
• Learning Online from Corrective Feedback: A Meta-Algorithm for Robotics [24.863665993509997]
  模倣学習(il)における鍵となる課題は、最適な状態行動のデモンストレーションは教師が提供するのが難しいことである。 状態行動のデモンストレーションの代替として、教師は好みや報酬などの修正的なフィードバックを提供することができる。 このアプローチは、さまざまなノイズフィードバックから素早く学習できることを示します。
  論文  参考訳（メタデータ） (2021-04-02T12:42:12Z)
• Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework [51.237191651923666]
  訓練者の表情からエージェント学習の可能性について,評価フィードバックとして解釈することで検討した。 設計したCNN-RNNモデルを用いて,学習者に対して表情とコンペティションの使用を指示することで,肯定的および否定的なフィードバックを推定する精度を向上させることができることを示す。 シミュレーション実験の結果,表情に基づく予測フィードバックのみから学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-01-23T17:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。