Fugu-MT 論文翻訳(概要): Chain-of-Experience for Continual LLM Improvement

論文の概要: Chain-of-Experience for Continual LLM Improvement

arxiv url: http://arxiv.org/abs/2608.18027v1
Date: Tue, 18 Aug 2026 17:22:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-19 21:40:53.414304
Title: Chain-of-Experience for Continual LLM Improvement
Title（参考訳）: 連続LLM改善のためのチェーン・オブ・エクスペリエンス
Abstract要約: 我々は,大規模言語モデルがテスト時に反復的な経験からどのように学習するかを研究する。多様なフィードバック機構でCoE(Chain-of-Experience)をインスタンス化する。本研究は,反復体験の活用がフィードバックのないベースラインを一貫して上回ることを示す。
参考スコア（独自算出の注目度）: 57.11645184182825
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Humans continuously learn from experience, whereas conventional large language model (LLM) evaluations ignore the models' ability to improve through inference-time interaction. In this paper, we study how LLMs learn from iterative experience at test time, a setting we refer to as Chain-of-Experience (CoE), where models accumulate experiential traces through iterative interactions with self or environmental feedback to form a continual improvement loop beyond zero-shot inference. We instantiate CoE with diverse feedback mechanisms, including model self-feedback and environmental signals such as correctness or public coding test pass rates, and evaluate across math, coding, and knowledge domains using 8 LLMs, including GPT-5, Gemini-2.5 Pro, Claude-4.5 Sonnet. Our study shows that leveraging iterative experience consistently outperforms feedback-free baselines, achieving substantial gains with self feedback alone, alongside a 5.6% overall improvement and 19% lower API cost across tasks and models. We further show that combining complementary feedback channels (e.g., model and correctness signals) yields additional gains, and that CoE delivers higher accuracy per token than existing test-time strategies. We observe a positive correlation between LLM base ability and improvement capacity, and show that models remain robust under weak or spurious feedback, with different feedback contributing to distinct improvement aspects and most gains emerging early in the iterations.
Abstract（参考訳）: 人間は経験から継続的に学習するが、従来の大規模言語モデル(LLM)の評価は推論時相互作用を通じて改善するモデルの能力を無視している。本稿では,LLMがテスト時の反復的経験からどのように学習するか,すなわち,モデルが自己や環境フィードバックとの反復的相互作用を通じて経験的トレースを蓄積し,ゼロショット推論を超えた継続的改善ループを形成するという,CoE(Chain-of-Experience)と呼ばれる設定について考察する。我々は,GPT-5,Gemini-2.5 Pro,Claude-4.5 Sonnetを含む8つのLLMを用いて,モデル自己フィードバックや,正当性や公開符号化テストパスレートなどの環境信号などの多様なフィードバック機構をCoEにインスタンス化し,数学,コーディング,知識ドメインを横断的に評価する。私たちの調査では、反復的なエクスペリエンスを活用することで、フィードバックのないベースラインを一貫して上回り、自己フィードバックだけで大幅に向上し、全体的な5.6%の改善とタスクやモデル間のAPIコストの19%削減を実現しています。さらに、補完的なフィードバックチャネル(例えば、モデルと正当性信号)を組み合わせることで、追加の利得が得られ、CoEは既存のテストタイム戦略よりもトークン当たりの精度が向上することを示す。 LLMベース能力と改善能力の正の相関関係を観察し、モデルが弱いあるいは刺激的なフィードバックの下で頑健なままであることを示し、異なるフィードバックが異なる改善側面に寄与し、イテレーションの初期段階でほとんどの利益が現れることを示す。

関連論文リスト

Confidence-Orchestrated Self-Evolution against Uncertain LLM Feedback [8.780008955074967]
自己進化型大規模言語モデル(LLM)は、独自のトレーニングタスクとソリューションを生成し、人事監督への依存を減らすことで学習する。我々は,LLMの本質的信頼度を軽度不確実性信号として用いて学習を変調するCOSE(Confidence-Orchestrated Self-Evolution)を提案する。
論文参考訳（メタデータ） (2026-05-27T06:07:10Z)
Experiential Reinforcement Learning [22.545003569634982]
経験的強化学習(英語: Experiential Reinforcement Learning, ERL)は、学習プロセスに明示的な経験的回帰・統合のループを組み込む訓練パラダイムである。 ERLは、強い強化学習ベースラインよりも学習効率と最終性能を一貫して改善する。これらの結果は、明示的な自己回帰を政策訓練に統合することは、フィードバックを耐久性のある行動改善に変換するための実践的なメカニズムをもたらすことを示唆している。
論文参考訳（メタデータ） (2026-02-15T01:23:48Z)
Learning from Self Critique and Refinement for Faithful LLM Summarization [26.593763749112792]
大言語モデル(LLM)は、要約などの長文生成タスクを行う際に、幻覚に悩まされることが多い。自己批判と再定義に基づく選好最適化(SCRPO)を提案する。 SCRPOは自己教師型トレーニングフレームワークで、まずLLMの批評と洗練機能を活用することで、好みのデータセットを構築する。
論文参考訳（メタデータ） (2025-12-05T02:59:43Z)
EvaLearn: Quantifying the Learning Capability and Efficiency of LLMs via Sequential Problem Solving [76.73222429266964]
EvaLearnは、大きな言語モデル(LLM)を学習能力と課題の効率性を評価するために設計されたベンチマークである。 9つのフロンティアモデルをベンチマークし、様々な性能プロファイルを観察する。静的能力の強い現在のLLMは、全てのタスクにおいて学習能力に明らかな優位性を示すものではない。
論文参考訳（メタデータ） (2025-06-03T09:18:33Z)
ReflectEvo: Improving Meta Introspection of Small LLMs by Learning Self-Reflection [60.75785864719726]
本稿では,小言語モデル(SLM)がリフレクション学習を通じてメタイントロスペクションを向上させることを実証するために,新しいパイプラインであるReflectEvoを提案する。大規模かつ包括的かつ自己生成型リフレクションデータセットであるReflectEvo-460kを構築し,多様なマルチドメインタスクを実現する。
論文参考訳（メタデータ） (2025-05-22T10:03:05Z)
RLSR: Reinforcement Learning from Self Reward [0.0]
大規模な言語モデルでは,参照解を使わずに自己判断によって効果的に自己改善できることを示す。実験により, モデルが真理の答えを得られずに, 信頼性の高い報奨信号を提供できることを示した。この作業は、自己指向学習を通じて継続的に改善される自律型AIシステムに向けた重要なステップである。
論文参考訳（メタデータ） (2025-05-12T23:51:04Z)
Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
論文参考訳（メタデータ） (2025-01-10T05:51:52Z)
Training Language Models to Critique With Multi-agent Feedback [102.42751835338233]
MultiCritique パイプラインはマルチエージェントフィードバックを利用することで LLM の批判能力を向上させる。パイプラインは、単一のモデルではなく、複数のエージェントからの高品質な批評を集約する。我々の微調整された7Bモデルは、他の高度な7B-13Bオープンソースモデルを大きく上回っている。
論文参考訳（メタデータ） (2024-10-20T04:57:45Z)
Self-Taught Evaluators [77.92610887220594]
本稿では,人工的なトレーニングデータのみを用いて,人間のアノテーションを使わずに即興で証明することを目的としたアプローチを提案する。我々の自己学習評価器は、RewardBench上で75.4から88.3までの強いLDMを改善することができる。
論文参考訳（メタデータ） (2024-08-05T17:57:02Z)
StreamBench: Towards Benchmarking Continuous Improvement of Language Agents [63.54557575233165]
大規模言語モデル(LLM)エージェントは、経験から自分自身を改善することができる。本稿では,LLMエージェントの入力フィードバックシーケンスに対する継続的な改善を評価するためのベンチマークであるStreamBenchを紹介する。我々の研究は、LLMの効果的なオンライン学習戦略開発への一歩として役立ち、ストリーミングシナリオにおけるより適応的なAIシステムへの道を開いた。
論文参考訳（メタデータ） (2024-06-13T02:08:28Z)
Towards Reliable and Fluent Large Language Models: Incorporating Feedback Learning Loops in QA Systems [10.58737969057445]
我々は,大規模な言語モデルによって生成された応答の引用,正しさ,および流布性を評価することができる評論家モデルを訓練するためのデータセットを構築した。本稿では,批判モデルを利用して生成したテキストの異質な側面をリアルタイムにフィードバックする自動フィードバック機構を提案する。提案手法の有効性を実験的に検証し,4%の精度向上とMAUVE測定値の約8%の精度向上を図った。
論文参考訳（メタデータ） (2023-09-08T09:39:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。