論文の概要: Reinforcement Learning for Compositional Generalization with Outcome-Level Optimization

• arxiv url: http://arxiv.org/abs/2605.04920v1
• Date: Wed, 06 May 2026 13:47:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.852022
• Title: Reinforcement Learning for Compositional Generalization with Outcome-Level Optimization
• Title（参考訳）: 出力レベル最適化による構成一般化のための強化学習
• Abstract要約: 既存のアプローチは、しばしば教師付き微調整に依存し、モデルがターゲット出力を模倣することを奨励する。 本研究では,結果レベルの強化学習によって構成一般化を向上できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 11.743149066177642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compositional generalization refers to correctly interpret novel combinations of known primitives, which remains a major challenge. Existing approaches often rely on supervised fine-tuning, which encourages models to imitate target outputs. This token-level training paradigm fails to capture the global compositional structure required for generalizing to unseen combinations. In this work, we investigate whether compositional generalization can instead be improved through outcome-level reinforcement learning. We adopt Group Relative Policy Optimization to optimize models based on feedback on their final outputs. Within this framework, we explore both a simple binary outcome reward and a composite reward that provides additional composition feedback. Experiments on multiple compositional benchmarks show that reinforcement learning improves compositional generalization compared to supervised fine-tuning. Further analysis reveals that supervised models tend to overfit frequent training compositions, whereas reinforcement learning improves compositional generalization by reshaping the output distribution, particularly for more complex composition types.
• Abstract（参考訳）: 構成一般化とは、既知のプリミティブの新規組み合わせを正しく解釈することであり、これは依然として大きな課題である。 既存のアプローチは、しばしば教師付き微調整に依存し、モデルがターゲット出力を模倣することを奨励する。 このトークンレベルの訓練パラダイムは、目に見えない組み合わせを一般化するのに必要とされるグローバルな構成構造を捉えることに失敗する。 本研究では,結果レベルの強化学習によって構成一般化を向上できるかどうかを検討する。 我々はグループ相対政策最適化を採用し、最終的なアウトプットに対するフィードバックに基づいてモデルを最適化する。 このフレームワーク内では、単純なバイナリ結果報酬と、合成フィードバックを提供する複合報酬の両方について検討する。 複数の構成ベンチマーク実験により、強化学習は教師付き微調整よりも構成一般化を改善することが示された。 さらに分析したところ、教師付きモデルは頻繁なトレーニング構成に適合しがちであるのに対し、強化学習は出力分布、特により複雑な構成タイプを変換することによって構成一般化を改善することが明らかとなった。

関連論文リスト

• TPR-Attention for Combinatorial Generalization [1.1688030627514532]
  構造化帰納バイアスをディープラーニングに組み込む新しいアーキテクチャコンポーネントを導入します。 本稿では,このTPRアテンション機構が,既存のアーキテクチャコンポーネントの一般化よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-31T01:18:44Z)
• Composition-Incremental Learning for Compositional Generalization [35.44592461934844]
  理想的なモデルは、漸進的に構成的一般化の能力を徐々に改善することが求められている。 我々は,既存のデータセットを活用するベンチマーク構築パイプラインを開発し,MIT-States-CompILとC-GQA-CompILを生成する。 本稿では,視覚合成器を用いて学習した合成文の視覚表現を合成する擬似再生フレームワークと,整列した原始表現を維持するための言語的原始蒸留機構を提案する。
  論文  参考訳（メタデータ） (2025-11-12T08:00:03Z)
• Learning to Substitute Components for Compositional Generalization [70.96410435337967]
  そこで我々はCompSubと呼ばれる新しい構成拡張戦略を提案する。 また,CompSubにおけるコンポーネント置換確率の学習を支援するLCS(Learning Component Substitution)フレームワークについても紹介する。 その結果, CompSub, LCS, LCS-ICLのそれぞれ66.5%, 10.3%, 1.4%, 8.8%の改善が見られた。
  論文  参考訳（メタデータ） (2025-02-28T08:30:47Z)
• Compositional Generalization from First Principles [27.243195680442533]
  データ自体よりもデータ生成プロセスの特性としての組成性について検討する。 この再構成により、トレーニング分布とモデルアーキテクチャのサポートのみに関する穏やかな条件を導出することができる。 この結果は、合成一般化の原理的理論的研究の舞台となった。
  論文  参考訳（メタデータ） (2023-07-10T19:30:32Z)
• Compositional Generalisation with Structured Reordering and Fertility Layers [121.37328648951993]
  Seq2seqモデルは構成一般化に苦しむことが示されている。 本稿では、2つの構造演算を構成するフレキシブルなエンドツーエンドの微分可能なニューラルモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-06T19:51:31Z)
• Compositional Generalization Requires Compositional Parsers [69.77216620997305]
  直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。 構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
  論文  参考訳（メタデータ） (2022-02-24T07:36:35Z)
• Grounded Graph Decoding Improves Compositional Generalization in Question Answering [68.72605660152101]
  質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。 構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。 本モデルは,質問応答における合成一般化の挑戦的ベンチマークである構成自由ベース質問(CFQ)データセットにおいて,最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-05T17:50:14Z)
• Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
  本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。 意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-10-09T22:27:19Z)
• Improving Compositional Generalization in Semantic Parsing [54.4720965813889]
  オフ・オブ・ディストリビューション(OOD)データへのモデルの一般化は、最近、大きな注目を集めている。 合成一般化のための自然なテストベッドである意味解析における合成一般化について検討する。
  論文  参考訳（メタデータ） (2020-10-12T12:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。