Fugu-MT 論文翻訳(概要): Learning to Generate Research Idea with Dynamic Control

論文の概要: Learning to Generate Research Idea with Dynamic Control

arxiv url: http://arxiv.org/abs/2412.14626v1
Date: Thu, 19 Dec 2024 08:28:18 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-20 13:33:20.086085
Title: Learning to Generate Research Idea with Dynamic Control
Title（参考訳）: 動的制御による研究思想生成の学習
Authors: Ruochen Li, Liqiang Jing, Chi Han, Jiawei Zhou, Xinya Du,
Abstract要約: 大規模言語モデル (LLM) は仮説や研究のアイデアを生み出すことを約束している。 SFT(Supervised Fine-Tuning)とRL(Reinforcement Learning)を組み合わせた2段階のアプローチによる新しいフレームワークを提案する。本フレームワークは, 新規性, 実現可能性, 有効性の間のトレードオフを動的にナビゲートすることで, 高品質な成果を達成し, 研究アイデアに対するバランスのとれたアプローチを提供する。
参考スコア（独自算出の注目度）: 21.30777644522451
License:
Abstract: The rapid advancements in large language models (LLMs) have demonstrated their potential to accelerate scientific discovery, particularly in automating the process of research ideation. LLM-based systems have shown promise in generating hypotheses and research ideas. However, current approaches predominantly rely on prompting-based pre-trained models, limiting their ability to optimize generated content effectively. Moreover, they also lack the capability to deal with the complex interdependence and inherent restrictions among novelty, feasibility, and effectiveness, which remains challenging due to the inherent trade-offs among these dimensions, such as the innovation-feasibility conflict. To address these limitations, we for the first time propose fine-tuning LLMs to be better idea proposers and introduce a novel framework that employs a two-stage approach combining Supervised Fine-Tuning (SFT) and controllable Reinforcement Learning (RL). In the SFT stage, the model learns foundational patterns from pairs of research papers and follow-up ideas. In the RL stage, multi-dimensional reward modeling, guided by fine-grained feedback, evaluates and optimizes the generated ideas across key metrics. Dimensional controllers enable dynamic adjustment of generation, while a sentence-level decoder ensures context-aware emphasis during inference. Our framework provides a balanced approach to research ideation, achieving high-quality outcomes by dynamically navigating the trade-offs among novelty, feasibility, and effectiveness.
Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、科学的な発見を加速させる可能性を示しており、特に研究思想のプロセスを自動化する。 LLMベースのシステムは仮説や研究のアイデアを生み出すことを約束している。しかし、現在のアプローチは主にプロンプトベースの事前訓練モデルに依存しており、生成されたコンテンツを効果的に最適化する能力を制限する。さらに、イノベーションと実現可能性の衝突など、これらの領域に固有のトレードオフのために、新規性、実現可能性、有効性の間の複雑な相互依存や固有の制限を扱う能力も欠如している。これらの制約に対処するため,我々はまず,より優れたアイデアの提案を行うための微調整 LLM を提案し,スーパービジョン・ファインチューニング (SFT) と制御可能な強化学習 (RL) を組み合わせた2段階のアプローチを採用した新しいフレームワークを提案する。 SFTの段階では、モデルは研究論文とフォローアップのアイデアから基礎的なパターンを学ぶ。 RLの段階では、細かいフィードバックによって導かれる多次元報酬モデリングは、主要なメトリクス間で生成されたアイデアを評価し、最適化する。次元コントローラは生成を動的に調整し、文レベルのデコーダは推論中にコンテキスト対応の強調を保証します。本フレームワークは, 新規性, 実現可能性, 有効性の間のトレードオフを動的にナビゲートすることで, 高品質な成果を達成し, 研究アイデアに対するバランスのとれたアプローチを提供する。

関連論文リスト

Proof Flow: Preliminary Study on Generative Flow Network Language Model Tuning for Formal Reasoning [11.268313729426627]
本稿では,形式的推論の領域,特にニューラル定理証明設定における概念実証について述べる。古典的な報酬最大化強化学習とは異なり、GFlowNetsは合成対象をサンプリングするための有望なアプローチとして登場した。我々の初期の結果は、GFlowNetが検索環境におけるモデル性能を向上させる可能性を示している。
論文参考訳（メタデータ） (2024-10-17T05:10:12Z)
On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
論文参考訳（メタデータ） (2024-10-08T03:12:57Z)
Robustness Reprogramming for Representation Learning [18.466637575445024]
十分に訓練されたディープラーニングモデルを考えると、パラメータを変更することなく、対向的あるいはノイズの多い入力摂動に対する堅牢性を高めるために再プログラムできるだろうか? 本稿では,新しい非線形ロバストパターンマッチング手法を提案する。
論文参考訳（メタデータ） (2024-10-06T18:19:02Z)
The Role of Deductive and Inductive Reasoning in Large Language Models [35.43513487137371]
大規模言語モデル(LLM)は人工知能、特に推論タスクにおいて大きな進歩を遂げている。本稿では, 帰納的推論と帰納的推論を動的に統合することにより, LLM推論を強化するDID法を提案する。以上の結果から,DIDはLLMにおける推論のための,より堅牢で認知に整合した枠組みを提供する可能性が示唆された。
論文参考訳（メタデータ） (2024-10-03T18:30:47Z)
Rich-Observation Reinforcement Learning with Continuous Latent Dynamics [43.84391209459658]
本稿では,高次元観測に基づく制御を行うRichCLD(Rich-Observation RL with Continuous Latent Dynamics)を提案する。我々の主な貢献は、統計的かつ計算学的に効率的であるこの設定のための新しいアルゴリズムである。
論文参考訳（メタデータ） (2024-05-29T17:02:49Z)
Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
論文参考訳（メタデータ） (2024-02-09T07:45:26Z)
SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
論文参考訳（メタデータ） (2023-10-09T17:56:53Z)
Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-12-17T00:26:31Z)
Reinforcement Learning in Credit Scoring and Underwriting [7.356954349107956]
我々は、行動空間の更新と複数選択のアクションを取り入れて、クレジットスコアリングに強化学習原則を適用した。より情報的な意思決定を可能にするために,新たに2つのRLベースのクレジットカード代入アルゴリズムを導入する。
論文参考訳（メタデータ） (2022-12-15T06:36:14Z)
A Unified Contrastive Energy-based Model for Understanding the Generative Ability of Adversarial Training [64.71254710803368]
Adversarial Training (AT) は、ディープニューラルネットワークの堅牢性を高める効果的なアプローチである。我々は、Contrastive Energy-based Models(CEM)と呼ばれる統合確率的枠組みを開発することにより、この現象をデミステレーションする。本稿では,逆学習法とサンプリング法を開発するための原則的手法を提案する。
論文参考訳（メタデータ） (2022-03-25T05:33:34Z)
Reinforcement Learning through Active Inference [62.997667081978825]
アクティブ推論のアイデアが従来の強化学習アプローチをどのように強化するかを示す。我々は、将来望まれる自由エネルギーという、意思決定のための新しい目標を開発し、実装する。得られたアルゴリズムが探索および利用に成功し、また、スパース、ウェル形状、報酬のないいくつかの挑戦的RLベンチマークにおいて頑健な性能を達成することを実証した。
論文参考訳（メタデータ） (2020-02-28T10:28:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。