Fugu-MT 論文翻訳(概要): Training of Scaffolded Language Models with Language Supervision: A Survey

論文の概要: Training of Scaffolded Language Models with Language Supervision: A Survey

arxiv url: http://arxiv.org/abs/2410.16392v2
Date: Fri, 16 May 2025 16:01:03 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-19 14:36:11.460617
Title: Training of Scaffolded Language Models with Language Supervision: A Survey
Title（参考訳）: 言語スーパービジョンを用いた話し言葉モデルの訓練:調査
Authors: Matthieu Lin, Jenny Sheng, Andrew Zhao, Shenzhi Wang, Yang Yue, Victor Shea Jay Huang, Huan Liu, Jun Liu, Gao Huang, Yong-Jin Liu,
Abstract要約: 本調査は,戦後のLM周辺における新規構造物の設計と最適化に関する文献を整理した。本稿では,この階層構造を足場型LMと呼び,ツールを用いた多段階プロセスに統合されたLMに焦点を当てる。
参考スコア（独自算出の注目度）: 62.59629932720519
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This survey organizes the intricate literature on the design and optimization of emerging structures around post-trained LMs. We refer to this overarching structure as scaffolded LMs and focus on LMs that are integrated into multi-step processes with tools. We view scaffolded LMs as semi-parametric models wherein we train non-parametric variables, including the prompt, tools, and scaffold's code. In particular, they interpret instructions, use tools, and receive feedback all in language. Recent works use an LM as an optimizer to interpret language supervision and update non-parametric variables according to intricate objectives. In this survey, we refer to this paradigm as training of scaffolded LMs with language supervision. A key feature of non-parametric training is the ability to learn from language. Parametric training excels in learning from demonstration (supervised learning), exploration (reinforcement learning), or observations (unsupervised learning), using well-defined loss functions. Language-based optimization enables rich, interpretable, and expressive objectives, while mitigating issues like catastrophic forgetting and supporting compatibility with closed-source models. Furthermore, agents are increasingly deployed as co-workers in real-world applications such as Copilot in Office tools or software development. In these mixed-autonomy settings, where control and decision-making are shared between human and AI, users point out errors or suggest corrections. Accordingly, we discuss agents that continuously improve by learning from this real-time, language-based feedback and refer to this setting as streaming learning from language supervision.
Abstract（参考訳）: 本調査は,戦後のLM周辺における新規構造物の設計と最適化に関する複雑な文献を整理したものである。本稿では,この階層構造を足場型LMと呼び,ツールを用いた多段階プロセスに統合されたLMに焦点を当てる。我々は、足場付きLMを半パラメトリックモデルとみなし、プロンプト、ツール、足場コードを含む非パラメトリック変数を訓練する。特に、命令を解釈し、ツールを使用し、すべてのフィードバックを言語で受け取ります。最近の研究では、言語指導の最適化としてLMを使用し、複雑な目的に応じて非パラメトリック変数を更新している。本調査では,このパラダイムを,言語指導を伴う足場付きLMのトレーニングとして言及する。非パラメトリックトレーニングの重要な特徴は、言語から学ぶ能力である。パラメトリックトレーニングは、よく定義された損失関数を用いて、実証(教師付き学習)、探索(強化学習)、観察(教師なし学習)からの学習を排他的に行う。言語ベースの最適化は、リッチで解釈可能、表現可能な目的を実現すると同時に、破滅的な忘れ忘れやクローズドソースモデルとの互換性のサポートといった問題を緩和する。さらに、エージェントは、オフィスツールやソフトウェア開発におけるCopilotのような現実世界のアプリケーションにおける同僚として、ますます多くデプロイされている。制御と意思決定を人間とAIで共有するこれらの混合自律性設定では、ユーザはエラーを指摘したり、修正を提案する。そこで,本稿では,このリアルタイムな言語に基づくフィードバックから学習することで継続的に改善するエージェントについて論じる。

関連論文リスト

LLM Alignment as Retriever Optimization: An Information Retrieval Perspective [44.26715637344781]
大規模言語モデル(LLM)は、推論、コーディング、コミュニケーションの能力を備えた人工知能に革命をもたらした。我々の研究は、確立された情報検索(IR)の原則に基づいて、LCMアライメントのための新しい直接最適化手法を導入する。本稿では,LLMアライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント(LarPO)を提案する。
論文参考訳（メタデータ） (2025-02-06T01:22:06Z)
Using Large Language Models for Parametric Shape Optimization [2.464331481632096]
パラメータ化工学設計の最適形状を決定するための最適化フレームワーク LLM-PSO を開発した。我々の予備調査は、LLMの形状最適化と工学設計をより広範囲に活用するためのさらなる研究を刺激する可能性がある。
論文参考訳（メタデータ） (2024-12-11T03:35:38Z)
Improving Parallel Program Performance Through DSL-Driven Code Generation with LLM Optimizers [9.880183350366792]
計算処理をプロセッサにマッピングし、メモリを割り当てることは、並列プログラミングのパフォーマンスを最大化するために重要である。これらのマッピング決定は、パフォーマンスエンジニアによって作成されたmapperと呼ばれる特殊な低レベルのシステムコードの開発を通じて管理される。我々は,近年のLLMに基づくマッパー設計の進歩を生かしたアプローチを提案する。 10分以内で、科学的応用における人間の専門家設計を超えるマッパーを最大1.34倍のスピードアップで自動的に発見する。
論文参考訳（メタデータ） (2024-10-21T04:08:37Z)
AIME: AI System Optimization via Multiple LLM Evaluators [79.03422337674664]
AIME は複数の LLM を利用した評価プロトコルであり、それぞれが独立した基準で評価を生成し、結合を通してそれらを結合する。コード生成タスクにおける AIME のベースラインメソッドのパフォーマンスは,LeetCodeHard と HumanEval データセットの単一 LLM 評価プロトコルよりも最大 62% 高いエラー検出率,最大 16% 高い成功率で向上している。
論文参考訳（メタデータ） (2024-10-04T04:03:24Z)
The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities [0.35998666903987897]
本稿では,Large Language Models (LLM) の微調整について検討する。従来の自然言語処理(NLP)モデルから、AIにおける彼らの重要な役割まで、LLMの歴史的進化を概説している。本報告では, 微調整LDMのための構造化7段パイプラインについて紹介する。
論文参考訳（メタデータ） (2024-08-23T14:48:02Z)
Search-Based LLMs for Code Optimization [16.843870288512363]
開発者によって書かれたコードは、通常効率上の問題に悩まされ、様々なパフォーマンス上のバグを含んでいる。最近の研究は、タスクをシーケンス生成問題とみなし、大規模言語モデル(LLM)のようなディープラーニング(DL)技術を活用している。改良された最適化手法の反復的洗練と発見を可能にする,SBLLM という検索ベース LLM フレームワークを提案する。
論文参考訳（メタデータ） (2024-08-22T06:59:46Z)
Large Language Model as a Catalyst: A Paradigm Shift in Base Station Siting Optimization [62.16747639440893]
大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。提案するフレームワークは、検索拡張生成(RAG)を組み込んで、ドメイン固有の知識を取得してソリューションを生成するシステムの能力を高める。
論文参考訳（メタデータ） (2024-08-07T08:43:32Z)
OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
論文参考訳（メタデータ） (2024-07-13T13:27:57Z)
Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
論文参考訳（メタデータ） (2024-05-30T06:24:14Z)
When Large Language Model Meets Optimization [7.822833805991351]
大規模言語モデル(LLM)は、インテリジェントなモデリングと最適化における戦略的意思決定を容易にする。本稿では,LLMと最適化アルゴリズムの組み合わせの進展と可能性について概説する。
論文参考訳（メタデータ） (2024-05-16T13:54:37Z)
Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。モデルパラメータ学習における2つの重要な要素を同定する。特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
論文参考訳（メタデータ） (2024-02-27T15:05:32Z)
Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
論文参考訳（メタデータ） (2024-02-18T14:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。