論文の概要: CELI: Controller-Embedded Language Model Interactions

• arxiv url: http://arxiv.org/abs/2410.14627v1
• Date: Fri, 18 Oct 2024 17:29:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:27:28.423557
• Title: CELI: Controller-Embedded Language Model Interactions
• Title（参考訳）: CELI: コントローラ組み込み言語モデルインタラクション
• Authors: Jan-Samuel Wagner, Dave DeCaprio, Abishek Chiffon Muthu Raja, Jonathan M. Holman, Lauren K. Brady, Sky C. Cheung, Hosein Barzekar, Eric Yang, Mark Anthony Martinez II, David Soong, Sriram Sridhar, Han Si, Brandon W. Higgs, Hisham Hamadeh, Scott Ogden,
• Abstract要約: Controller-Embedded Language Model Interactions (CELI)は、制御ロジックを直接言語モデルプロンプトに統合するフレームワークである。 CELIは既存のプロンプトエンジニアリングとワークフロー最適化の限界に対処する。 ケーススタディでは、さまざまな領域で顕著なパフォーマンス改善が示されている。
• 参考スコア（独自算出の注目度）: 1.0972128225315942
• License:
• Abstract: We introduce Controller-Embedded Language Model Interactions (CELI), a framework that integrates control logic directly within language model (LM) prompts, facilitating complex, multi-stage task execution. CELI addresses limitations of existing prompt engineering and workflow optimization techniques by embedding control logic directly within the operational context of language models, enabling dynamic adaptation to evolving task requirements. Our framework transfers control from the traditional programming execution environment to the LMs, allowing them to autonomously manage computational workflows while maintaining seamless interaction with external systems and functions. CELI supports arbitrary function calls with variable arguments, bridging the gap between LMs' adaptive reasoning capabilities and conventional software paradigms' structured control mechanisms. To evaluate CELI's versatility and effectiveness, we conducted case studies in two distinct domains: code generation (HumanEval benchmark) and multi-stage content generation (Wikipedia-style articles). The results demonstrate notable performance improvements across a range of domains. CELI achieved a 4.9 percentage point improvement over the best reported score of the baseline GPT-4 model on the HumanEval code generation benchmark. In multi-stage content generation, 94.4% of CELI-produced Wikipedia-style articles met or exceeded first draft quality when optimally configured, with 44.4% achieving high quality. These outcomes underscore CELI's potential for optimizing AI-driven workflows across diverse computational domains.
• Abstract（参考訳）: 制御ロジックを直接言語モデル(LM)プロンプトに統合し,複雑な多段階タスク実行を容易にするフレームワークであるCELI(Controller-Embedded Language Model Interactions)を紹介する。 CELIは、制御ロジックを言語モデルの運用コンテキストに直接埋め込むことで、既存のプロンプトエンジニアリングとワークフロー最適化のテクニックの制限に対処する。 我々のフレームワークは、従来のプログラミング実行環境からLMへ制御を転送し、外部システムや関数とのシームレスな相互作用を維持しながら、計算ワークフローを自律的に管理する。 CELIは可変引数を持つ任意の関数呼び出しをサポートし、LMの適応推論能力と従来のソフトウェアパラダイムの構造化制御機構のギャップを埋める。 CELIの汎用性と有効性を評価するため,コード生成(HumanEvalベンチマーク)と多段階コンテンツ生成(Wikipediaスタイルの記事)の2つの異なる領域でケーススタディを行った。 その結果、様々な領域で顕著なパフォーマンス改善が示された。 CELIはHumanEvalコード生成ベンチマークのベースラインGPT-4モデルの最高のスコアよりも4.9ポイント改善された。 多段階のコンテンツ生成では、CELIが制作したウィキペディアスタイルの記事の94.4%が最適設定時に最初のドラフト品質を満たし、44.4%が高品質を達成した。 これらの結果は、さまざまな計算領域にわたるAI駆動ワークフローを最適化するCELIの可能性を浮き彫りにする。

関連論文リスト

• QLASS: Boosting Language Agent Inference via Q-Guided Stepwise Search [89.97082652805904]
  提案するQLASS(Q-guided Language Agent Stepwise Search)は,Q-valueを推定してアノテーションを自動的に生成する。 ステップワイズガイダンスにより、言語エージェントが長期的価値に適応できるようにQ誘導型生成戦略を提案する。 我々はQLASSが質的分析によってより効果的な意思決定につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2025-02-04T18:58:31Z)
• Deriving Coding-Specific Sub-Models from LLMs using Resource-Efficient Pruning [4.762390044282733]
  大規模言語モデル(LLM)は、様々な複雑なコード生成タスクにおいて、その例外的な性能を実証している。 このような要求を緩和するために、モデルプルーニング技術は、パラメータが著しく少ないよりコンパクトなモデルを作成するために使用される。 本研究では,非構造化プルーニングによる符号化特化サブモデルの効率的な導出について検討する。
  論文  参考訳（メタデータ） (2025-01-09T14:00:01Z)
• Multi-Attribute Constraint Satisfaction via Language Model Rewriting [67.5778646504987]
  マルチ属性制約満足度(英: Multi-Attribute Constraint Satisfaction, MACS)は、言語モデルを微調整して、複数の外部実値属性に対するユーザ指定制約を満たす手法である。 我々の研究は、NLPやバイオインフォマティクスにまたがる多様な応用に影響を及ぼす、一般化および実値多属性制御のための新しい道を開く。
  論文  参考訳（メタデータ） (2024-12-26T12:36:39Z)
• A Progressive Transformer for Unifying Binary Code Embedding and Knowledge Transfer [15.689556592544667]
  本稿では,バイナリコード埋め込みのための新しいトランスフォーマーベースの手法であるProTSTを紹介する。 ProTSTは、独特の木のような構造に基づく階層的なトレーニングプロセスを採用している。 その結果, ProTSTは従来の2段階トレーニングに比べて14.8%改善した(F1, MRR, Recall@1)。
  論文  参考訳（メタデータ） (2024-12-15T13:04:29Z)
• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• The Compressor-Retriever Architecture for Language Model OS [20.56093501980724]
  オペレーティングシステム(OS)のコアコンポーネントとして言語モデルを用いるという概念について検討する。 このようなLM OSを実現する上で重要な課題は、寿命の長いコンテキストを管理し、セッション間のステートフルネスを確保することだ。 本稿では,生涯のコンテキスト管理のために設計されたモデル非依存アーキテクチャであるコンプレッサー・レトリバーを紹介する。
  論文  参考訳（メタデータ） (2024-09-02T23:28:15Z)
• LLM-Based Test-Driven Interactive Code Generation: User Study and Empirical Evaluation [13.800675921118348]
  本稿では,ガイド付き意図明確化のための対話型ワークフローTiCoderを提案する。 コード生成精度を向上させるためのワークフローの有効性を実証的に評価する。 我々は,5つのユーザインタラクション内において,データセットと全LLMのパス@1コード生成精度が平均45.97%向上したことを観察した。
  論文  参考訳（メタデータ） (2024-04-15T19:16:32Z)
• Language Agent Tree Search Unifies Reasoning Acting and Planning in Language Models [31.509994889286183]
  我々はLanguage Agent Tree Search (LATS)を紹介した。Language Agent Tree Search (LATS)は、推論、行動、計画において言語モデル(LM)の能力を相乗化する最初の一般的なフレームワークである。 当社のアプローチの重要な特徴は、より意図的で適応的な問題解決メカニズムを提供する外部フィードバック環境の導入である。 LATSは、GPT-4でHumanEval上でプログラミングするための最先端パス@1精度(92.7%)を達成し、GPTによるWebShop上のWebナビゲーションの勾配ベースの微調整に匹敵する勾配なし性能(平均スコア75.9)を示す。
  論文  参考訳（メタデータ） (2023-10-06T17:55:11Z)
• Examining Scaling and Transfer of Language Model Architectures for Machine Translation [51.69212730675345]
  言語モデル(LM)は単一のレイヤのスタックで処理し、エンコーダ・デコーダモデル(EncDec)は入力と出力の処理に別々のレイヤスタックを使用する。 機械翻訳において、EncDecは長年好まれてきたアプローチであるが、LMの性能についての研究はほとんどない。
  論文  参考訳（メタデータ） (2022-02-01T16:20:15Z)
• Few-shot Natural Language Generation for Task-Oriented Dialog [113.07438787659859]
  FewShotWozは,タスク指向対話システムにおける数ショットの学習設定をシミュレートする最初の NLG ベンチマークである。 我々は, SC-GPTモデルを開発し, その制御可能な生成能力を得るために, 注釈付きNLGコーパスの大規模なセットで事前学習を行った。 FewShotWozとMulti-Domain-WOZデータセットの実験は、提案したSC-GPTが既存の手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-02-27T18:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。