論文の概要: VaiBot: Shuttle Between the Instructions and Parameters

• arxiv url: http://arxiv.org/abs/2502.02315v1
• Date: Tue, 04 Feb 2025 13:36:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:37.868455
• Title: VaiBot: Shuttle Between the Instructions and Parameters
• Title（参考訳）: VaiBot: 命令とパラメータ間のシャトル
• Authors: Wangtao Sun, Haotian Xu, Huanxuan Liao, Xuanqing Yu, Zhongtao Jiang, Shizhu He, Jun Zhao, Kang Liu,
• Abstract要約: 本稿では、推論タスクと帰納タスクの両方を均一にモデル化し、学習し、推論するように設計された、VAEとVIBを統合したニューラルネットワークフレームワークであるVaiBotを提案する。 VaiBotが既存のベースラインメソッドと同等に動作し、インダクティブ能力でそれらをはるかに上回っていることを示す。
• 参考スコア（独自算出の注目度）: 22.676819780878198
• License:
• Abstract: How to interact with LLMs through \emph{instructions} has been widely studied by researchers. However, previous studies have treated the emergence of instructions and the training of LLMs on task data as separate processes, overlooking the inherent unity between the two. This paper proposes a neural network framework, VaiBot, that integrates VAE and VIB, designed to uniformly model, learn, and infer both deduction and induction tasks under LLMs. Through experiments, we demonstrate that VaiBot performs on par with existing baseline methods in terms of deductive capabilities while significantly surpassing them in inductive capabilities. We also find that VaiBot can scale up using general instruction-following data and exhibits excellent one-shot induction abilities. We finally synergistically integrate the deductive and inductive processes of VaiBot. Through T-SNE dimensionality reduction, we observe that its inductive-deductive process significantly improves the distribution of training parameters, enabling it to outperform baseline methods in inductive reasoning tasks. The code and data for this paper can be found at https://anonymous.4open.science/r/VaiBot-021F.
• Abstract（参考訳）: emph{instructions} を通じて LLM と相互作用する方法は研究者によって広く研究されている。 しかし、従来の研究では、タスクデータに対する命令の出現とLLMの訓練を個別のプロセスとして扱い、両者の固有の統一性を見越すことができた。 本稿では,LLM下での推論タスクと帰納タスクを一様にモデル化し,学習し,推論するために,VAEとVIBを統合したニューラルネットワークフレームワークであるVaiBotを提案する。 実験により,VayBotが既存のベースラインメソッドと同等に動作し,インダクティブ能力をはるかに上回っていることを示す。 また、VaiBotは一般的なインストラクション追従データを用いてスケールアップでき、優れたワンショット誘導能力を示す。 最終的に、我々はVayBotの還元過程と誘導過程を相乗的に統合した。 本稿では,T-SNE次元の削減を通じて,その帰納的・帰納的プロセスがトレーニングパラメータの分布を著しく改善し,帰納的推論タスクにおけるベースライン手法よりも優れていることを観察する。 この論文のコードとデータはhttps://anonymous.4open.science/r/VaiBot-021Fで見ることができる。

関連論文リスト

• Combining Induction and Transduction for Abstract Reasoning [13.399370315305408]
  我々は、ARC上で誘導(潜伏関数の推論)および伝達(与えられたテスト入力に対するテスト出力を直接予測する)のためにニューラルネットワークを訓練する。 インダクティブモデルとトランスダクティブモデルは、同じトレーニング問題を持ち、同じニューラルアーキテクチャを共有するにもかかわらず、さまざまな種類のテスト問題を解決する。
  論文  参考訳（メタデータ） (2024-11-04T17:03:55Z)
• Interpretable Language Modeling via Induction-head Ngram Models [74.26720927767398]
  誘導ヘッドngramモデル(Induction-Gram)を提案する。 この誘導ヘッドは、カスタムのニューラル類似度メトリックを使用して、モデルの入力コンテキストを効率的に検索し、潜在的に次の単語補完を行う。 実験により,本手法はベースラインの解釈可能なモデルよりも,単語の次単語予測を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-10-31T12:33:26Z)
• Enhancing Length Extrapolation in Sequential Models with Pointer-Augmented Neural Memory [66.88278207591294]
  本稿では,新しいより長いデータ列に対して,ニューラルネットワークによるシンボル処理の理解と適用を支援するために,Pointer-Augmented Neural Memory (PANM)を提案する。 PANMは、新しい物理アドレスとポインタ操作技術を使用して、人間とコンピュータのシンボル処理能力を模倣する外部のニューラルメモリを統合する。
  論文  参考訳（メタデータ） (2024-04-18T03:03:46Z)
• ItD: Large Language Models Can Teach Themselves Induction through Deduction [27.75250905887343]
  そこで我々は, LLM が推論による誘導を学べるように, 推論による誘導(ItD)という新しい枠組みを提案する。 ItDは、誘導データを生成するデダクティブデータ生成モジュールと、LLMの微調整と復号を最適化するネイブベイズ誘導モジュールの2つの主要コンポーネントで構成されている。 実験の結果,2つのインダクション・ベンチマークにおけるITDの有効性が示され,従来の最先端技術と比較して36%,10%の相対的な性能向上が達成された。
  論文  参考訳（メタデータ） (2024-03-09T04:20:46Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Instilling Inductive Biases with Subnetworks [19.444844580405594]
  サブタスク誘導は、サブタスクを利用したソリューションに対する誘導バイアスを注入する。 本稿では,Subtaskインダクションが,特定の一般化可能なソリューションを採用するために必要なトレーニングデータの量を大幅に削減することを示す。
  論文  参考訳（メタデータ） (2023-10-17T00:12:19Z)
• Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
  我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。 このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。 マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-14T22:24:58Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Learning Neuro-Symbolic Skills for Bilevel Planning [63.388694268198655]
  意思決定は、連続したオブジェクト中心の状態、継続的なアクション、長い地平線、まばらなフィードバックを持つロボット環境では難しい。 タスク・アンド・モーション・プランニング(TAMP)のような階層的なアプローチは、意思決定を2つ以上の抽象レベルに分解することでこれらの課題に対処する。 我々の主な貢献は、オペレーターとサンプルラーを組み合わせたパラメータ化警察の学習方法である。
  論文  参考訳（メタデータ） (2022-06-21T19:01:19Z)
• Continual Learning from Demonstration of Robotics Skills [5.573543601558405]
  ロボットに動きのスキルを教える方法は、一度に1つのスキルのトレーニングに集中する。 本稿では,ハイパーネットとニューラル常微分方程式解法を用いた実験から連続学習へのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-14T16:26:52Z)
• Steadily Learn to Drive with Virtual Memory [11.67256846037979]
  本稿では,この問題を解決するために,Learning to drive with Virtual Memory (LVM) というアルゴリズムを提案する。 LVMは、高次元情報をコンパクトな潜時状態に圧縮し、潜時ダイナミクスモデルを学び、エージェントの経験をまとめます。 LVMの有効性は、画像入力自律運転タスクによって実証される。
  論文  参考訳（メタデータ） (2021-02-16T10:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。