論文の概要: Interactive Evolution: A Neural-Symbolic Self-Training Framework For Large Language Models

• arxiv url: http://arxiv.org/abs/2406.11736v1
• Date: Mon, 17 Jun 2024 16:52:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 13:33:44.840113
• Title: Interactive Evolution: A Neural-Symbolic Self-Training Framework For Large Language Models
• Title（参考訳）: 対話的進化:大規模言語モデルのためのニューラルシンボリックな自己学習フレームワーク
• Authors: Fangzhi Xu, Qiushi Sun, Kanzhi Cheng, Jun Liu, Yu Qiao, Zhiyong Wu,
• Abstract要約: 環境誘導型ニューラルシンボリック自己学習フレームワークENVISIONSを提案する。 本研究の目的は,(1)記号データの不足,(2)記号言語処理におけるLLMの限られた習熟度という2つの課題を克服することである。
• 参考スコア（独自算出の注目度）: 31.210790277136443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the primary driving forces contributing to the superior performance of Large Language Models (LLMs) is the extensive availability of human-annotated natural language data, which is used for alignment fine-tuning. This inspired researchers to investigate self-training methods to mitigate the extensive reliance on human annotations. However, the current success of self-training has been primarily observed in natural language scenarios, rather than in the increasingly important neural-symbolic scenarios. To this end, we propose an environment-guided neural-symbolic self-training framework named ENVISIONS. It aims to overcome two main challenges: (1) the scarcity of symbolic data, and (2) the limited proficiency of LLMs in processing symbolic language. Extensive evaluations conducted on three distinct domains demonstrate the effectiveness of our approach. Additionally, we have conducted a comprehensive analysis to uncover the factors contributing to ENVISIONS's success, thereby offering valuable insights for future research in this area. Code will be available at \url{https://github.com/xufangzhi/ENVISIONS}.
• Abstract（参考訳）: LLM(Large Language Models)の優れた性能に寄与する主要な推進力の1つは、微調整のアライメントに使用される人間の注釈付き自然言語データの広範囲な利用である。 この結果、研究者は人間のアノテーションへの依存を緩和するために自己学習方法を研究するようになった。 しかし、現在の自己学習の成功は、ますます重要なニューラルシンボリックシナリオではなく、主に自然言語のシナリオで観察されている。 そこで本研究では,環境誘導型ニューラルシンボリック自己学習フレームワークENVISIONSを提案する。 本研究の目的は,(1)記号データの不足,(2)記号言語処理におけるLLMの限られた習熟度という2つの課題を克服することである。 3つの異なる領域で行った大規模な評価は、我々のアプローチの有効性を示している。 さらに,ENVISIONSの成功に寄与する要因を明らかにするための総合的な分析を実施し,今後の研究に有用な知見を提供する。 コードは \url{https://github.com/xufangzhi/ENVISIONS} で入手できる。

関連論文リスト

• Analyzing (In)Abilities of SAEs via Formal Languages [14.71170261508271]
  正規言語の合成テストベッド上でスパースオートエンコーダを訓練する。 パフォーマンスは、トレーニングパイプラインの帰納バイアスに敏感です。 我々は、因果関係がSAEトレーニングの中心的標的となる必要があると論じる。
  論文  参考訳（メタデータ） (2024-10-15T16:42:13Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
  $textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。 提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T03:40:06Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Large Language Models Are Not Strong Abstract Reasoners [12.354660792999269]
  大規模言語モデルは、さまざまな自然言語処理タスクにおいて、非常に大きなパフォーマンスを示しています。 LLMが人間のような認知能力を達成できるのか、あるいはこれらのモデルがいまだに根本から取り囲まれているのかは不明だ。 我々は,抽象的推論タスクの記憶以上の言語モデルを評価するための新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-05-31T04:50:29Z)
• Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
  AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。 我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。 AMPLIFYは,幅広いタスクに対して約10～25%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-05-19T04:46:04Z)
• On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex [48.588772371355816]
  本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。 この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
  論文  参考訳（メタデータ） (2023-01-30T13:21:00Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Improving Context Modeling in Neural Topic Segmentation [18.92944038749279]
  階層型アテンションBiLSTMネットワークに基づくセグメンタを改良し、コンテキストをモデル化する。 最適化されたセグメンタは、3つのデータセットでトレーニングとテストを行った場合、SOTAアプローチよりも優れています。
  論文  参考訳（メタデータ） (2020-10-07T03:40:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。