論文の概要: AbsInstruct: Eliciting Abstraction Ability from LLMs through Explanation
Tuning with Plausibility Estimation
- arxiv url: http://arxiv.org/abs/2402.10646v1
- Date: Fri, 16 Feb 2024 12:47:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 16:14:28.411180
- Title: AbsInstruct: Eliciting Abstraction Ability from LLMs through Explanation
Tuning with Plausibility Estimation
- Title（参考訳）: absinstruct: 可能性推定を用いた説明調整によるllmの抽象化能力の抽出
- Authors: Zhaowei Wang, Wei Fan, Qing Zong, Hongming Zhang, Sehyun Choi,
Tianqing Fang, Xin Liu, Yangqiu Song, Ginny Y. Wong, Simon See
- Abstract要約: 抽象化能力は人間の知性において不可欠であり、NLP研究における様々なタスクにも有用である。
既存の研究によると、LLMは抽象能力に欠けており、その改善方法はまだ解明されていない。
本稿では,命令チューニングによるLLMの抽象化能力を向上するフレームワークAbsInstructを設計する。
- 参考スコア（独自算出の注目度）: 62.41392852653183
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Abstraction ability is crucial in human intelligence, which can also benefit
various tasks in NLP study. Existing work shows that LLMs are deficient in
abstract ability, and how to improve it remains unexplored. In this work, we
design the framework AbsInstruct to enhance LLMs' abstraction ability through
instruction tuning. The framework builds instructions with in-depth
explanations to assist LLMs in capturing the underlying rationale of
abstraction. Meanwhile, we introduce a plausibility estimator to select
instructions that are more consistent with the abstraction knowledge of LLMs to
be aligned. Then, our framework combines abstraction instructions with
general-purpose ones to build a hybrid dataset. Extensive experiments and
analyses demonstrate that our framework can considerably enhance LLMs'
abstraction ability with strong generalization performance while maintaining
their general instruction-following abilities.
- Abstract（参考訳）: 抽象能力は人間の知性において不可欠であり、nlp研究の様々なタスクに役立つ。
既存の研究によると、LLMは抽象能力に欠けており、その改善方法はまだ解明されていない。
本研究では,命令チューニングによるLLMの抽象化能力を向上するフレームワークAbsInstructを設計する。
このフレームワークは、llmが抽象の根本的根拠を捉えるのを助けるために、詳細な説明で命令を構築する。
一方,LLMの抽象的知識とより整合した命令を選択するための可視性推定器を導入する。
そして、このフレームワークは抽象化命令と汎用命令を組み合わせてハイブリッドデータセットを構築する。
広範な実験と分析により,本フレームワークは一般的な命令追従能力を維持しつつ,llmsの抽象化能力を大幅に向上できることを示した。
関連論文リスト
- Enhancing LLM's Cognition via Structurization [41.13997892843677]
大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。
本稿では,コンテキスト構造化という新しい概念を提案する。
具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
論文 参考訳（メタデータ） (2024-07-23T12:33:58Z) - Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。
LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。
本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文 参考訳（メタデータ） (2024-06-20T13:08:09Z) - Adaptive Reinforcement Learning Planning: Harnessing Large Language Models for Complex Information Extraction [14.982446379660633]
大規模言語モデル(LLM)に関する既存の研究は、多段階計画により情報抽出タスクを解くことができることを示している。
複雑な抽出タスクを分解して段階的に抽出することで,LLMの性能を効果的に向上させることができる。
本稿では,LLMに基づく情報抽出のための2段階多段階手法を提案し,多段階計画を実行するためにRLフレームワークを採用する。
論文 参考訳（メタデータ） (2024-06-17T12:11:01Z) - Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
大規模言語モデルの自己改善のためのAlphaLLMを紹介する。
モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。
実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
論文 参考訳（メタデータ） (2024-04-18T15:21:34Z) - Meaningful Learning: Enhancing Abstract Reasoning in Large Language Models via Generic Fact Guidance [38.49506722997423]
大規模言語モデル(LLM)は、様々な推論シナリオにまたがる優れたパフォーマンスと強力な説明可能性を開発した。
LLMは、一貫した正確な答えを提供するために、一般的な事実を抽象化し、適用するのに苦労することが多い。
このことが、LSMが真に推論しているのか、単に記憶しているだけなのか、という激しい議論を巻き起こした。
論文 参考訳（メタデータ） (2024-03-14T04:06:13Z) - Towards Uncovering How Large Language Model Works: An Explainability Perspective [38.07611356855978]
大規模言語モデル(LLM)は言語タスクのブレークスルーをもたらしたが、その顕著な一般化と推論能力を実現する内部メカニズムは不透明のままである。
本稿では,LLM機能の基礎となるメカニズムを,説明可能性のレンズを通して明らかにすることを目的とする。
論文 参考訳（メタデータ） (2024-02-16T13:46:06Z) - INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。
情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。
我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
論文 参考訳（メタデータ） (2024-01-12T12:10:28Z) - AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph [62.685920585838616]
抽象能力は人間の知性において必須であり、言語モデルでは未探索のままである。
本稿では、抽象知識の221Kテキスト記述を統一したエンテーメントグラフであるAbsPyramidを提案する。
論文 参考訳（メタデータ） (2023-11-15T18:11:23Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。