Fugu-MT 論文翻訳(概要): Concept Bottleneck Large Language Models

論文の概要: Concept Bottleneck Large Language Models

arxiv url: http://arxiv.org/abs/2412.07992v2
Date: Tue, 11 Mar 2025 23:19:17 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-13 15:37:31.215595
Title: Concept Bottleneck Large Language Models
Title（参考訳）: 概念ボトルネック大言語モデル
Authors: Chung-En Sun, Tuomas Oikarinen, Berk Ustun, Tsui-Wei Weng,
Abstract要約: CB-LLMsは本質的に解釈可能な大規模言語モデルを構築するためのフレームワークである。テキスト分類とテキスト生成という2つの重要なNLPタスクに対してCB-LLMを構築する。埋め込み解釈により、ユーザーは有害なコンテンツ、ステアモデル行動、そして望ましくない概念を透過的に識別することができる。
参考スコア（独自算出の注目度）: 15.852686755743415
License:
Abstract: We introduce Concept Bottleneck Large Language Models (CB-LLMs), a novel framework for building inherently interpretable Large Language Models (LLMs). In contrast to traditional black-box LLMs that rely on limited post-hoc interpretations, CB-LLMs integrate intrinsic interpretability directly into the LLMs -- allowing accurate explanations with scalability and transparency. We build CB-LLMs for two essential NLP tasks: text classification and text generation. In text classification, CB-LLMs is competitive with, and at times outperforms, traditional black-box models while providing explicit and interpretable reasoning. For the more challenging task of text generation, interpretable neurons in CB-LLMs enable precise concept detection, controlled generation, and safer outputs. The embedded interpretability empowers users to transparently identify harmful content, steer model behavior, and unlearn undesired concepts -- significantly enhancing the safety, reliability, and trustworthiness of LLMs, which are critical capabilities notably absent in existing models. Our code is available at https://github.com/Trustworthy-ML-Lab/CB-LLMs.
Abstract（参考訳）: 本稿では,自然に解釈可能なLarge Language Model(LLM)を構築するための新しいフレームワークであるConcept Bottleneck Large Language Models (CB-LLMs)を紹介する。制限されたポストホック解釈に依存する従来のブラックボックスのLLMとは対照的に、CB-LLMは固有の解釈可能性を直接LLMに統合し、スケーラビリティと透明性の正確な説明を可能にする。テキスト分類とテキスト生成という2つの重要なNLPタスクに対してCB-LLMを構築する。テキスト分類では、CB-LLMsは明示的で解釈可能な推論を提供しながら、伝統的なブラックボックスモデルよりも優れ、時には優れる。テキスト生成のより困難なタスクでは、CB-LLMの解釈可能なニューロンは正確な概念検出、制御された生成、より安全な出力を可能にする。組み込みの解釈可能性により、ユーザは有害なコンテンツ、ステアモデル行動、未学習の概念を透過的に識別することができます。私たちのコードはhttps://github.com/Trustworthy-ML-Lab/CB-LLMsで利用可能です。

関連論文リスト

HoVLE: Unleashing the Power of Monolithic Vision-Language Models with Holistic Vision-Language Embedding [91.0552157725366]
本稿では,HoVLEという新しい高性能モノリシックVLMを提案する。視覚的入力とテキスト入力を共有空間に変換し、LLMはテキストと同じ方法で画像を処理できる。実験の結果,HoVLEは様々なベンチマークにおいて,主要な構成モデルに近い性能が得られることがわかった。
論文参考訳（メタデータ） (2024-12-20T18:59:59Z)
Liquid: Language Models are Scalable Multi-modal Generators [112.71734051183726]
Liquidは視覚的理解と生成をシームレスに統合する自動回帰生成パラダイムである。従来のマルチモーダルな大言語モデル(MLLM)とは異なり、Liquidは単一の大言語モデルを用いてこの統合を実現する。初めてLiquidは、ビジュアルタスクと言語タスクの統一トレーニングによって必然的にパフォーマンスが低下する、スケーリングの法則を明らかにした。
論文参考訳（メタデータ） (2024-12-05T16:48:16Z)
OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論するモデルの能力を厳格に評価するために設計された新しいベンチマークである。本研究の主目的は,ほとんどのOLMが3モーダル文脈における指示追従能力と推論能力に限界があることである。このギャップに対処するため、84.5KのトレーニングサンプルであるOmniInstructの命令チューニングデータセットをキュレートし、OLMをマルチモーダルなコンテキストに適応させる。
論文参考訳（メタデータ） (2024-09-23T17:59:05Z)
ULLME: A Unified Framework for Large Language Model Embeddings with Generation-Augmented Learning [72.90823351726374]
我々は,LLM間の双方向の注目を可能にする,柔軟でプラグアンドプレイな実装であるLULME(Unified framework for Large Language Model Embedding)を紹介した。また,テキスト埋め込みタスクのLLMを向上する新しい微調整手法であるGRL(Generation-augmented Representation Learning)を提案する。フレームワークの柔軟性と有効性を示すために、異なるバックボーンアーキテクチャを持つULLMEから事前訓練された3つのモデルをリリースする。
論文参考訳（メタデータ） (2024-08-06T18:53:54Z)
Crafting Large Language Models for Enhanced Interpretability [11.453164927352615]
Concept Bottleneck Large Language Model (CB-LLM)は、本質的に解釈可能なLarge Language Model(LLM)を作成するための先駆的なアプローチである。 CB-LLMは、その解釈可能性、スケーラビリティ、明確で正確な説明を提供する能力を備えた新しい標準を定めている。
論文参考訳（メタデータ） (2024-07-05T07:22:44Z)
Generative Text Steganography with Large Language Model [10.572149957139736]
LLM-Stegaと呼ばれる大規模言語モデルのユーザインタフェースに基づくブラックボックス生成テキストステガノグラフィー手法。まず、キーワードセットを構築し、秘密メッセージを埋め込むための新しい暗号化されたステガノグラフマッピングを設計する。総合的な実験により、LLM-Stegaは現在の最先端手法よりも優れていることが示された。
論文参考訳（メタデータ） (2024-04-16T02:19:28Z)
RecExplainer: Aligning Large Language Models for Explaining Recommendation Models [50.74181089742969]
大規模言語モデル (LLM) は、理解、推論、指導において顕著な知性を示した。本稿では, ブラックボックスレコメンデータモデルを説明するために, LLM を代理モデルとして利用することについて検討する。効果的なアライメントを容易にするために,行動アライメント,意図アライメント,ハイブリッドアライメントという3つの手法を導入する。
論文参考訳（メタデータ） (2023-11-18T03:05:43Z)
Proto-lm: A Prototypical Network-Based Framework for Built-in Interpretability in Large Language Models [27.841725567976315]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させてきたが、その解釈可能性の欠如が大きな関心事となっている。本稿では,LLMが即座に解釈可能な埋め込みを学習できるネットワークベースのホワイトボックスフレームワークであるproto-lmを紹介する。提案手法の適用性と解釈性は,幅広いNLPタスクの実験を通じて実証され,性能を犠牲にすることなく解釈可能なモデルを作成する新たな可能性を示す。
論文参考訳（メタデータ） (2023-11-03T05:55:32Z)
Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文参考訳（メタデータ） (2023-10-10T03:06:38Z)
Towards LLM-guided Causal Explainability for Black-box Text Classifiers [16.36602400590088]
我々は,近年の大規模言語モデルにおける命令追従とテキスト理解機能を活用して,因果的説明可能性を高めることを目指している。提案する3ステップパイプラインは,既製のLCMを用いて,入力テキスト中の潜時的・未観測な特徴を識別する。我々は,複数のNLPテキスト分類データセットを用いたパイプライン実験を行い,興味深い,有望な結果を示した。
論文参考訳（メタデータ） (2023-09-23T11:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。