論文の概要: LayerFlow: Layer-wise Exploration of LLM Embeddings using Uncertainty-aware Interlinked Projections
- arxiv url: http://arxiv.org/abs/2504.10504v1
- Date: Wed, 09 Apr 2025 12:24:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-24 12:28:51.356239
- Title: LayerFlow: Layer-wise Exploration of LLM Embeddings using Uncertainty-aware Interlinked Projections
- Title（参考訳）: LayerFlow:不確かさを意識したインターリンクプロジェクションを用いたLCM埋め込みのレイヤワイズ探索
- Authors: Rita Sevastjanova, Robin Gerling, Thilo Spinner, Mennatallah El-Assady,
- Abstract要約: LayerFlowはビジュアル分析ワークスペースで、リンクされたプロジェクション設計に埋め込みを表示する。
変換、表現、解釈の不確実性を伝達する。
提案するワークスペースのユーザビリティについて,再現性およびエキスパートケーススタディを通じて紹介する。
- 参考スコア（独自算出の注目度）: 11.252261879736102
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) represent words through contextual word embeddings encoding different language properties like semantics and syntax. Understanding these properties is crucial, especially for researchers investigating language model capabilities, employing embeddings for tasks related to text similarity, or evaluating the reasons behind token importance as measured through attribution methods. Applications for embedding exploration frequently involve dimensionality reduction techniques, which reduce high-dimensional vectors to two dimensions used as coordinates in a scatterplot. This data transformation step introduces uncertainty that can be propagated to the visual representation and influence users' interpretation of the data. To communicate such uncertainties, we present LayerFlow - a visual analytics workspace that displays embeddings in an interlinked projection design and communicates the transformation, representation, and interpretation uncertainty. In particular, to hint at potential data distortions and uncertainties, the workspace includes several visual components, such as convex hulls showing 2D and HD clusters, data point pairwise distances, cluster summaries, and projection quality metrics. We show the usability of the presented workspace through replication and expert case studies that highlight the need to communicate uncertainty through multiple visual components and different data perspectives.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、意味論や構文など、異なる言語特性をコードする文脈的な単語埋め込みを通じて、単語を表現する。
これらの特性を理解することは、特に言語モデル能力の研究、テキストの類似性に関連するタスクへの埋め込みの利用、あるいは属性法による測定によるトークンの重要性の背景にある理由を評価するために重要である。
埋め込み探索の応用には、高次元ベクトルを2次元に減らし、スキャッタープロットの座標として用いる次元の削減技術がしばしば用いられる。
このデータ変換ステップでは、視覚的表現に伝播し、ユーザのデータ解釈に影響を与える不確実性が導入される。
このような不確実性を伝えるために、私たちはLayerFlowという、相互にリンクされたプロジェクション設計に埋め込みを表示し、変換、表現、解釈の不確実性を伝えるビジュアル分析ワークスペースを紹介します。
特に、潜在的なデータの歪みや不確実性を示唆するために、ワークスペースには、2DおよびHDクラスタを示す凸殻、データポイント対距離、クラスタ要約、投影品質メトリクスなど、いくつかのビジュアルコンポーネントが含まれている。
我々は、複数の視覚的コンポーネントと異なるデータ視点を通して不確実性を伝える必要性を強調する、複製とエキスパートケーススタディを通じて提示されたワークスペースのユーザビリティを示す。
関連論文リスト
- Disentangling Linguistic Features with Dimension-Wise Analysis of Vector Embeddings [0.0]
本稿では,異なる言語特性(LP)を符号化したベクトル埋め込みの特定の次元を明らかにするための枠組みを提案する。
本稿では,同義語,否定語,時制,量などの10つの重要な言語的特徴を分離するLinguistically Distinct Sentence Pairsデータセットを紹介する。
このデータセットを用いて,様々な手法を用いてBERT埋め込みを分析し,各LPの最も影響力のある次元を同定する。
我々の研究結果は、否定や極性といった特定の性質が特定の次元で強固に符号化されている一方で、同義語のような他の性質はより複雑なパターンを示すことを示している。
論文 参考訳（メタデータ） (2025-04-20T23:38:16Z) - Mitigating Knowledge Discrepancies among Multiple Datasets for Task-agnostic Unified Face Alignment [30.501432077729245]
人間の顔の構造は似ているが、既存の顔アライメント手法では複数のデータセットから統一的な知識を学習することはできない。
本稿では,複数のデータセットから知識を統一する戦略を提案する。
相違の緩和が成功すれば、新しいデータセットへの知識伝達の効率も向上する。
論文 参考訳（メタデータ） (2025-03-28T11:59:27Z) - Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。
この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
論文 参考訳（メタデータ） (2024-11-20T13:34:22Z) - DimVis: Interpreting Visual Clusters in Dimensionality Reduction With Explainable Boosting Machine [3.2748787252933442]
DimVisは、DRプロジェクションの解釈アシスタントとして、教師付きExplainable Boosting Machine(EBM)モデルを使用するツールである。
本ツールは,視覚的クラスタにおける特徴関連性の解釈を提供することにより,高次元データ解析を容易にする。
論文 参考訳（メタデータ） (2024-02-10T04:50:36Z) - Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。
我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。
クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
論文 参考訳（メタデータ） (2023-11-19T06:00:39Z) - An Integral Projection-based Semantic Autoencoder for Zero-Shot Learning [0.46644955105516456]
ゼロショット学習(ZSL)分類は、トレーニングセットに含まれないクラス(ラベル)を分類または予測する(見えないクラス)。
近年の研究では、エンコーダが視覚的特徴空間をセマンティック空間に埋め込み、デコーダが元の視覚的特徴空間を再構成する、異なる意味的オートエンコーダ(SAE)モデルが提案されている。
本稿では,意味空間でベクトル化された視覚的特徴空間を潜在表現空間に投影する統合投影型セマンティックオートエンコーダ(IP-SAE)を提案する。
論文 参考訳（メタデータ） (2023-06-26T12:06:20Z) - Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。
視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。
人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文 参考訳（メタデータ） (2023-03-16T00:06:28Z) - Visual Perturbation-aware Collaborative Learning for Overcoming the
Language Prior Problem [60.0878532426877]
本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。
具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。
2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
論文 参考訳（メタデータ） (2022-07-24T23:50:52Z) - Exploring Dimensionality Reduction Techniques in Multilingual
Transformers [64.78260098263489]
本稿では,多言語シームス変圧器の性能に及ぼす次元還元法の影響を包括的に考察する。
これは、それぞれ91.58% pm 2.59%$と54.65% pm 32.20%$の次元を平均で減少させることが可能であることを示している。
論文 参考訳（メタデータ） (2022-04-18T17:20:55Z) - High-dimensional distributed semantic spaces for utterances [0.2907403645801429]
本稿では,発話とテキストレベルデータの高次元表現モデルについて述べる。
言語情報を表現する数学的原理と行動学的に妥当なアプローチに基づいている。
本論文は,固定次元の共通積分フレームワークにおいて,実装モデルが言語的特徴を広範囲に表すことができるかを示す。
論文 参考訳（メタデータ） (2021-04-01T12:09:47Z) - Prototypical Representation Learning for Relation Extraction [56.501332067073065]
本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。
文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。
いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-03-22T08:11:43Z) - Contrastive analysis for scatter plot-based representations of
dimensionality reduction [0.0]
本稿では,マルチ次元データセットを探索し,クラスタの形成を解釈する手法を提案する。
また,属性がクラスタ形成にどのように影響するかを理解するために使用される統計変数間の関係を視覚的に解釈し,探索する二部グラフも導入する。
論文 参考訳（メタデータ） (2021-01-26T01:16:31Z) - Understanding Spatial Relations through Multiple Modalities [78.07328342973611]
オブジェクト間の空間的関係は、空間的前置詞として表されるか、移動、歩行、移動などの空間的動詞によって表される。
画像中の2つの実体間の暗黙的・明示的な空間的関係を推定するタスクを導入する。
本研究では、テキスト情報と視覚情報の両方を用いて空間関係を予測し、物体の位置情報と大きさ情報と画像埋め込みを利用するモデルを設計する。
論文 参考訳（メタデータ） (2020-07-19T01:35:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。