このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20240629となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 協調の教訓:運転シミュレータによるリアルタイム諮問システムに対する運転感の質的分析
Lessons in Cooperation: A Qualitative Analysis of Driver Sentiments towards Real-Time Advisory Systems from a Driving Simulator User Study ( http://arxiv.org/abs/2407.13775v1 ) ライセンス: Link先を確認 | Aamir Hasan, Neeloy Chakraborty, Haonan Chen, Cathy Wu, Katherine Driggs-Campbell, | (参考訳) リアルタイムアドバイザリー(RTA)システム、例えばナビゲーションやエコドライブアシスタントは、ユーザーや社会に利益をもたらすため、車内でますます普及している。
自動運転車が成熟するまで、このようなアドバイザリシステムはドライバーと協力し、より安全でエコフレンドリーな運転のプラクティスを可能にし、ユーザー体験を改善していく。
しかし、これらのシステムとドライバ間の相互作用は広く研究されていない。
この目的のために、運転シミュレーター(N=16)を用いて、協調RTAシステムに対する運転者の反応を捉える。
渋滞軽減アシスタントを用いたケーススタディを通じて,アドバイザリシステムに対するドライバの感情を質的に分析し,インタラクションのさまざまな側面についてドライバの嗜好について議論する。
我々は、アドバイスがどのようにコミュニケーションされるべきか、アドバイスがドライバーの信頼に与える影響、そしてドライバーがシステムにどのように適応するかについてコメントする。
本稿では,協調RTAシステムの今後の設計について報告する。
Real-time Advisory (RTA) systems, such as navigational and eco-driving assistants, are becoming increasingly ubiquitous in vehicles due to their benefits for users and society. Until autonomous vehicles mature, such advisory systems will continue to expand their ability to cooperate with drivers, enabling safer and more eco-friendly driving practices while improving user experience. However, the interactions between these systems and drivers have not been studied extensively. To this end, we conduct a driving simulator study (N=16) to capture driver reactions to a Cooperative RTA system. Through a case study with a congestion mitigation assistant, we qualitatively analyze the sentiments of drivers towards advisory systems and discuss driver preferences for various aspects of the interaction. We comment on how the advice should be communicated, the effects of the advice on driver trust, and how drivers adapt to the system. We present recommendations to inform the future design of Cooperative RTA systems. | 翻訳日:2024-07-28 18:48:53 公開日:2024-06-29 |
| # ChatGPTによる都市視覚の魅力 - AIと人間の洞察の対比
Urban Visual Appeal According to ChatGPT: Contrasting AI and Human Insights ( http://arxiv.org/abs/2407.14268v1 ) ライセンス: Link先を確認 | Milad Malekzadeh, Elias Willberg, Jussi Torkko, Tuuli Toivonen, | (参考訳) 都市環境の視覚的魅力は、住民の生活空間に対する満足度に大きく影響し、その全体の気分は、その健康と幸福に影響を及ぼす。
人口調査や住民からの問い合わせを通じて、市街地の視覚的魅力評価を収集する資源集約性を考えると、このプロセスを合理化し、空間計画を支援するための自動解法が常に求められている。
本研究では,フィンランド・ヘルシンキの1,800点以上のGoogleストリートビュー画像を用いて,市販のAIモデルを都市視覚の魅力分析に応用した。
GPT-4モデルを特定の基準に組み込むことで,これらの画像の評価を行った。
同時に、24人の参加者が画像の評価を依頼された。
地域差は認めなかったが, GPT-4と受講者評価との間には強い相関が認められた。
特に, GPT-4では, 緑化が顕著な郊外部が好まれる傾向がみられた。
逆に、市中心部とヘルシンキの人口密度の高い都市部では、GPT-4は受験者格付けよりも低い視覚的魅力スコアを割り当てた。
様々な場所でAIと人間の評価の間には一般的な合意があったが、GPT-4は、都市環境の文脈と特徴の両方を考慮する参加者とは異なり、文脈的ニュアンスを評価に組み込むのに苦労した。
この研究は、GPT-4のようなAIモデルを活用することで、空間プランナーは、異なる領域の視覚的魅力についての洞察を効率よく収集し、居住者や旅行者の満足度とメンタルヘルスを高める決定を支援することができることを示唆している。
AIモデルは貴重な洞察を提供するが、都市の視覚的魅力の包括的理解には人間の視点が不可欠である。
これにより、計画と設計の決定が健全な生活環境を効果的に促進することを保証する。
The visual appeal of urban environments significantly impacts residents' satisfaction with their living spaces and their overall mood, which in turn, affects their health and well-being. Given the resource-intensive nature of gathering evaluations on urban visual appeal through surveys or inquiries from residents, there is a constant quest for automated solutions to streamline this process and support spatial planning. In this study, we applied an off-the-shelf AI model to automate the analysis of urban visual appeal, using over 1,800 Google Street View images of Helsinki, Finland. By incorporating the GPT-4 model with specified criteria, we assessed these images. Simultaneously, 24 participants were asked to rate the images. Our results demonstrated a strong alignment between GPT-4 and participant ratings, although geographic disparities were noted. Specifically, GPT-4 showed a preference for suburban areas with significant greenery, contrasting with participants who found these areas less appealing. Conversely, in the city centre and densely populated urban regions of Helsinki, GPT-4 assigned lower visual appeal scores than participant ratings. While there was general agreement between AI and human assessments across various locations, GPT-4 struggled to incorporate contextual nuances into its ratings, unlike participants, who considered both context and features of the urban environment. The study suggests that leveraging AI models like GPT-4 allows spatial planners to gather insights into the visual appeal of different areas efficiently, aiding decisions that enhance residents' and travellers' satisfaction and mental health. Although AI models provide valuable insights, human perspectives are essential for a comprehensive understanding of urban visual appeal. This will ensure that planning and design decisions promote healthy living environments effectively. | 翻訳日:2024-07-28 18:48:53 公開日:2024-06-29 |
| # T-Hop:化学特性予測のための分子グラフにおける重要経路情報の研究フレームワーク
T- Hop: A framework for studying the importance path information in molecular graphs for chemical property prediction ( http://arxiv.org/abs/2407.14270v1 ) ライセンス: Link先を確認 | Abdulrahman Ibraheem, Narsis Kiani, Jesper Tegner, | (参考訳) 本稿では,QSAR(Quantitative Structure-Activity Relationship)領域における分子グラフから化学特性を予測するための経路情報の導入の有用性について検討する。
そこで我々は,経路情報を含む非退化モードと,経路情報を残す退化モードの2つのモードのうちの1つをトグルで操作できるGNNスタイルのモデルを開発した。
そこで本研究では,非退化モードと関連するQSARデータセットの退化モードの性能を比較することにより,これらのデータセットにおける経路情報の重要性を直接評価することができた。
本研究は,経路情報の有用性がデータセットに依存していることを示すことによって,過去の成果を裏付けるものである。
しかし、以前の研究とは異なり、パス情報が与えられたデータセットに有用かどうかを事前に予測できるモデルを構築するための第一歩を踏み出した。
さらに,その単純さにもかかわらず,モデルの退化モードは意外な結果となり,特定の場合においてより洗練されたSOTAモデルよりも優れた結果が得られた。
This paper studies the usefulness of incorporating path information in predicting chemical properties from molecular graphs, in the domain of QSAR (Quantitative Structure-Activity Relationship). Towards this, we developed a GNN-style model which can be toggled to operate in one of two modes: a non-degenerate mode which incorporates path information, and a degenerate mode which leaves out path information. Thus, by comparing the performance of the non-degenerate mode versus the degenerate mode on relevant QSAR datasets, we were able to directly assess the significance of path information on those datasets. Our results corroborate previous works, by suggesting that the usefulness of path information is datasetdependent. Unlike previous studies however, we took the very first steps towards building a model that could predict upfront whether or not path information would be useful for a given dataset at hand. Moreover, we also found that, albeit its simplicity, the degenerate mode of our model yielded rather surprising results, which outperformed more sophisticated SOTA models in certain cases. | 翻訳日:2024-07-28 18:48:53 公開日:2024-06-29 |
| # プログラミング・アサインメントの協調によるプラジャイナリズムに対する人格特性の影響
Influence of Personality Traits on Plagiarism Through Collusion in Programming Assignments ( http://arxiv.org/abs/2407.15014v1 ) ライセンス: Link先を確認 | Parthasarathy PD, Ishaan Kapoor, Swaroop Joshi, Sujith Thomas, | (参考訳) 学生に学術的整合性への期待を教育することは、家庭内プログラミングの課題における誤った実践を減らす方法の1つとして提案されている。
インドにある大学で105人の参加者(N=105)からなる人工知能コースから収集したデータを用いて、この仮説を検証した。
AIコースには2つのプログラミング課題があった。
共謀によるプラジャリズムは、ソフトウェア類似度測定(MOSS)ツールを用いて定量化された。
学生は、学業上の不利益を構成するものについて教育を受け、第二のホームプログラミングの開始前に名誉な誓いをしなければならない。
2つのプログラミング課題は新しく、インターネット上で利用できるソリューションがなかった。
同様のコードの平均パーセンテージは、第2のプログラムの割り当てで大幅に低下すると予想しました。
しかし,本研究の結果は,2つのプログラミング課題において,類似するコード行の平均パーセンテージに有意な差は認められなかった。
また,ビッグ5の性格特性が2つのテイクホーム課題における盗作行為の正当性にどのように影響するかについても検討した。
両課題にまたがる結果から,ビッグファイブの性格の転向特性は肯定的な相関を示し,良心性特性は盗作傾向と負の相関を示すことが明らかとなった。
以上の結果から,学生が盗作の機会を享受できる限り,学術的整合性について学生に教育する方針は限定的な影響を与えることが示唆された。
フラッド三角形モデルを用いて結果を説明する。
Educating students about academic integrity expectations has been suggested as one of the ways to reduce malpractice in take-home programming assignments. We test this hypothesis using data collected from an artificial intelligence course with 105 participants (N=105) at a university in India. The AI course had two programming assignments. Plagiarism through collusion was quantified using the Measure of Software Similarity (MOSS) tool. Students were educated about what constitutes academic dishonesty and were required to take an honor pledge before the start of the second take-home programming assignment. The two programming assignments were novel and did not have solutions available on the internet. We expected the mean percentage of similar lines of code to be significantly less in the second programming assignment. However, our results show no significant difference in the mean percentage of similar lines of code across the two programming assignments. We also study how the Big-five personality traits affect the propensity for plagiarism in the two take-home assignments. Our results across both assignments show that the extraversion trait of the Big Five personality exhibits a positive association, and the conscientiousness trait exhibits a negative association with plagiarism tendencies. Our result suggests that the policy of educating students about academic integrity will have a limited impact as long as students perceive an opportunity for plagiarism to be present. We explain our results using the Fraud triangle model. | 翻訳日:2024-07-28 18:39:09 公開日:2024-06-29 |
| # FOXANN: ニューラルネットワークの性能向上手法
FOXANN: A Method for Boosting Neural Network Performance ( http://arxiv.org/abs/2407.03369v1 ) ライセンス: Link先を確認 | Mahmood A. Jumaah, Yossra H. Ali, Tarik A. Rashid, S. Vimal, | (参考訳) 人工知能は機械学習において重要な役割を担い、パフォーマンスを改善する必要がある。
本稿では,最近開発されたFoxオプティマイザとANNを組み合わせた新しい分類モデルFOXANNを提案する。
Fox Optimizationrは、ANNのバックプロパゲーションアルゴリズムを置き換え、シナプス重みを最適化し、最小損失で高い分類精度を達成し、モデルの一般化を改善し、解釈可能性を向上させる。
FOXANNのパフォーマンスは、Iris Flower、Breaast Cancer Wisconsin、Wineの3つの標準データセットで評価されている。
本論文は,10倍のクロスバリデーションを用いた100のエポックから抽出し,すべてのデータセットがトレーニングおよび検証段階の両方に関与していることを確認した。
さらに,FOXANNはABC-ANN,ABC-MNN,CROANN,PSO-DNNなどの文献で提案されている従来のANNおよびロジスティック回帰法よりも優れており,精度は0.9969,検証損失は0.0028であった。
これらの結果は、FOXANNが従来の手法や標準データセットにまたがる他のモデルよりも効果的であることを示している。
したがって、FOXANNはMLアルゴリズムの課題に効果的に対処し、分類性能を向上させる。
Artificial neural networks play a crucial role in machine learning and there is a need to improve their performance. This paper presents FOXANN, a novel classification model that combines the recently developed Fox optimizer with ANN to solve ML problems. Fox optimizer replaces the backpropagation algorithm in ANN; optimizes synaptic weights; and achieves high classification accuracy with a minimum loss, improved model generalization, and interpretability. The performance of FOXANN is evaluated on three standard datasets: Iris Flower, Breast Cancer Wisconsin, and Wine. The results presented in this paper are derived from 100 epochs using 10-fold cross-validation, ensuring that all dataset samples are involved in both the training and validation stages. Moreover, the results show that FOXANN outperforms traditional ANN and logistic regression methods as well as other models proposed in the literature such as ABC-ANN, ABC-MNN, CROANN, and PSO-DNN, achieving a higher accuracy of 0.9969 and a lower validation loss of 0.0028. These results demonstrate that FOXANN is more effective than traditional methods and other proposed models across standard datasets. Thus, FOXANN effectively addresses the challenges in ML algorithms and improves classification performance. | 翻訳日:2024-07-22 22:09:04 公開日:2024-06-29 |
| # 衛星テレメトリにおける異常検出のためのOPS-SATベンチマーク
The OPS-SAT benchmark for detecting anomalies in satellite telemetry ( http://arxiv.org/abs/2407.04730v1 ) ライセンス: Link先を確認 | Bogdan Ruszczak, Krzysztof Kotowski, David Evans, Jakub Nalepa, | (参考訳) 衛星テレメトリーにおける異常事象の検出は、宇宙活動において重要な課題である。
しかし、このタスクは非常に時間がかかり、エラーが発生し、人間に依存しているため、自動データ駆動の異常検出アルゴリズムは安定したペースで出現している。
しかし、実際の衛星テレメトリのデータセットは公開されておらず、地上の真実のアノテーションを伴って、異常検出監視モデルのトレーニングと検証に使用できる。
本稿では,欧州宇宙機関(ESA)が2024年5月22-23日の夜に実施したキューブサットミッションであるOPS-SATで取得したテレメトリデータを含む,AI対応ベンチマークデータセット(OPSSAT-AD)を紹介する。
データセットには、異常検出のための30の教師付き、教師なしの古典的および深層機械学習アルゴリズムを使用して得られるベースライン結果が添付されている。
本研究で導入されたトレーニング-テストデータセットスプリットを用いて、トレーニングと検証を行い、OPSSAT-ADを利用して、新しい検出アルゴリズムに対応するために常に計算すべき品質指標のセットを提案する。
我々は、この研究が、不偏で完全に透明な方法で出現する異常検出技術の能力の定量化に使用できる、公正で再現可能な客観的な検証手順を構築するための重要なステップになると信じている。
Detecting anomalous events in satellite telemetry is a critical task in space operations. This task, however, is extremely time-consuming, error-prone and human dependent, thus automated data-driven anomaly detection algorithms have been emerging at a steady pace. However, there are no publicly available datasets of real satellite telemetry accompanied with the ground-truth annotations that could be used to train and verify anomaly detection supervised models. In this article, we address this research gap and introduce the AI-ready benchmark dataset (OPSSAT-AD) containing the telemetry data acquired on board OPS-SAT -- a CubeSat mission which has been operated by the European Space Agency which has come to an end during the night of 22--23 May 2024 (CEST). The dataset is accompanied with the baseline results obtained using 30 supervised and unsupervised classic and deep machine learning algorithms for anomaly detection. They were trained and validated using the training-test dataset split introduced in this work, and we present a suggested set of quality metrics which should be always calculated to confront the new algorithms for anomaly detection while exploiting OPSSAT-AD. We believe that this work may become an important step toward building a fair, reproducible and objective validation procedure that can be used to quantify the capabilities of the emerging anomaly detection techniques in an unbiased and fully transparent way. | 翻訳日:2024-07-22 16:25:52 公開日:2024-06-29 |
| # PhishNet: XGBoostを使ったフィッシングWebサイト検出ツール
PhishNet: A Phishing Website Detection Tool using XGBoost ( http://arxiv.org/abs/2407.04732v1 ) ライセンス: Link先を確認 | Prashant Kumar, Kevin Antony, Deepakmoney Banga, Arshpreet Sohal, | (参考訳) PhisNetは最先端のWebアプリケーションで、高度な機械学習を使ってフィッシングサイトを検出するように設計されている。
個人や組織が堅牢なAIフレームワークを通じてフィッシング攻撃を特定し予防することを目的としている。
PhisNetはPythonを使用して、さまざまな機械学習アルゴリズムと特徴抽出技術を高精度かつ効率的に適用している。
プロジェクトはまず、フィッシングと正当なサイトの両方からなる、URLの包括的なデータセットを収集し、前処理することから始まる。
モデルを効果的に訓練するために、URL長、特殊文字、ドメイン年齢などの重要な特徴を抽出する。
ロジスティック回帰、決定木、ニューラルネットワークを含む複数の機械学習アルゴリズムを評価し、フィッシング検出における最高のパフォーマンスを決定する。
モデルは精度、精度、リコール、F1スコアなどのメトリクスを最適化するために微調整され、一般的なフィッシング戦術と洗練されたフィッシング戦術の両方を確実に検出する。
PhisNetのWebアプリケーションはReact.jsを使って開発されており、クライアントサイドのレンダリングとバックエンドサービスとのスムーズな統合を可能にし、応答性とユーザフレンドリなインターフェースを作成することができる。
ユーザは、データを処理し、リアルタイムで結果を提供する堅牢なバックエンドインフラストラクチャのおかげで、URLを入力し、信頼スコアで即時予測を受け取ることができる。
このモデルは、計算能力とスケーラビリティのためにGoogle ColabとAWS EC2を使用してデプロイされる。
要約すると、PhysNetはサイバーセキュリティの大幅な進歩を表しており、ユーザーのセキュリティを高めるために機械学習とWeb開発技術の効果的な利用を示している。
ユーザーはフィッシング攻撃を防ぎ、サイバーセキュリティを変革するAIの可能性を強調することができる。
PhisNet is a cutting-edge web application designed to detect phishing websites using advanced machine learning. It aims to help individuals and organizations identify and prevent phishing attacks through a robust AI framework. PhisNet utilizes Python to apply various machine learning algorithms and feature extraction techniques for high accuracy and efficiency. The project starts by collecting and preprocessing a comprehensive dataset of URLs, comprising both phishing and legitimate sites. Key features such as URL length, special characters, and domain age are extracted to effectively train the model. Multiple machine learning algorithms, including logistic regression, decision trees, and neural networks, are evaluated to determine the best performance in phishing detection. The model is finely tuned to optimize metrics like accuracy, precision, recall, and the F1 score, ensuring reliable detection of both common and sophisticated phishing tactics. PhisNet's web application is developed using React.js, which allows for client-side rendering and smooth integration with backend services, creating a responsive and user-friendly interface. Users can input URLs and receive immediate predictions with confidence scores, thanks to a robust backend infrastructure that processes data and provides real-time results. The model is deployed using Google Colab and AWS EC2 for their computational power and scalability, ensuring the application remains accessible and functional under varying loads. In summary, PhisNet represents a significant advancement in cybersecurity, showcasing the effective use of machine learning and web development technologies to enhance user security. It empowers users to prevent phishing attacks and highlights AI's potential in transforming cybersecurity. | 翻訳日:2024-07-22 16:25:52 公開日:2024-06-29 |
| # H-STAR: LLM駆動型ハイブリッドSQL-Text Adaptive Reasoning on Tables
H-STAR: LLM-driven Hybrid SQL-Text Adaptive Reasoning on Tables ( http://arxiv.org/abs/2407.05952v1 ) ライセンス: Link先を確認 | Nikhil Abhyankar, Vivek Gupta, Dan Roth, Chandan K. Reddy, | (参考訳) タブラル推論は構造化テーブルに対して非構造化クエリを解釈し、テキスト理解とシンボリック推論の合成を必要とする。
既存の手法はどちらのアプローチにも依存しており、それぞれの制限によって制約される。
テキスト推論は、シンボリック推論(SQL論理)とは異なり、意味論的解釈において優れているが、SQLが優れている数学的推論では不足している。
本稿では,表抽出と適応推論を組み合わせた新しいアルゴリズムH-STARを提案する。
H-STARは、エビデンス抽出を強化するために、ステップバイステップの行と列の検索を取り入れたマルチビューアプローチを採用している。
また、質問型に基づく推論戦略、量的および論理的タスクのシンボリック推論、直接的なルックアップと複雑な語彙的クエリのセマンティック推論を適用する。
我々の広範な実験により,H-STARは3つの表付き質問回答(QA)と事実検証データセットで最先端の手法を大幅に上回り,その有効性と効率性を実証した。
Tabular reasoning involves interpreting unstructured queries against structured tables, requiring a synthesis of textual understanding and symbolic reasoning. Existing methods rely on either of the approaches and are constrained by their respective limitations. Textual reasoning excels in semantic interpretation unlike symbolic reasoning (SQL logic), but falls short in mathematical reasoning where SQL excels. In this paper, we introduce a novel algorithm H-STAR, comprising table extraction and adaptive reasoning, integrating both symbolic and semantic (text-based) approaches. To enhance evidence extraction, H-STAR employs a multi-view approach, incorporating step-by-step row and column retrieval. It also adapts reasoning strategies based on question types, utilizing symbolic reasoning for quantitative and logical tasks, and semantic reasoning for direct lookup and complex lexical queries. Our extensive experiments demonstrate that H-STAR significantly outperforms state-of-the-art methods across three tabular question-answering (QA) and fact-verification datasets, underscoring its effectiveness and efficiency. | 翻訳日:2024-07-22 14:19:18 公開日:2024-06-29 |
| # ScIDL(Science-Informed Deep Learning)と無線通信への応用
Science-Informed Deep Learning (ScIDL) With Applications to Wireless Communications ( http://arxiv.org/abs/2407.07742v1 ) ライセンス: Link先を確認 | Atefeh Termehchi, Ekram Hossain, Isaac Woungang, | (参考訳) ディープラーニング(DL)によって提供される広範囲で成長する能力を考えると、次世代(xG)通信における複雑な課題に対処するために、多くの研究者がDLに目を向けている。
しかし、その進歩にもかかわらず、DLはますます明らかになりつつあるいくつかの制限も明らかにしている。
重要な問題のひとつは、特に安全性に敏感なアプリケーションにとって重要な、解釈可能性の欠如である。
もう1つの重要な考慮事項は、DLが信頼性のあるDLに不可欠な物理法則や所定のセキュリティ基準に従わないことである。
さらに、DLモデルは訓練データ分布の外で苦戦することが多く、これは一般化の貧弱さとして知られている。
さらに、DLアルゴリズムの設計に関する理論的ガイダンスは乏しい。
これらの課題は、ScIDL(Science-informed DL)として知られる新興分野の出現を促している。
ScIDLは、既存の科学知識をDL技術と統合し、より強力なアルゴリズムを開発することを目的としている。
この記事の中核となる目的は、ScidLに関する簡単なチュートリアルを提供することで、そのビルディングブロックを図示し、従来のDLと区別することです。
さらに、ScidLの最近の応用と、無線通信分野における今後の研究方向性についても論じる。
Given the extensive and growing capabilities offered by deep learning (DL), more researchers are turning to DL to address complex challenges in next-generation (xG) communications. However, despite its progress, DL also reveals several limitations that are becoming increasingly evident. One significant issue is its lack of interpretability, which is especially critical for safety-sensitive applications. Another significant consideration is that DL may not comply with the constraints set by physics laws or given security standards, which are essential for reliable DL. Additionally, DL models often struggle outside their training data distributions, which is known as poor generalization. Moreover, there is a scarcity of theoretical guidance on designing DL algorithms. These challenges have prompted the emergence of a burgeoning field known as science-informed DL (ScIDL). ScIDL aims to integrate existing scientific knowledge with DL techniques to develop more powerful algorithms. The core objective of this article is to provide a brief tutorial on ScIDL that illustrates its building blocks and distinguishes it from conventional DL. Furthermore, we discuss both recent applications of ScIDL and potential future research directions in the field of wireless communications. | 翻訳日:2024-07-22 13:58:01 公開日:2024-06-29 |
| # 多目的最適化の妥当性と影響の解明--複雑な実世界の問題を解決するアルゴリズム・応用・動向
Unraveling the Versatility and Impact of Multi-Objective Optimization: Algorithms, Applications, and Trends for Solving Complex Real-World Problems ( http://arxiv.org/abs/2407.08754v1 ) ライセンス: Link先を確認 | Noor A. Rashed, Yossra H. Ali, Tarik A. Rashid, A. Salih, | (参考訳) 近年, 物流, 金融, 環境管理, 工学といった様々な分野において, 現実の問題を解決する可能性から, 多目的最適化(MOO)技術が普及している。
これらのテクニックは、従来の単目的アプローチでは提供できない包括的なソリューションを提供します。
多くの革新的なアルゴリズムのおかげで、研究者が問題を解くのに最適なアルゴリズムを選択することは難しかった。
本稿では,最近開発されたMOOアルゴリズムについて検討する。
MOOはParetoの最適性とトレードオフ分析とともに導入された。
実世界のケーススタディでは、MOOアルゴリズムは複雑な意思決定課題に対処する。
本稿では,多目的最適化研究におけるアルゴリズム手法,応用,動向,課題について検討する。
本総括レビューでは,MOOアルゴリズムとその手法,および実世界の問題への応用について解説する。
本稿はMOO研究のさらなる発展をめざすものである。
特定の方法を選択することは、自然最適化問題、利用可能な計算資源、最適化タスクの特定の目的に依存する。
Multi-Objective Optimization (MOO) techniques have become increasingly popular in recent years due to their potential for solving real-world problems in various fields, such as logistics, finance, environmental management, and engineering. These techniques offer comprehensive solutions that traditional single-objective approaches fail to provide. Due to the many innovative algorithms, it has been challenging for researchers to choose the optimal algorithms for solving their problems. This paper examines recently developed MOO-based algorithms. MOO is introduced along with Pareto optimality and trade-off analysis. In real-world case studies, MOO algorithms address complicated decision-making challenges. This paper examines algorithmic methods, applications, trends, and issues in multi-objective optimization research. This exhaustive review explains MOO algorithms, their methods, and their applications to real-world problems. This paper aims to contribute further advancements in MOO research. No singular strategy is superior; instead, selecting a particular method depends on the natural optimization problem, the computational resources available, and the specific objectives of the optimization tasks. | 翻訳日:2024-07-22 13:48:17 公開日:2024-06-29 |
| # 金融の深層強化学習戦略:資産保有・取引行動・購入多様性への視点
Deep Reinforcement Learning Strategies in Finance: Insights into Asset Holding, Trading Behavior, and Purchase Diversity ( http://arxiv.org/abs/2407.09557v1 ) ライセンス: Link先を確認 | Alireza Mohammadshafie, Akram Mirzaeinia, Haseebullah Jumakhan, Amir Mirzaeinia, | (参考訳) 近年の金融における深層強化学習(DRL)手法は有望な成果を示している。
しかし、これらのDRLアルゴリズムの挙動を調べた研究は限られている。
本稿は、金融資産の保有・取引に対する傾向と、購入の多様性について考察することを目的とする。
取引行動を分析することにより、金融アプリケーションにおけるDRLモデルの意思決定プロセスに関する洞察を提供する。
以上の結果から,各DRLアルゴリズムは独自の取引パターンと戦略を示し,A2Cが累積報酬のトップパフォーマーとして出現していることがわかった。
PPOとSACは少数の株式と重要な取引を行っているが、DDPGとTD3はよりバランスの取れたアプローチを採用している。
さらに, SACおよびPPOは, DDPG, A2C, TD3は長期持続する傾向がみられたが, DDPG, A2C, TD3は長期持続する傾向を示した。
Recent deep reinforcement learning (DRL) methods in finance show promising outcomes. However, there is limited research examining the behavior of these DRL algorithms. This paper aims to investigate their tendencies towards holding or trading financial assets as well as purchase diversity. By analyzing their trading behaviors, we provide insights into the decision-making processes of DRL models in finance applications. Our findings reveal that each DRL algorithm exhibits unique trading patterns and strategies, with A2C emerging as the top performer in terms of cumulative rewards. While PPO and SAC engage in significant trades with a limited number of stocks, DDPG and TD3 adopt a more balanced approach. Furthermore, SAC and PPO tend to hold positions for shorter durations, whereas DDPG, A2C, and TD3 display a propensity to remain stationary for extended periods. | 翻訳日:2024-07-22 13:08:55 公開日:2024-06-29 |
| # AIライクネス生成のハームス分類を目指して
Towards a Harms Taxonomy of AI Likeness Generation ( http://arxiv.org/abs/2407.12030v1 ) ライセンス: Link先を確認 | Ben Bariach, Bernie Hogan, Keegan McBride, | (参考訳) 生成的人工知能モデルは、十分な数の人の画像に基づいて訓練されると、識別された特徴をフォトリアリスティックな方法で再現することができる。
この過程を「類似生成」と呼ぶ。
類似度を特徴とする合成出力は、制御や同意なしに人の類似度を示すことが多く、有害な結果をもたらす可能性がある。
本稿では,創発的類似性を取り巻く哲学的・政策的問題について考察する。
それは、生成システムによって導入された新しい能力を調べることによって、類似性の生成を理解するための概念的なフレームワークを提供することから始まる。
この論文は、法文学における歴史的発展を辿ることで、類似性の定義を確立している。
本研究は,本研究の基盤として,関連文献の包括的メタ分析から得られた,生成した類似性に関連する害の分類を提示する。
この分類分類は、7つの異なるグループに分類され、共通の特徴によって統一される。
この分類を利用して、適切な軽減策の展開に対処する必要がある様々な考察を提起する。
類似性の創造と流通の両方に関わる利害関係者の多さを考えると、索引的充足、生成と分布の区別、文脈固有の性質を持つものとしての害などの概念を導入する。
この研究は、産業、政策立案者、そして将来の学術研究者が、類似性の発生によって引き起こされる社会的課題に対処する努力に役立てることを目的としている。
Generative artificial intelligence models, when trained on a sufficient number of a person's images, can replicate their identifying features in a photorealistic manner. We refer to this process as 'likeness generation'. Likeness-featuring synthetic outputs often present a person's likeness without their control or consent, and may lead to harmful consequences. This paper explores philosophical and policy issues surrounding generated likeness. It begins by offering a conceptual framework for understanding likeness generation by examining the novel capabilities introduced by generative systems. The paper then establishes a definition of likeness by tracing its historical development in legal literature. Building on this foundation, we present a taxonomy of harms associated with generated likeness, derived from a comprehensive meta-analysis of relevant literature. This taxonomy categorises harms into seven distinct groups, unified by shared characteristics. Utilising this taxonomy, we raise various considerations that need to be addressed for the deployment of appropriate mitigations. Given the multitude of stakeholders involved in both the creation and distribution of likeness, we introduce concepts such as indexical sufficiency, a distinction between generation and distribution, and harms as having a context-specific nature. This work aims to serve industry, policymakers, and future academic researchers in their efforts to address the societal challenges posed by likeness generation. | 翻訳日:2024-07-22 11:20:27 公開日:2024-06-29 |
| # 重み付き制約サンプリングおよび重み付きモデルカウントのための量子アルゴリズム
Quantum Algorithms for Weighted Constrained Sampling and Weighted Model Counting ( http://arxiv.org/abs/2407.12816v1 ) ライセンス: Link先を確認 | Fabrizio Riguzzi, | (参考訳) 重み付き制約サンプリングと重み付きモデルカウントの問題を考察し、各世界に命題式と重みを与える。
第1の問題は、式が満たされていると仮定して、その重量に比例する確率でサンプリングされた世界から成り立っている。
後者は公式のモデルの重みの和を計算する問題である。
どちらも確率論的推論、グラフィカルモデル、統計物理学、統計学、ハードウェア検証など多くの分野で応用されている。
本稿では,重み付き制約サンプリングと重み付きモデルカウントを行う量子アルゴリズムであるQWCSとQWMCを提案する。
どちらも重みを考慮に入れた量子探索/量子モデルカウントアルゴリズムに基づいている。
ここで$n$はブール変数の数で$\text{WMC}$は0から1の重み付けされたモデルの数で正規化され、古典的なアルゴリズムは$\Omega(1/\text{WMC})$である。
QWMCは$\Theta(2^{\frac{n}{2}})$ Oracle calssを取るが、古典的には$\Theta(2^n)$である。
We consider the problems of weighted constrained sampling and weighted model counting, where we are given a propositional formula and a weight for each world. The first problem consists of sampling worlds with a probability proportional to their weight given that the formula is satisfied. The latter is the problem of computing the sum of the weights of the models of the formula. Both have applications in many fields such as probabilistic reasoning, graphical models, statistical physics, statistics and hardware verification. In this article, we propose QWCS and QWMC, quantum algorithms for performing weighted constrained sampling and weighted model counting, respectively. Both are based on the quantum search/quantum model counting algorithms that are modified to take into account the weights. In the black box model of computation, where we can only query an oracle for evaluating the Boolean function given an assignment, QWCS requires $O(2^{\frac{n}{2}}+1/\sqrt{\text{WMC}})$ oracle calls, where where $n$ is the number of Boolean variables and $\text{WMC}$ is the normalized between 0 and 1 weighted model count of the formula, while a classical algorithm has a complexity of $\Omega(1/\text{WMC})$. QWMC takes $\Theta(2^{\frac{n}{2}})$ oracle calss, while classically the best complexity is $\Theta(2^n)$, thus achieving a quadratic speedup. | 翻訳日:2024-07-22 08:47:38 公開日:2024-06-29 |
| # 音声認識における音響基準と信頼基準の一致による誤り訂正
Error Correction by Paying Attention to Both Acoustic and Confidence References for Automatic Speech Recognition ( http://arxiv.org/abs/2407.12817v1 ) ライセンス: Link先を確認 | Yuchun Shu, Bo Hu, Yifeng He, Hao Shi, Longbiao Wang, Jianwu Dang, | (参考訳) 自動音声認識(ASR)仮説における誤り語を正確に発見し,それらをよく構築したのが,音声誤り訂正の目標である。
本稿では,非自己回帰型音声誤り訂正法を提案する。
信頼モジュールは、N-best ASR仮説の各単語の不確実性を基準として測定し、間違った単語位置を見つける。
また、ASRエンコーダの音響的特徴は正しい発音基準を提供するためにも用いられる。
ASRのN-best候補は、編集パスを使用して整列し、互いに確認し、欠落した文字エラーを回復する。
さらに、クロスアテンション機構は、誤り訂正基準とASR仮説との情報を融合する。
実験の結果,音響的基準と信頼的基準の両方が誤り訂正に役立つことがわかった。
提案方式は,ASRモデルと比較して誤差率を21%削減する。
Accurately finding the wrong words in the automatic speech recognition (ASR) hypothesis and recovering them well-founded is the goal of speech error correction. In this paper, we propose a non-autoregressive speech error correction method. A Confidence Module measures the uncertainty of each word of the N-best ASR hypotheses as the reference to find the wrong word position. Besides, the acoustic feature from the ASR encoder is also used to provide the correct pronunciation references. N-best candidates from ASR are aligned using the edit path, to confirm each other and recover some missing character errors. Furthermore, the cross-attention mechanism fuses the information between error correction references and the ASR hypothesis. The experimental results show that both the acoustic and confidence references help with error correction. The proposed system reduces the error rate by 21% compared with the ASR model. | 翻訳日:2024-07-22 08:47:38 公開日:2024-06-29 |
| # P1AC:1つのアフィン対応から絶対的なメッセージを再考
P1AC: Revisiting Absolute Pose From a Single Affine Correspondence ( http://arxiv.org/abs/2011.08790v6 ) ライセンス: Link先を確認 | Jonathan Ventura, Zuzana Kukelova, Torsten Sattler, Dániel Baráth, | (参考訳) アフィン対応は伝統的に、幅広いベースラインにおける特徴マッチングを改善するために使われてきた。
近年の研究では、アフィン対応を用いて様々な相対的なカメラポーズ推定の問題を解くことに成功したが、絶対的なポーズ推定におけるアフィンの用途にはあまり注意が払われていない。
配向点とアフィン対応の1つの観測値からキャリブレーションカメラのポーズを推定する問題に対する最初の一般解を提案する。
我々のアプローチ(P1AC)の利点は、従来の点ベースアプローチ(P3P)と比較して単一の対応しか必要とせず、ロバストな推定におけるコンビネータを著しく減少させることである。
P1ACは、以前の作業でなされた制限的な仮定を排除し、大規模な画像ベースローカライゼーションに適用できる一般的なソリューションを提供する。
本稿では,P1AC問題に対する最小解法を提案し,新しい解法を合成データ上で評価し,様々な種類の雑音下での数値的安定性と性能を示す。
標準画像ベースローカライゼーションベンチマークでは、P1ACは広く使われているP3Pアルゴリズムよりも正確な結果が得られることを示す。
私たちのメソッドのコードはhttps://github.com/jonathanventura/P1AC/で利用可能です。
Affine correspondences have traditionally been used to improve feature matching over wide baselines. While recent work has successfully used affine correspondences to solve various relative camera pose estimation problems, less attention has been given to their use in absolute pose estimation. We introduce the first general solution to the problem of estimating the pose of a calibrated camera given a single observation of an oriented point and an affine correspondence. The advantage of our approach (P1AC) is that it requires only a single correspondence, in comparison to the traditional point-based approach (P3P), significantly reducing the combinatorics in robust estimation. P1AC provides a general solution that removes restrictive assumptions made in prior work and is applicable to large-scale image-based localization. We propose a minimal solution to the P1AC problem and evaluate our novel solver on synthetic data, showing its numerical stability and performance under various types of noise. On standard image-based localization benchmarks we show that P1AC achieves more accurate results than the widely used P3P algorithm. Code for our method is available at https://github.com/jonathanventura/P1AC/ . | 翻訳日:2024-07-04 10:45:46 公開日:2024-06-29 |
| # 多言語推論における質問文翻訳指導の力 : スコープの拡大と洞察の深化
The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights ( http://arxiv.org/abs/2405.01345v2 ) ライセンス: Link先を確認 | Wenhao Zhu, Shujian Huang, Fei Yuan, Cheng Chen, Jiajun Chen, Alexandra Birch, | (参考訳) 大きな言語モデルの英語と非英語のパフォーマンスの間に大きなギャップを埋めることは大きな課題である。
以前の研究では、このギャップを翻訳トレーニングデータで軽減しようとする試みもあったが、最近提案された質問アライメントアプローチでは、このモデルの英語の専門知識を活用して、高価でエラーを起こしやすい翻訳を最小限に使用することで、多言語のパフォーマンスを向上させる。
本稿では,この手法が,実行可能コードによる推論や常識による推論において,その効果を検証することによって,いかに広範に適用できるかを考察する。
また、プロキシチューニングを用いて、非常に大きな言語モデルに対して、このアプローチを効率的に適用する方法についても検討する。
mGSM, mSVAMP, xCSQAの多言語推論ベンチマーク実験の結果, 多様な推論シナリオ, モデルファミリ, サイズをまたいだ多言語性能向上に, 問合せアライメントアプローチが有効であることが示された。
例えば、LLaMA2モデルに適用すると、70BモデルであってもmGSMの平均精度は12.2%向上する。
その成功のメカニズムを理解するために、我々は表現空間、チェーン・オブ・シンク、翻訳データスケールを分析し、質問翻訳訓練がLLM内の言語アライメントを強化し、その動作パターンを形作る方法を明らかにする。
Bridging the significant gap between large language model's English and non-English performance presents a great challenge. While some previous studies attempt to mitigate this gap with translated training data, the recently proposed question alignment approach leverages the model's English expertise to improve multilingual performance with minimum usage of expensive, error-prone translation. In this paper, we explore how broadly this method can be applied by examining its effects in reasoning with executable code and reasoning with common sense. We also explore how to apply this approach efficiently to extremely large language models using proxy-tuning. Experiment results on multilingual reasoning benchmarks mGSM, mSVAMP and xCSQA demonstrate that the question alignment approach can be used to boost multilingual performance across diverse reasoning scenarios, model families, and sizes. For instance, when applied to the LLaMA2 models, our method brings an average accuracy improvements of 12.2% on mGSM even with the 70B model. To understand the mechanism of its success, we analyze representation space, chain-of-thought and translation data scales, which reveals how question translation training strengthens language alignment within LLMs and shapes their working patterns. | 翻訳日:2024-07-04 07:09:19 公開日:2024-06-29 |
| # 乳房超音波における病変検出のための臨床関連概念ボトルネックの学習
Learning a Clinically-Relevant Concept Bottleneck for Lesion Detection in Breast Ultrasound ( http://arxiv.org/abs/2407.00267v1 ) ライセンス: Link先を確認 | Arianna Bunnell, Yannik Glaser, Dustin Valdez, Thomas Wolfgruber, Aleen Altamirano, Carol Zamora González, Brenda Y. Hernandez, Peter Sadowski, John A. Shepherd, | (参考訳) 乳房超音波画像における病変の検出と分類は,マンモグラフィに限られた領域におけるがんの負担を軽減する人工知能(AI)の有望な応用である。
このようなAIシステムは、放射線学者に予測を説明できる場合、臨床環境で有用である可能性が高い。
本研究は,米国放射線学会のBreast Imaging and Reporting Data System (BI-RADS) の標準語彙を用いて解釈可能な予測を提供する,説明可能なAIモデルを提案する。
このモデルは、BI-RADSの既知の特徴が最終的ながん分類の前に予測される概念ボトルネック層を特徴とするディープニューラルネットワークである。
これにより、放射線学者はAIシステムの予測を簡単にレビューでき、概念予測を変更することで、エラーをリアルタイムで修正することができる。
実験では、専門家アノテーションと組織学的癌ラベルを持つ994人の女性の8,854枚の画像に基づいてモデルを構築した。
このモデルは保持試験セットに対して48.9の平均精度で最先端の病変検出フレームワークより優れており、がん分類においては、概念的介入はレシーバ操作特性曲線の下で0.876から0.885領域に向上することが示されている。
トレーニングと評価のコードはhttps://github.com/hawaii-ai/bus-cbm.comで公開されている。
Detecting and classifying lesions in breast ultrasound images is a promising application of artificial intelligence (AI) for reducing the burden of cancer in regions with limited access to mammography. Such AI systems are more likely to be useful in a clinical setting if their predictions can be explained to a radiologist. This work proposes an explainable AI model that provides interpretable predictions using a standard lexicon from the American College of Radiology's Breast Imaging and Reporting Data System (BI-RADS). The model is a deep neural network featuring a concept bottleneck layer in which known BI-RADS features are predicted before making a final cancer classification. This enables radiologists to easily review the predictions of the AI system and potentially fix errors in real time by modifying the concept predictions. In experiments, a model is developed on 8,854 images from 994 women with expert annotations and histological cancer labels. The model outperforms state-of-the-art lesion detection frameworks with 48.9 average precision on the held-out testing set, and for cancer classification, concept intervention is shown to increase performance from 0.876 to 0.885 area under the receiver operating characteristic curve. Training and evaluation code is available at https://github.com/hawaii-ai/bus-cbm. | 翻訳日:2024-07-04 05:41:03 公開日:2024-06-29 |
| # 因果推論による最小次モデル
Minimum Reduced-Order Models via Causal Inference ( http://arxiv.org/abs/2407.00271v1 ) ライセンス: Link先を確認 | Nan Chen, Honghu Liu, | (参考訳) 近年,データ駆動型低次モデル(ROM)の普及が注目されている。
本研究では、因果エントロピーと呼ばれる情報理論指標を用いて、スパース構造を持つ熟練ROMを同定する効率的な手法を解析する。
因果エントロピー(英: causation entropy)は、アンザッツの他の全ての項によって既に取得されている情報を超えた、基礎となる力学への各項の追加的な寄与を統計的に定量化する。
これにより、因果エントロピーはパラメータ推定手順を実行する前に各項の重要性を動的に評価する。
したがって、この手法は動的影響の少ない項を除去するために利用することができ、本質的な物理学を保った擬似構造に繋がる。
因果エントロピー計算に係わる高次元確率密度関数(PDF)を推定することの難しさを回避するために、高非ガウス力学の存在下でも十分であることを示すようなPDFに対してガウス近似を利用する。
この手法の有効性を倉本・シヴァシンスキー方程式で示し、長期統計の復元や部分的な観測とデータ同化による未観測のダイナミクスの推測など、様々な目的のためにスパース因果ROMを構築した。
Enhancing the sparsity of data-driven reduced-order models (ROMs) has gained increasing attention in recent years. In this work, we analyze an efficient approach to identifying skillful ROMs with a sparse structure using an information-theoretic indicator called causation entropy. The causation entropy quantifies in a statistical way the additional contribution of each term to the underlying dynamics beyond the information already captured by all the other terms in the ansatz. By doing so, the causation entropy assesses the importance of each term to the dynamics before a parameter estimation procedure is performed. Thus, the approach can be utilized to eliminate terms with little dynamic impact, leading to a parsimonious structure that retains the essential physics. To circumvent the difficulty of estimating high-dimensional probability density functions (PDFs) involved in the causation entropy computation, we leverage Gaussian approximations for such PDFs, which are demonstrated to be sufficient even in the presence of highly non-Gaussian dynamics. The effectiveness of the approach is illustrated by the Kuramoto-Sivashinsky equation by building sparse causation-based ROMs for various purposes, such as recovering long-term statistics and inferring unobserved dynamics via data assimilation with partial observations. | 翻訳日:2024-07-04 05:41:03 公開日:2024-06-29 |
| # 行ってはいけません:異なる視点からソフトウェアエンジニアの転職を理解する
Please do not go: understanding turnover of software engineers from different perspectives ( http://arxiv.org/abs/2407.00273v1 ) ライセンス: Link先を確認 | Michelle Larissa Luciano Carvalho, Paulo da Silva Cruz, Eduardo Santana de Almeida, Paulo Anselmo da Mota Silveira Neto, Rafael Prikladnicki, | (参考訳) Turnoverは、一定期間に社内のプロの従業員の入社と退社で構成されている。
このような現象は、知識喪失、スケジュールの遅れ、そして最終プロジェクトにおけるコストの増大をもたらすため、ソフトウェア産業に大きな影響を及ぼします。
転職を最小限にするための研究者や専門家の努力にもかかわらず、ソフトウェア技術者が仕事を辞める動機や、CEOがこれらのプロフェッショナルをソフトウェア開発会社に留めるために採用する主要な戦略を理解するためには、より多くの研究が必要である。
本稿では,ソフトウェア技術者とCEOとの半構造化インタビューを対象とし,これら専門家の転職に対するより広範な意見を得るための混合手法調査と,追加のソフトウェアエンジニアによるインタビューからの洞察の確認とレビューを行うための検証調査に貢献する。
このような側面を研究する中で、私たちは、ソフトウェアエンジニアの離職の19の理由と、それを減らすためにソフトウェア開発業界で使用される18のより効率的な戦略を特定しました。
本研究は,今後の研究を推し進める産業とアカデミックにいくつかの意味を与えている。
Turnover consists of moving into and out of professional employees in the company in a given period. Such a phenomenon significantly impacts the software industry since it generates knowledge loss, delays in the schedule, and increased costs in the final project. Despite the efforts made by researchers and professionals to minimize the turnover, more studies are needed to understand the motivation that drives Software Engineers to leave their jobs and the main strategies CEOs adopt to retain these professionals in software development companies. In this paper, we contribute a mixed methods study involving semi-structured interviews with Software Engineers and CEOs to obtain a wider opinion of these professionals about turnover and a subsequent validation survey with additional software engineers to check and review the insights from interviews. In studying such aspects, we identified 19 different reasons for software engineers' turnover and 18 more efficient strategies used in the software development industry to reduce it. Our findings provide several implications for industry and academia, which can drive future research. | 翻訳日:2024-07-04 05:41:03 公開日:2024-06-29 |
| # PerAct2: 双方向操作タスクの知覚アクタフレームワーク
PerAct2: A Perceiver Actor Framework for Bimanual Manipulation Tasks ( http://arxiv.org/abs/2407.00278v1 ) ライセンス: Link先を確認 | Markus Grotz, Mohit Shridhar, Tamim Asfour, Dieter Fox, | (参考訳) 両腕間の正確な空間的・時間的調整が要求されるため、両腕の操作は困難である。
実世界のバイマニュアルシステムにはいくつか存在するが、広範囲のテーブルトップタスクにまたがってバイマニュアル機能を体系的に研究する上で、大きなタスク多様性を持つシミュレーションベンチマークが欠如している。
本稿では,RLBenchを双方向操作に拡張することで,そのギャップを解消する。
コードとベンチマークをオープンソースで公開し、23のタスクバリエーションを備えた13の新しいタスクで構成されています。
ベンチマークを開始するために、いくつかの最先端の手法をバイマン的操作に拡張し、また、バイマン的6-DoF操作タスクの学習と実行を可能にする言語条件のビヘイビアクローニングエージェントであるPerAct2を提示した。
我々の新しいネットワークアーキテクチャは、言語処理とアクション予測を効率的に統合し、ロボットがユーザの指定した目標に応じて複雑なバイマニュアルタスクを理解し実行できるようにする。
コード付きプロジェクトのWebサイトは以下の通り。
Bimanual manipulation is challenging due to precise spatial and temporal coordination required between two arms. While there exist several real-world bimanual systems, there is a lack of simulated benchmarks with a large task diversity for systematically studying bimanual capabilities across a wide range of tabletop tasks. This paper addresses the gap by extending RLBench to bimanual manipulation. We open-source our code and benchmark comprising 13 new tasks with 23 unique task variations, each requiring a high degree of coordination and adaptability. To kickstart the benchmark, we extended several state-of-the art methods to bimanual manipulation and also present a language-conditioned behavioral cloning agent -- PerAct2, which enables the learning and execution of bimanual 6-DoF manipulation tasks. Our novel network architecture efficiently integrates language processing with action prediction, allowing robots to understand and perform complex bimanual tasks in response to user-specified goals. Project website with code is available at: http://bimanual.github.io | 翻訳日:2024-07-04 05:41:03 公開日:2024-06-29 |
| # IVCA: 相互対応型ビデオ複合分析装置
IVCA: Inter-Relation-Aware Video Complexity Analyzer ( http://arxiv.org/abs/2407.00280v1 ) ライセンス: Link先を確認 | Junqi Liao, Yao Li, Zhuoyuan Li, Li Li, Dong Liu, | (参考訳) ビデオストリーミングアプリケーションのリアルタイム解析要求を満たすため、VCAの拡張として、相互対応型ビデオ複雑性解析器(IVCA)を提案する。
IVCAは、フレーム間の関係、つまり運動と参照構造を考慮し、VCAの限界に対処する。
まず,IVCAに特徴領域の動作推定を導入することにより,時間的特徴の精度を向上させる。
次に、コーデックの階層的参照構造からインスピレーションを得て、異なるレイヤにおけるフレームの複雑さの重み付けを調整できるように、レイヤ対応の重み付けを設計する。
さらに,従来のフレームのみに依存するのではなく,参照するフレームを考慮し,時間的特徴の範囲を広げる。
実験の結果,IVCAにより達成された複雑性推定精度は,時間的複雑性が最小限に向上した。
To meet the real-time analysis requirements of video streaming applications, we propose an inter-relation-aware video complexity analyzer (IVCA) as an extension to VCA. The IVCA addresses the limitation of VCA by considering inter-frame relations, namely motion and reference structure. First, we enhance the accuracy of temporal features by introducing feature-domain motion estimation into the IVCA. Next, drawing inspiration from the hierarchical reference structure in codecs, we design layer-aware weights to adjust the majorities of frame complexity in different layers. Additionally, we expand the scope of temporal features by considering frames that be referred to, rather than relying solely on the previous frame. Experimental results show the significant improvement in complexity estimation accuracy achieved by IVCA, with minimal time complexity increase. | 翻訳日:2024-07-04 05:41:03 公開日:2024-06-29 |
| # 無線ネットワークにおける信頼性エッジキャッシングのためのディジタルツイン支援データ駆動最適化
Digital Twin-Assisted Data-Driven Optimization for Reliable Edge Caching in Wireless Networks ( http://arxiv.org/abs/2407.00286v1 ) ライセンス: Link先を確認 | Zifan Zhang, Yuchen Liu, Zhiyuan Peng, Mingzhe Chen, Dongkuan Xu, Shuguang Cui, | (参考訳) エッジキャッシュの最適化は、次世代(nextG)無線ネットワークの発展に不可欠である。
既存のデータ駆動最適化アプローチは、しばしばランダムなデータ変数の分布を認識しておらず、キャッシュヒット率の最適化、ベースステーションオーバーロードやアンバランスなキャッシュ問題といった潜在的な信頼性の懸念を無視している。
この監視はシステムのクラッシュとユーザエクスペリエンスの低下をもたらす可能性がある。
このギャップを埋めるために、我々はD-RECと呼ばれる新しいデジタルツインアシスト最適化フレームワークを導入し、RLと様々な介入モジュールを統合して、次のG無線ネットワークにおける信頼性の高いキャッシュを確保する。
まず,D-RECによってRL最適化と安全ガードとして採用され,キャッシュ置換ポリシーのトレーニングと予測評価のための十分なデータセットを提供するネットワークディジタルツインを効率よく作成するための,垂直水平ツインニング手法を開発した。
信頼性モジュールを制約付きマルコフ決定プロセスに組み込むことで、D-RECはアクション、報酬、状態を適応的に調整し、有利な制約に従うことができ、ネットワーク障害のリスクを最小限にすることができる。
理論的解析は、キャッシュ性能を損なうことなく、D-RECとバニラデータ駆動方式の収束率に匹敵する値を示す。
大規模な実験により、D-RECはキャッシュヒット率と負荷分散の従来の手法より優れており、所定の信頼性の介入モジュールを効果的に実行している。
Optimizing edge caching is crucial for the advancement of next-generation (nextG) wireless networks, ensuring high-speed and low-latency services for mobile users. Existing data-driven optimization approaches often lack awareness of the distribution of random data variables and focus solely on optimizing cache hit rates, neglecting potential reliability concerns, such as base station overload and unbalanced cache issues. This oversight can result in system crashes and degraded user experience. To bridge this gap, we introduce a novel digital twin-assisted optimization framework, called D-REC, which integrates reinforcement learning (RL) with diverse intervention modules to ensure reliable caching in nextG wireless networks. We first develop a joint vertical and horizontal twinning approach to efficiently create network digital twins, which are then employed by D-REC as RL optimizers and safeguards, providing ample datasets for training and predictive evaluation of our cache replacement policy. By incorporating reliability modules into a constrained Markov decision process, D-REC can adaptively adjust actions, rewards, and states to comply with advantageous constraints, minimizing the risk of network failures. Theoretical analysis demonstrates comparable convergence rates between D-REC and vanilla data-driven methods without compromising caching performance. Extensive experiments validate that D-REC outperforms conventional approaches in cache hit rate and load balancing while effectively enforcing predetermined reliability intervention modules. | 翻訳日:2024-07-04 05:41:03 公開日:2024-06-29 |
| # シンプレクティック保存特性を持つディープニューラルネットワーク
Deep Neural Networks with Symplectic Preservation Properties ( http://arxiv.org/abs/2407.00294v1 ) ライセンス: Link先を確認 | Qing He, Wei Cai, | (参考訳) 本稿では,その出力が入力の可逆的シンプレクトーフィズムを形成するように設計されたディープニューラルネットワークアーキテクチャを提案する。
この設計は、フローテクニックの正規化に使用される実数値の非体積保存法 (real NVP) に類似している。
このニューラルネットワーク型を利用することで、位相空間の固有のシンプレクティック構造を壊すことなく、未知のハミルトン系のタスクを学習することができる。
We propose a deep neural network architecture designed such that its output forms an invertible symplectomorphism of the input. This design draws an analogy to the real-valued non-volume-preserving (real NVP) method used in normalizing flow techniques. Utilizing this neural network type allows for learning tasks on unknown Hamiltonian systems without breaking the inherent symplectic structure of the phase space. | 翻訳日:2024-07-04 05:41:03 公開日:2024-06-29 |
| # 動的多値マッピング推定のためのディープニューラルネットワークフレームワークとその応用
A deep neural network framework for dynamic multi-valued mapping estimation and its applications ( http://arxiv.org/abs/2407.00295v1 ) ライセンス: Link先を確認 | Geng Li, Di Qiu, Lok Ming Lui, | (参考訳) 本稿では,動的多値写像のモデル化と推定の問題に対処する。
ほとんどの数学的モデルは与えられた入力に対してユニークな解を提供するが、現実のアプリケーションは決定論的解を欠くことが多い。
このようなシナリオでは、各入力に対して異なる妥当な解を提案するためには、動的多値写像を推定する必要がある。
本稿では、生成ネットワークと分類コンポーネントを組み込んだディープニューラルネットワークフレームワークを提案する。
本研究の目的は、信頼性の高い不確実性測定を提供することにより、入力と出力の間の動的多値写像をモデル化することである。
与えられた入力に対して複数の解を生成するには、有限変数からなる離散コードブックを利用する必要がある。
これらの変数は入力とともに生成ネットワークに入力され、様々な出力可能性を生成する。
コードブックの離散性は、分類器を用いて任意の入力に対して出力の条件付き確率分布を効率的に推定することを可能にする。
特別に設計された損失関数を用いて、離散コードブックとトレーニング中の不確実性推定を共同で最適化することにより、高精度な近似を実現する。
提案手法の有効性は, 合成画像データと実画像データの両方を用いて, 様々な画像問題に適用することで実証する。
実験結果から,不確実性を考慮した動的多値写像を精度良く推定できることが示唆された。
This paper addresses the problem of modeling and estimating dynamic multi-valued mappings. While most mathematical models provide a unique solution for a given input, real-world applications often lack deterministic solutions. In such scenarios, estimating dynamic multi-valued mappings is necessary to suggest different reasonable solutions for each input. This paper introduces a deep neural network framework incorporating a generative network and a classification component. The objective is to model the dynamic multi-valued mapping between the input and output by providing a reliable uncertainty measurement. Generating multiple solutions for a given input involves utilizing a discrete codebook comprising finite variables. These variables are fed into a generative network along with the input, producing various output possibilities. The discreteness of the codebook enables efficient estimation of the output's conditional probability distribution for any given input using a classifier. By jointly optimizing the discrete codebook and its uncertainty estimation during training using a specially designed loss function, a highly accurate approximation is achieved. The effectiveness of our proposed framework is demonstrated through its application to various imaging problems, using both synthetic and real imaging data. Experimental results show that our framework accurately estimates the dynamic multi-valued mapping with uncertainty estimation. | 翻訳日:2024-07-04 05:41:03 公開日:2024-06-29 |
| # SolarSAM:Segment Anything Model(SAM)に基づくビル規模の太陽光発電ポテンシャル評価と新興都市へのリモートセンシング
SolarSAM: Building-scale Photovoltaic Potential Assessment Based on Segment Anything Model (SAM) and Remote Sensing for Emerging City ( http://arxiv.org/abs/2407.00296v1 ) ライセンス: Link先を確認 | Guohao Wang, | (参考訳) 太陽光発電(PV)技術の進歩によって、ソーラーエネルギーは、屋上やファサード、窓への統合が容易なため、将来性のある再生可能エネルギー源として登場した。
新興都市にとって、詳細な街路レベルのデータがないことは、ビル統合太陽光発電(BIPV)の可能性を効果的に評価する上での課題である。
そこで本研究では,リモートセンシング画像と深層学習技術を活用した新しいBIPV評価手法であるSolarSAMを導入し,中国北部の新興都市をモデル性能の評価に利用した。
プロセス中、SolarSAMはテキストプロンプトによるセマンティックセマンティックセマンティクスを使用して、さまざまなビルの屋上をセマンティクスした。
次に、このセグメント化されたデータと局所的な気候情報を用いて、Rooftop PV、Facade-Integrated PV、PVウインドウシステム向けに別々のPVモデルを開発した。
BIPV導入の可能性、太陽光発電、都市全体での自給自足が評価され、毎年のBIPV発電の可能性が市の総電力消費量を2.5倍上回ったことが明らかとなった。
また、電力コストの水準化や炭素削減計算を含む経済・環境分析を行い、様々な建築カテゴリーで異なるBIPVシステムを比較した。
これらの結果は, モデルの性能を実証し, 将来のBIPV発電の可能性を明らかにした。
Driven by advancements in photovoltaic (PV) technology, solar energy has emerged as a promising renewable energy source, due to its ease of integration onto building rooftops, facades, and windows. For the emerging cities, the lack of detailed street-level data presents a challenge for effectively assessing the potential of building-integrated photovoltaic (BIPV). To address this, this study introduces SolarSAM, a novel BIPV evaluation method that leverages remote sensing imagery and deep learning techniques, and an emerging city in northern China is utilized to validate the model performance. During the process, SolarSAM segmented various building rooftops using text prompt guided semantic segmentation. Separate PV models were then developed for Rooftop PV, Facade-integrated PV, and PV windows systems, using this segmented data and local climate information. The potential for BIPV installation, solar power generation, and city-wide power self-sufficiency were assessed, revealing that the annual BIPV power generation potential surpassed the city's total electricity consumption by a factor of 2.5. Economic and environmental analysis were also conducted, including levelized cost of electricity and carbon reduction calculations, comparing different BIPV systems across various building categories. These findings demonstrated the model's performance and reveled the potential of BIPV power generation in the future. | 翻訳日:2024-07-04 05:41:03 公開日:2024-06-29 |
| # UADSN: 顔面神経分離のための不確かさを意識したデュアルストリームネットワーク
UADSN: Uncertainty-Aware Dual-Stream Network for Facial Nerve Segmentation ( http://arxiv.org/abs/2407.00297v1 ) ライセンス: Link先を確認 | Guanghao Zhu, Lin Liu, Jing Zhang, Xiaohui Du, Ruqian Hao, Juanxiu Liu, | (参考訳) 顔面神経節は人工内耳手術の術前計画に不可欠である。
近年,アトラス法や深層学習法などのセグメンテーション手法が提案されている。
しかし, 顔面神経は直径1.0～1.5mmの管状器官であるため, CTスキャンでは顔面神経の位置と分画が困難である。
本研究では,不確実性を考慮したデュアルストリームネットワーク(UADSN)を提案する。
UADSNは、2Dセグメンテーションストリームと3Dセグメンテーションストリームで構成される。
2つのストリームからの予測は不確実な領域を特定するために使用され、これらの領域のセグメンテーションを監督するために一貫性損失が使用される。
さらに,U字型ネットワークのスキップ接続にチャネル圧縮・空間励起モジュールを導入し,意味のある空間情報を抽出する。
位相保存を考えるために、教師付き損失関数にclDice損失を導入する。
顔面神経データセットの実験結果から,UADSNとサブモジュールの有効性が示された。
Facial nerve segmentation is crucial for preoperative path planning in cochlear implantation surgery. Recently, researchers have proposed some segmentation methods, such as atlas-based and deep learning-based methods. However, since the facial nerve is a tubular organ with a diameter of only 1.0-1.5mm, it is challenging to locate and segment the facial nerve in CT scans. In this work, we propose an uncertainty-aware dualstream network (UADSN). UADSN consists of a 2D segmentation stream and a 3D segmentation stream. Predictions from two streams are used to identify uncertain regions, and a consistency loss is employed to supervise the segmentation of these regions. In addition, we introduce channel squeeze & spatial excitation modules into the skip connections of U-shaped networks to extract meaningful spatial information. In order to consider topologypreservation, a clDice loss is introduced into the supervised loss function. Experimental results on the facial nerve dataset demonstrate the effectiveness of UADSN and our submodules. | 翻訳日:2024-07-04 05:41:03 公開日:2024-06-29 |
| # スマートフォンカメラキャプチャのための画像融合アルゴリズムのベンチマーク評価
Benchmark Evaluation of Image Fusion algorithms for Smartphone Camera Capture ( http://arxiv.org/abs/2407.00301v1 ) ライセンス: Link先を確認 | Lucas N. Kirsten, | (参考訳) 本稿では,スマートフォンカメラ用画像融合技術における計算資源利用と画質のトレードオフについて検討する。
この研究では、モトローラのスマートフォンで撮影された画像のプロプライエタリなデータセットを使用して、融合方法、融合重量、フレーム数、および積み重ね技術の組み合わせについて検討した。
目的は、計算効率と画質のバランスをとる最適構成を特定することである。
以上の結果から,マルチスケール法とその単一スケール融合法は,画像品質と実行時と同様の値を返すが,単一スケール法はメモリ使用量が少ないことが示唆された。
さらに,YUV色空間で動作する融合法は,画像品質,資源利用量,実行時の性能が向上することを確認した。
この研究は、融合重量が画像の品質、実行時間、メモリに全体的に小さな影響を与えていることも示している。
さらに,高露出の入力フレーム数の増加は画像品質を損なうものではなく,それに対応する計算資源の利用量や実行量の増加が伴うことが明らかとなり,メモリ使用量の削減は図形品質を損なう可能性が示唆された。
最後に、制約のある環境における画像融合技術における思考的構成選択の重要性を強調し、特にスマートフォンアプリケーションにおける将来的な画像融合手法開発への洞察を提供する。
This paper investigates the trade-off between computational resource utilization and image quality in the context of image fusion techniques for smartphone camera capture. The study explores various combinations of fusion methods, fusion weights, number of frames, and stacking (a.k.a. merging) techniques using a proprietary dataset of images captured with Motorola smartphones. The objective was to identify optimal configurations that balance computational efficiency with image quality. Our results indicate that multi-scale methods and their single-scale fusion counterparts return similar image quality measures and runtime, but single-scale ones have lower memory usage. Furthermore, we identified that fusion methods operating in the YUV color space yield better performance in terms of image quality, resource utilization, and runtime. The study also shows that fusion weights have an overall small impact on image quality, runtime, and memory. Moreover, our results reveal that increasing the number of highly exposed input frames does not necessarily improve image quality and comes with a corresponding increase in computational resources usage and runtime; and that stacking methods, although reducing memory usage, may compromise image quality. Finally, our work underscores the importance of thoughtful configuration selection for image fusion techniques in constrained environments and offers insights for future image fusion method development, particularly in the realm of smartphone applications. | 翻訳日:2024-07-04 05:41:03 公開日:2024-06-29 |
| # スパースグラフに対するKrenn-Gu予想
Krenn-Gu conjecture for sparse graphs ( http://arxiv.org/abs/2407.00303v1 ) ライセンス: Link先を確認 | L. Sunil Chandran, Rishikesh Gajjala, Abraham M. Illickan, | (参考訳) グリーンバーガー・ホーネ・ザイリンガー状態(英: Greenberger-Horne-Zeilinger state、GHZ)は、少なくとも3つの絡み合った粒子を含む量子状態である。
これらは量子情報理論に基本的な関心を持ち、高次元のそのような状態の構築は量子通信や暗号に様々な応用がある。
これらは量子情報理論に基本的な関心を持ち、高次元のそのような状態の構築は量子通信や暗号に様々な応用がある。
Krenn, Gu and Zeilinger は、GHZ状態を生成する大規模な量子光学実験と、エッジ重み付きエッジ色多重グラフ(英語版)の間の対応関係を発見し、これを \emph{GHZ graphs} と呼ぶ。
そのような GHZ グラフ上では、対応する実験によって生成される GHZ 状態の次元と同じである \emph{dimension} と呼ばれるグラフパラメータが定義される。
KrennとGuは、頂点が4ドルを超える任意のGHZグラフの次元は、少なくとも2ドルであると予想した。
クレン=グ予想の肯定的な解決は、量子資源理論に影響を及ぼす。
一方、高次元の多数の頂点上のGHZグラフの構築は、ブレークスルーの結果をもたらす。
本稿では、Krenn-Gu予想の観点からGHZグラフの存在を研究し、この予想が頂点接続グラフの最大2および立方体グラフに対して真であることを示す。
また、この予想に対する最小の反例は4$接続であることも示している。
このような情報は、PyTheusのような既存のツールを使ってGHZグラフを検索するのに大いに役立つだろう。
この研究の影響は量子物理学にあるが、本論文のテクニックは純粋に組合せであり、量子物理学の背景を理解できない。
Greenberger-Horne-Zeilinger (GHZ) states are quantum states involving at least three entangled particles. They are of fundamental interest in quantum information theory, and the construction of such states of high dimension has various applications in quantum communication and cryptography. They are of fundamental interest in quantum information theory, and the construction of such states of high dimension has various applications in quantum communication and cryptography. Krenn, Gu and Zeilinger discovered a correspondence between a large class of quantum optical experiments which produce GHZ states and edge-weighted edge-coloured multi-graphs with some special properties called the \emph{GHZ graphs}. On such GHZ graphs, a graph parameter called \emph{dimension} can be defined, which is the same as the dimension of the GHZ state produced by the corresponding experiment. Krenn and Gu conjectured that the dimension of any GHZ graph with more than $4$ vertices is at most $2$. An affirmative resolution of the Krenn-Gu conjecture has implications for quantum resource theory. On the other hand, the construction of a GHZ graph on a large number of vertices with a high dimension would lead to breakthrough results. In this paper, we study the existence of GHZ graphs from the perspective of the Krenn-Gu conjecture and show that the conjecture is true for graphs of vertex connectivity at most 2 and for cubic graphs. We also show that the minimal counterexample to the conjecture should be $4$-connected. Such information could be of great help in the search for GHZ graphs using existing tools like PyTheus. While the impact of the work is in quantum physics, the techniques in this paper are purely combinatorial, and no background in quantum physics is required to understand them. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # 量子相転移におけるヤンリー零点:絡み合いの観点から
Yang-Lee Zeros in Quantum Phase Transition: An Entanglement Perspective ( http://arxiv.org/abs/2407.00311v1 ) ライセンス: Link先を確認 | Hongchao Li, | (参考訳) ヤン=リー理論を量子相転移に拡張し、1次元多体系の相転移点に特異性がどのように入るかを示す。
我々は主に、2つの原型モデル、Su-Schrieffer-Heeger(SSH)モデルとXXZスピン鎖のヤン=リー零点とその関連したヤン=リーエッジ特異点の分布に焦点を当てる。
ゼロ温度制限を取ることで、ヤン=リー零点がパラメータの複素平面上の量子位相遷移点にどのように接近するかを示す。
量子相転移においてヤン=リー零点によって引き起こされるエッジ特異性を特徴付けるために、ヤン=リー零点のエッジが絡み合い遷移につながることを示すために基底状態の絡み合いエントロピーを導入する。
さらに、我々の結果は一般の非相互作用パリティ時対称ハミルトニアンにも適用可能であることを示す。
We extend the Yang-Lee theory to quantum phase transitions to show how singularity enters the phase transition points in one-dimensional many-body systems. We primarily focus on the distribution of Yang-Lee zeros and its associated Yang-Lee edge singularity of two prototypical models: the Su-Schrieffer-Heeger (SSH) model and the XXZ spin chain. By taking the zero-temperature limit, we show how the Yang-Lee zeros approach the quantum phase transition points on the complex plane of parameters. To characterize the edge singularity induced by Yang-Lee zeros in quantum phase transition, we introduce the entanglement entropy of the ground state to show the edges of Yang-Lee zeros lead to the entanglement transition. We further show our results are also applicable to the general non-interacting parity-time-symmetric Hamiltonians. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # UDC: 大規模組合せ最適化問題のための統一型ニューラルディバイド・アンド・コンカーフレームワーク
UDC: A Unified Neural Divide-and-Conquer Framework for Large-Scale Combinatorial Optimization Problems ( http://arxiv.org/abs/2407.00312v1 ) ライセンス: Link先を確認 | Zhi Zheng, Changliang Zhou, Tong Xialiang, Mingxuan Yuan, Zhenkun Wang, | (参考訳) 単一段階のニューラル組合せ最適化は、専門家の知識を必要とせず、様々な小規模組合せ最適化(CO)問題に対して、ほぼ最適な結果を得た。
しかし, 大規模CO問題に適用した場合, 高い性能低下がみられた。
近年, 大規模CO問題に対処する上で, 分割・対数戦略をもつ2段階のニューラル手法が優れていることが示されている。
しかしながら、これらの手法の効率性は、分割法または征服法において問題固有のヒューリスティックに大きく依存しており、一般のCO問題に適用性を制限する。
さらに、これらの手法は個別のトレーニングスキームを採用し、分割戦略と征服戦略の相互依存性を無視し、しばしば準最適解につながる。
これらの欠点に対処するため、本論文では、一般的な大規模CO問題を解決するための統一的なニューラルネットワーク分割・コンカフレームワーク(UDC)を開発する。
UDCはDCR(Divide-Conquer-Reunion)トレーニング手法を提供し、準最適分割ポリシーの負の影響を排除する。
大域的な分割に高効率グラフニューラルネットワーク(GNN)とサブプロブレムを克服するための固定長サブパスソルバを用いることで、提案したUDCフレームワークは広範な適用性を示し、10種類の大規模CO問題において優れた性能を実現する。
Single-stage neural combinatorial optimization solvers have achieved near-optimal results on various small-scale combinatorial optimization (CO) problems without needing expert knowledge. However, these solvers exhibit significant performance degradation when applied to large-scale CO problems. Recently, two-stage neural methods with divide-and-conquer strategies have shown superiorities in addressing large-scale CO problems. Nevertheless, the efficiency of these methods highly relies on problem-specific heuristics in either the divide or the conquer procedure, which limits their applicability to general CO problems. Moreover, these methods employ separate training schemes and ignore the interdependencies between the dividing and conquering strategies, which often leads to sub-optimal solutions. To tackle these drawbacks, this article develops a unified neural divide-and-conquer framework (i.e., UDC) for solving general large-scale CO problems. UDC offers a Divide-Conquer-Reunion (DCR) training method to eliminate the negative impact of a sub-optimal dividing policy. Employing a high-efficiency Graph Neural Network (GNN) for global dividing and a fixed-length sub-path solver for conquering sub-problems, the proposed UDC framework demonstrates extensive applicability, achieving superior performance in 10 representative large-scale CO problems. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # アイマスク駆動型情報ボトルネックによる教師なし迷路表現の学習
Learning Unsupervised Gaze Representation via Eye Mask Driven Information Bottleneck ( http://arxiv.org/abs/2407.00315v1 ) ライセンス: Link先を確認 | Yangzhou Jiang, Yinxin Lin, Yaoming Wang, Teng Li, Bilian Ke, Bingbing Ni, | (参考訳) 近年の視線推定作業において,全顔画像入力による外観に基づく教師付き手法が大幅に進歩している。
しかしながら、集中的な人間のアノテーション要求は、現在の手法が産業レベルの精度と堅牢性を達成することを妨げている。
現在の教師なし事前学習フレームワークは多くの画像認識タスクで成功しているが、顔と目の特徴の深い結合のため、顔全体から有用な視線特徴を抽出するのにはまだ不十分である。
上記の制限を緩和するため、この研究は、新しい教師なし・自己監督型視線事前学習フレームワークを提案し、これは、全顔の枝に、視線アノテーションなしで低次元視線埋め込みを学習させ、協調的な特徴コントラストと圧縮モジュールを通して、学習させる。
この枠組みの核心は、視線関連情報をフルフェイスブランチからアイメイドのオートエンコーダに絞り込むことで、顔のテクスチャのみではなく、視線方向に注意を向けることに成功し、アイセルフコンストラクションの目標をまだ採用している。
同時に、新しい眼・視線関連情報と対照的な損失は、学習された表現をさらに促進するために設計され、眼中心領域に集中するよう強制された。
いくつかのベンチマークによる大規模な実験結果から,提案手法は教師なし状態よりも優れた性能を示すことが示された。
Appearance-based supervised methods with full-face image input have made tremendous advances in recent gaze estimation tasks. However, intensive human annotation requirement inhibits current methods from achieving industrial level accuracy and robustness. Although current unsupervised pre-training frameworks have achieved success in many image recognition tasks, due to the deep coupling between facial and eye features, such frameworks are still deficient in extracting useful gaze features from full-face. To alleviate above limitations, this work proposes a novel unsupervised/self-supervised gaze pre-training framework, which forces the full-face branch to learn a low dimensional gaze embedding without gaze annotations, through collaborative feature contrast and squeeze modules. In the heart of this framework is an alternating eye-attended/unattended masking training scheme, which squeezes gaze-related information from full-face branch into an eye-masked auto-encoder through an injection bottleneck design that successfully encourages the model to pays more attention to gaze direction rather than facial textures only, while still adopting the eye self-reconstruction objective. In the same time, a novel eye/gaze-related information contrastive loss has been designed to further boost the learned representation by forcing the model to focus on eye-centered regions. Extensive experimental results on several gaze benchmarks demonstrate that the proposed scheme achieves superior performances over unsupervised state-of-the-art. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # OccFusion: 遺伝子拡散プリミティブで蓄積した人間をレンダリングする
OccFusion: Rendering Occluded Humans with Generative Diffusion Priors ( http://arxiv.org/abs/2407.00316v1 ) ライセンス: Link先を確認 | Adam Sun, Tiange Xiang, Scott Delp, Li Fei-Fei, Ehsan Adeli, | (参考訳) 既存の人間のレンダリング手法の多くは、入力ビデオを通して人間のすべての部分が完全に見えるようにする必要がある。
しかし、この仮定は、障害が一般的である現実の環境では成立せず、結果として人間の部分的な可視性しか得られない。
そこで我々は, 事前学習した2次元拡散モデルによって教師される効率的な3次元ガウススプラッティングを利用して, 効率的かつ高忠実な人体レンダリングを実現するOccFusionを提案する。
本稿では,3段階からなるパイプラインを提案する。
初期化段階では、完全な人間のマスクは部分的な可視マスクから生成される。
最適化段階において、人間の3次元ガウスは、人間の完全な幾何学を作成するために、スコア蒸留サンプリング(SDS)による追加の監督により最適化される。
最後に、リファインメント段階では、不観察の少ない人体部品のレンダリング品質をさらに向上するために、インコンテクスト塗装が設計されている。
OccFusion on ZJU-MoCap and challenge OcMotion sequences and found that it achieved the state-of-the-art performance in the rendering of occluded human。
Most existing human rendering methods require every part of the human to be fully visible throughout the input video. However, this assumption does not hold in real-life settings where obstructions are common, resulting in only partial visibility of the human. Considering this, we present OccFusion, an approach that utilizes efficient 3D Gaussian splatting supervised by pretrained 2D diffusion models for efficient and high-fidelity human rendering. We propose a pipeline consisting of three stages. In the Initialization stage, complete human masks are generated from partial visibility masks. In the Optimization stage, 3D human Gaussians are optimized with additional supervision by Score-Distillation Sampling (SDS) to create a complete geometry of the human. Finally, in the Refinement stage, in-context inpainting is designed to further improve rendering quality on the less observed human body parts. We evaluate OccFusion on ZJU-MoCap and challenging OcMotion sequences and find that it achieves state-of-the-art performance in the rendering of occluded humans. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # LiteSearch: LLMの効率的なツリー検索
LiteSearch: Efficacious Tree Search for LLM ( http://arxiv.org/abs/2407.00320v1 ) ライセンス: Link先を確認 | Ante Wang, Linfeng Song, Ye Tian, Baolin Peng, Dian Yu, Haitao Mi, Jinsong Su, Dong Yu, | (参考訳) 近年の研究では、木探索アルゴリズム(例えばモンテカルロ木探索)は複雑な数学的推論タスクにおけるLLM性能を劇的に向上させることができることが示唆されている。
しかし, 無駄な探索戦略により, グリージー復号の10倍以上の計算資源を必要とすることが多く, 実用化が困難である。
本研究では,この問題に対処するために,動的ノード選択とノードレベルの探索予算(最大児童数)を算出したガイド付き木探索アルゴリズムを提案する。
ステップワイズアノテーションを使わずにトレーニングされた値ネットワーク(未来)からの探索の進捗とガイダンスを考慮し,提案アルゴリズムは,割り当てられた計算予算の範囲内に展開する前に,最も有望なツリーノードを反復的に選択する。
GSM8KおよびTabMWPデータセットを用いて行った実験は,本手法が競争性能を提供するだけでなく,ベースライン法に比べて計算コストが大幅に低いことを示した。
Recent research suggests that tree search algorithms (e.g. Monte Carlo Tree Search) can dramatically boost LLM performance on complex mathematical reasoning tasks. However, they often require more than 10 times the computational resources of greedy decoding due to wasteful search strategies, making them difficult to be deployed in practical applications. This study introduces a novel guided tree search algorithm with dynamic node selection and node-level exploration budget (maximum number of children) calculation to tackle this issue. By considering the search progress towards the final answer (history) and the guidance from a value network (future) trained without any step-wise annotations, our algorithm iteratively selects the most promising tree node before expanding it within the boundaries of the allocated computational budget. Experiments conducted on the GSM8K and TabMWP datasets demonstrate that our approach not only offers competitive performance but also enjoys significantly lower computational costs compared to baseline methods. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # LLM生成自然言語のスケーリング法則:新しい探索法とデータ拡張法
LLM-Generated Natural Language Meets Scaling Laws: New Explorations and Data Augmentation Methods ( http://arxiv.org/abs/2407.00322v1 ) ライセンス: Link先を確認 | Zhenhua Wang, Guang Xu, Ming Ren, | (参考訳) 大規模言語モデル(LLM)の増加に伴い、自然言語処理はLLMベースのデータ拡張のような拡張を目撃している。
第一に、LLM(LLMNL)が生成する自然言語が人間の自然言語(HNL)と真に一致しているかどうかについての熟考の欠如、第二に、拡張データがLLMによってランダムに生成されるという監視は、すべてのデータが同等のトレーニング値を持っているとは限りなく、分類器のパフォーマンスを阻害する可能性があることを示唆している。
これらの課題に対処するために,LLMNLとHNLを本質的に計算するスケーリング法則を導入する。
広範な実験を通じて,LLMNLにおけるマンデルブロット法則からのわずかな逸脱(約0.2マンデルブロット指数)を明らかにし,HNLにおける複雑性の優位性を強調し,言語スタイルに関する解釈的議論を補完する。
これにより、LLMの拡張の確かな基盤が確立される。
さらに、GPT-4拡張データに関する決定を行うために、拡張法に適合性によって引き起こされるファジィ計算機構を活用する、ZGPTDAと呼ばれる、少数ショットテキスト分類のための新しいデータ拡張手法を提案する。
実世界のシナリオで実施された大規模な実験は、ZGPTDAの有効性(バートとロベルタのF1を7～10%向上させる)と競争性(最近のAugGPTおよびGENCOメソッドを約2%精度で通過させる)を確認している。
さらに、Hilbergの法則やTaylorの法則は、テキスト分類により多くの利益を与えることができるなど、興味深い洞察を明らかにします。
With the ascent of large language models (LLM), natural language processing has witnessed enhancements, such as LLM-based data augmentation. Nonetheless, prior research harbors two primary concerns: firstly, a lack of contemplation regarding whether the natural language generated by LLM (LLMNL) truly aligns with human natural language (HNL), a critical foundational question; secondly, an oversight that augmented data is randomly generated by LLM, implying that not all data may possess equal training value, that could impede the performance of classifiers. To address these challenges, we introduce the scaling laws to intrinsically calculate LLMNL and HNL. Through extensive experiments, we reveal slight deviations (approximately 0.2 Mandelbrot exponent) from Mandelbrot's law in LLMNL, underscore a complexity advantage in HNL, and supplement an interpretive discussion on language style. This establishes a solid foundation for LLM's expansion. Further, we introduce a novel data augmentation method for few-shot text classification, termed ZGPTDA, which leverages fuzzy computing mechanisms driven by the conformity to scaling laws to make decisions about GPT-4 augmented data. Extensive experiments, conducted in real-world scenarios, confirms the effectiveness (improving F1 of Bert and RoBerta by 7-10%) and competitiveness (surpassing recent AugGPT and GENCO methods by about 2% accuracy on DeBerta) of ZGPTDA. In addition, we reveal some interesting insights, e.g., Hilberg's law and Taylor's law can impart more benefits to text classification, etc. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # ソフトウェアセキュリティの社会心理学
The Social Psychology of Software Security (Psycurity) ( http://arxiv.org/abs/2407.00323v1 ) ライセンス: Link先を確認 | Lucas Gren, Robert Feldt, | (参考訳) 本稿では,社会心理学とセキュアソフトウェア工学の複雑な関係を考察し,安全ソフトウェアシステムの領域において社会心理学が果たす重要な役割について述べる。
技術的努力の他に、ソフトウェアプロセスへの社会心理学の原則の理解と統合は、堅牢でセキュアなソフトウェアシステムを確立する上で必須である、と論じる。
関連分野における最近の研究は、他のセキュリティ領域の社会心理学を理解することの重要性を示している。
最後に、ソフトウェアセキュリティ研究における重要なギャップを特定し、ソフトウェアセキュリティ研究により多くの社会心理学を取り入れるための一連の研究課題を示す。
This position paper explores the intricate relationship between social psychology and secure software engineering, underscoring the vital role social psychology plays in the realm of engineering secure software systems. Beyond a mere technical endeavor, this paper contends that understanding and integrating social psychology principles into software processes are imperative for establishing robust and secure software systems. Recent studies in related fields show the importance of understanding the social psychology of other security domains. Finally, we identify critical gaps in software security research and present a set of research questions for incorporating more social psychology into software security research. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # ロボット学習における目標達成課題に対する一定負の報酬の再検討
Revisiting Constant Negative Rewards for Goal-Reaching Tasks in Robot Learning ( http://arxiv.org/abs/2407.00324v1 ) ライセンス: Link先を確認 | Gautham Vasan, Yan Wang, Fahim Shahriar, James Bergstra, Martin Jagersand, A. Rupam Mahmood, | (参考訳) 多くの現実のロボット学習問題、例えばピック・アンド・プレイスや目的地への到着は、できるだけ早くゴール状態に達する問題と見なすことができる。
これらの問題は、エピソジック強化学習タスクとして定式化されると、目的とする目標と整合するように容易に特定できる。
このような単純さにもかかわらず、そのような定式化は、しばしばその困難さと情報提供性の欠如により、密集した報酬を優先して見過ごされる。
我々の研究は2つの報酬パラダイムとは対照的に、最小時のタスク仕様は、高品質なポリシーの学習を促進するだけでなく、自身のパフォーマンス指標における厳密なリワードベースのポリシーを超越する可能性があることを明らかにしている。
重要な点として、このような疎いフィードバック設定での成功を学習する上で、初期方針のゴール・ヒット率を堅牢な早期指標とみなす。
最後に, 4つの異なる実ロボティックプラットフォームを用いて, 一定の負の報酬を用いて, ゼロから2～3時間以内に画素ベースのポリシーを学習可能であることを示す。
Many real-world robot learning problems, such as pick-and-place or arriving at a destination, can be seen as a problem of reaching a goal state as soon as possible. These problems, when formulated as episodic reinforcement learning tasks, can easily be specified to align well with our intended goal: -1 reward every time step with termination upon reaching the goal state, called minimum-time tasks. Despite this simplicity, such formulations are often overlooked in favor of dense rewards due to their perceived difficulty and lack of informativeness. Our studies contrast the two reward paradigms, revealing that the minimum-time task specification not only facilitates learning higher-quality policies but can also surpass dense-reward-based policies on their own performance metrics. Crucially, we also identify the goal-hit rate of the initial policy as a robust early indicator for learning success in such sparse feedback settings. Finally, using four distinct real-robotic platforms, we show that it is possible to learn pixel-based policies from scratch within two to three hours using constant negative rewards. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # Teola: LLMベースのアプリケーションのエンドツーエンド最適化を目指して
Teola: Towards End-to-End Optimization of LLM-based Applications ( http://arxiv.org/abs/2407.00326v1 ) ライセンス: Link先を確認 | Xin Tan, Yimin Jiang, Yitao Yang, Hong Xu, | (参考訳) 大規模言語モデル(LLM)ベースのアプリケーションは、LLMコンポーネントと非LLMコンポーネントの両方で構成され、それぞれがエンドツーエンドのレイテンシに寄与する。
LLM推論の最適化に多大な努力を払っているにも関わらず、エンドツーエンドのワークフロー最適化は見過ごされている。
既存のフレームワークでは,タスクモジュールによる粗粒度のオーケストレーションが採用されている。
タスクプリミティブを基本単位として,各クエリのワークフローをプリミティブレベルのデータフローグラフとして表現する,詳細なエンドツーエンドオーケストレーションを提案する。
これは、はるかに大きな設計空間を明示的に公開し、異なるモジュールのプリミティブ間の並列化とパイプライン化の最適化を可能にし、スケジューリングを強化してアプリケーションレベルのパフォーマンスを向上させる。
私たちは、このスキームを実装したLLMベースのアプリケーションのための、新しいオーケストレーションフレームワークであるTeolaを構築します。
総合的な実験により、Teolaは様々なLLMアプリケーションにまたがる既存のシステムの最大2.09倍のスピードアップを実現可能であることが示されている。
Large language model (LLM)-based applications consist of both LLM and non-LLM components, each contributing to the end-to-end latency. Despite great efforts to optimize LLM inference, end-to-end workflow optimization has been overlooked. Existing frameworks employ coarse-grained orchestration with task modules, which confines optimizations to within each module and yields suboptimal scheduling decisions. We propose fine-grained end-to-end orchestration, which utilizes task primitives as the basic units and represents each query's workflow as a primitive-level dataflow graph. This explicitly exposes a much larger design space, enables optimizations in parallelization and pipelining across primitives of different modules, and enhances scheduling to improve application-level performance. We build Teola, a novel orchestration framework for LLM-based applications that implements this scheme. Comprehensive experiments show that Teola can achieve up to 2.09x speedup over existing systems across various popular LLM applications. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # シンガポールにおけるデング予測のための機械学習モデル
Machine Learning Models for Dengue Forecasting in Singapore ( http://arxiv.org/abs/2407.00332v1 ) ライセンス: Link先を確認 | Zi Iun Lai, Wai Kit Fung, Enquan Chew, | (参考訳) 伝統的に疫病が流行する地域を超えて、デング病の世界的な負担は最も急速に成長している地域の一つであると予測されている。
現在、直接治療やワクチン接種が限られているため、ベクターコントロールによる予防は、アウトブレイクを管理する最も効果的な方法であると広く信じられている。
本研究では,シンガポールにおける週次デング症例の予測のために,従来の状態空間モデル(平均,自己回帰,ARIMA,SARIMA),教師あり学習技術(XGBoost,SVM,KNN),深層ネットワーク(LSTM,CNN,ConvLSTM)について検討した。
ML技術の特徴として,気象データと検索エンジンのトレンドが挙げられた。
CNNによる予測は、2019年の週例で最低のRMSEとなった。
With emerging prevalence beyond traditionally endemic regions, the global burden of dengue disease is forecasted to be one of the fastest growing. With limited direct treatment or vaccination currently available, prevention through vector control is widely believed to be the most effective form of managing outbreaks. This study examines traditional state space models (moving average, autoregressive, ARIMA, SARIMA), supervised learning techniques (XGBoost, SVM, KNN) and deep networks (LSTM, CNN, ConvLSTM) for forecasting weekly dengue cases in Singapore. Meteorological data and search engine trends were included as features for ML techniques. Forecasts using CNNs yielded lowest RMSE in weekly cases in 2019. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # スクラム学習におけるバーチャルリアリティシリアスゲームとLEGOシリアスプレイの有効性の検討と比較
Examining and Comparing the Effectiveness of Virtual Reality Serious Games and LEGO Serious Play for Learning Scrum ( http://arxiv.org/abs/2407.00334v1 ) ライセンス: Link先を確認 | Aldo Gordillo, Daniel López-Fernández, Jesús Mayor, | (参考訳) 近年,ゲームベースの学習手法に関する研究が盛んに行われている。
しかし、この研究を詳しく見てみると、仮想現実の真剣なゲームやLEGO Serious Playのようなゲームベースの学習アプローチを調べるためには、さらなる研究が必要であることが分かる。
本稿では、LEGO Serious Play方法論に基づく学習活動と仮想現実に基づく真剣なゲームのスクラム学習効果と関連するアジャイルプラクティスを比較し、比較する。
本研究は,2つのグループ,テスト前とテスト後の2つのグループ,および知覚質問紙を用いた準実験設計を用いた。
サンプルは59人のソフトウェア工学の学生で構成され,うち22人はグループAに属し,残りの37人はグループBに属していた。
その結果、ゲームベースの学習アプローチは、パフォーマンスとモチベーションを学習するという点でスクラムや関連するアジャイルプラクティスを学ぶのに効果的であることがわかったが、仮想現実の真剣なゲームをプレイした学生は、学習パフォーマンスの点で他グループよりも優れた成績を示した。
Significant research work has been undertaken related to the game-based learning approach over the last years. However, a closer look at this work reveals that further research is needed to examine some types of game-based learning approaches such as virtual reality serious games and LEGO Serious Play. This article examines and compares the effectiveness for learning Scrum and related agile practices of a serious game based on virtual reality and a learning activity based on the LEGO Serious Play methodology. The presented study used a quasi-experimental design with two groups, pre- and post-tests, and a perceptions questionnaire. The sample was composed of 59 software engineering students, 22 of which belonged to group A, while the other 37 were part of group B. The students in group A played the virtual reality serious game, whereas the students in group B conducted the LEGO Serious Play activity. The results show that both game-based learning approaches were effective for learning Scrum and related agile practices in terms of learning performance and motivation, but they also show that the students who played the virtual reality serious game outperformed their peers from the other group in terms of learning performance. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # Ethereumのスマートコントラクト脆弱性検出を意識したデュアルビュー
Dual-view Aware Smart Contract Vulnerability Detection for Ethereum ( http://arxiv.org/abs/2407.00336v1 ) ライセンス: Link先を確認 | Jiacheng Yao, Maolin Wang, Wanqi Chen, Chengxiang Jin, Jiajun Zhou, Shanqing Yu, Qi Xuan, | (参考訳) Ethereum技術の幅広い応用は、伝統的な産業に技術革新をもたらした。
Ethereumのコアアプリケーションの1つとして、スマートコントラクトはさまざまな機能要件を満たすためにさまざまなコントラクトコードを使用し、広く利用されている。
しかし、スマートコントラクトの非タンパビリティは、自然な欠陥やヒューマンエラーによって引き起こされる脆弱性と相まって、ブロックチェーンセキュリティに前例のない課題をもたらしている。
したがって、ブロックチェーン技術の健全な開発とブロックチェーンコミュニティの安定性を確保するためには、スマートコントラクトの脆弱性検出技術を研究することが特に重要です。
本稿では,DVDet という,デュアルビュー対応スマートコントラクト脆弱性検出フレームワークを提案する。
このフレームワークは、まず、スマートコントラクトのソースコードとバイトコードを重み付けされたグラフと制御フローシーケンスに変換し、これらの2つの視点から潜在的なリスクの特徴を捉え、分析のためにそれらを統合し、最終的に効果的なコントラクト脆弱性検出を実現する。
Ethereumデータセットに関する包括的な実験は、我々のメソッドが脆弱性の検出において他よりも優れていることを示している。
The wide application of Ethereum technology has brought technological innovation to traditional industries. As one of Ethereum's core applications, smart contracts utilize diverse contract codes to meet various functional needs and have gained widespread use. However, the non-tamperability of smart contracts, coupled with vulnerabilities caused by natural flaws or human errors, has brought unprecedented challenges to blockchain security. Therefore, in order to ensure the healthy development of blockchain technology and the stability of the blockchain community, it is particularly important to study the vulnerability detection techniques for smart contracts. In this paper, we propose a Dual-view Aware Smart Contract Vulnerability Detection Framework named DVDet. The framework initially converts the source code and bytecode of smart contracts into weighted graphs and control flow sequences, capturing potential risk features from these two perspectives and integrating them for analysis, ultimately achieving effective contract vulnerability detection. Comprehensive experiments on the Ethereum dataset show that our method outperforms others in detecting vulnerabilities. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # WgLaSDI: 弱い形をしたグレディ・ラテント・スペース・ダイナミクスの同定
WgLaSDI: Weak-Form Greedy Latent Space Dynamics Identification ( http://arxiv.org/abs/2407.00337v1 ) ライセンス: Link先を確認 | Xiaolong He, April Tran, David M. Bortz, Youngsoo Choi, | (参考訳) パラメトリックグリーディ潜在空間力学同定(gLaSDI)フレームワークは、高次元非線形物理系の正確かつ効率的なモデリングに有望な可能性を証明している。
しかし、ノイズの多いデータを扱うことは依然として困難である。
雑音に対するロバスト性を高めるため、非線形力学(WENDy)の弱形式推定をgLaSDIに組み込む。
提案する弱形式gLaSDI(WgLaSDI)フレームワークでは,高次元データの固有非線形潜在空間ダイナミクスを発見するために,オートエンコーダとWENDyを同時に訓練する。
gLaSDIで使用される非線形力学(SINDy)の標準的なスパース同定と比較すると、WENDyは分散低減と頑健な潜在空間探索を可能にし、より正確で効率的な低次モデリングをもたらす。
さらに、WgLaSDIにおけるグリーディ物理インフォームドアクティブラーニングにより、フライでの最適なトレーニングデータの適応サンプリングが可能となり、モデリング精度が向上した。
提案手法の有効性は, 粘度やバーガース方程式, 時間依存性半径対流, プラズマ物理学におけるブラソフ方程式など, 様々な非線形力学問題をモデル化することによって実証される。
5-10%のガウスホワイトノイズを含むデータにより、WgLaSDIはgLaSDIを桁違いに上回り、相対誤差が1-7%に達する。
高忠実度モデルと比較して、WgLaSDIは121から1,779倍のスピードアップを達成する。
The parametric greedy latent space dynamics identification (gLaSDI) framework has demonstrated promising potential for accurate and efficient modeling of high-dimensional nonlinear physical systems. However, it remains challenging to handle noisy data. To enhance robustness against noise, we incorporate the weak-form estimation of nonlinear dynamics (WENDy) into gLaSDI. In the proposed weak-form gLaSDI (WgLaSDI) framework, an autoencoder and WENDy are trained simultaneously to discover intrinsic nonlinear latent-space dynamics of high-dimensional data. Compared to the standard sparse identification of nonlinear dynamics (SINDy) employed in gLaSDI, WENDy enables variance reduction and robust latent space discovery, therefore leading to more accurate and efficient reduced-order modeling. Furthermore, the greedy physics-informed active learning in WgLaSDI enables adaptive sampling of optimal training data on the fly for enhanced modeling accuracy. The effectiveness of the proposed framework is demonstrated by modeling various nonlinear dynamical problems, including viscous and inviscid Burgers' equations, time-dependent radial advection, and the Vlasov equation for plasma physics. With data that contains 5-10% Gaussian white noise, WgLaSDI outperforms gLaSDI by orders of magnitude, achieving 1-7% relative errors. Compared with the high-fidelity models, WgLaSDI achieves 121 to 1,779x speed-up. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # I」のエコー--デモグラフィックに強化された単語埋め込みによるアイデンティティの追跡
The Echoes of the 'I': Tracing Identity with Demographically Enhanced Word Embeddings ( http://arxiv.org/abs/2407.00340v1 ) ライセンス: Link先を確認 | Ivan Smirnov, | (参考訳) アイデンティティは社会科学において最もよく研究されている構成要素の1つである。
しかし、アイデンティティに関する広範な理論的研究にもかかわらず、既存の理論を検証・洗練するための追加の実証データが必要である。
本稿では,社会デミノグラフィ情報を用いた単語埋め込みの強化によるアイデンティティ研究の新たなアプローチを提案する。
概念実証として,ジェンダーの自己観に関する確立した知見を再現し,拡張することが実証された。
提案手法は,ソーシャルメディア投稿など,自然に発生する膨大なデータを研究者が利用できるように,多種多様な設定で適用することができる。
すでにコンピュータ科学で導入された類似の手法とは異なり、我々の手法は社会集団間の差異の研究を可能にする。
これは特に社会科学者にアピールし、この分野における計算手法の迅速な採用を促す可能性がある。
Identity is one of the most commonly studied constructs in social science. However, despite extensive theoretical work on identity, there remains a need for additional empirical data to validate and refine existing theories. This paper introduces a novel approach to studying identity by enhancing word embeddings with socio-demographic information. As a proof of concept, we demonstrate that our approach successfully reproduces and extends established findings regarding gendered self-views. Our methodology can be applied in a wide variety of settings, allowing researchers to tap into a vast pool of naturally occurring data, such as social media posts. Unlike similar methods already introduced in computer science, our approach allows for the study of differences between social groups. This could be particularly appealing to social scientists and may encourage the faster adoption of computational methods in the field. | 翻訳日:2024-07-04 05:31:09 公開日:2024-06-29 |
| # アスペクトベース感性分析のための大規模言語モデルによる反復的データ拡張
Iterative Data Augmentation with Large Language Models for Aspect-based Sentiment Analysis ( http://arxiv.org/abs/2407.00341v1 ) ライセンス: Link先を確認 | Haiyun Li, Qihuang Zhong, Ke Zhu, Juhua Liu, Bo Du, Dacheng Tao, | (参考訳) Aspect-based Sentiment Analysis (ABSA) は重要な感情分析課題であり、ある文の側面に対する感情の極性を決定することを目的としている。
ラベル付きデータが高価で制限されているため、データ拡張(DA)がABSAの性能向上の標準となっている。
しかし、現在のDAメソッドは通常、いくつかの欠点があります。
1) 流布とコヒーレンスが乏しいこと。
2)生成データの多様性の欠如、及び
3) 既存のラベル付きデータに依存することで,現実のシナリオにおけるアプリケーションの障害となる。
これらの問題に対処して,ABSAの性能向上を図るため,IterDという系統的反復データ拡張フレームワークを提案する。
IterDの中核は、大規模言語モデル(LLM)の強力な能力を活用して、教師なしの文コーパスから始まる、より流動的で多様な合成ラベル付きデータを反復的に生成することである。
4つの広く使用されているABSAベンチマークの大規模な実験により、IterDは5つのベースラインABSAモデルの間で一貫性があり、重要なパフォーマンス向上をもたらすことが示された。
さらに奨励的に、IterDが生成した合成データは、手動でアノテートされたデータに対して同等またはそれ以上のパフォーマンスを達成することができる。
Aspect-based Sentiment Analysis (ABSA) is an important sentiment analysis task, which aims to determine the sentiment polarity towards an aspect in a sentence. Due to the expensive and limited labeled data, data augmentation (DA) has become the standard for improving the performance of ABSA. However, current DA methods usually have some shortcomings: 1) poor fluency and coherence, 2) lack of diversity of generated data, and 3) reliance on some existing labeled data, hindering its applications in real-world scenarios. In response to these problems, we propose a systematic Iterative Data augmentation framework, namely IterD, to boost the performance of ABSA. The core of IterD is to leverage the powerful ability of large language models (LLMs) to iteratively generate more fluent and diverse synthetic labeled data, starting from an unsupervised sentence corpus. Extensive experiments on 4 widely-used ABSA benchmarks show that IterD brings consistent and significant performance gains among 5 baseline ABSA models. More encouragingly, the synthetic data generated by IterD can achieve comparable or even better performance against the manually annotated data. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # コーパスフィルタを用いた不特定機能アライメントによる韓国のアスペクトベース感性分析
Korean Aspect-Based Sentiment Analysis via Implicit-Feature Alignment with Corpus Filtering ( http://arxiv.org/abs/2407.00342v1 ) ライセンス: Link先を確認 | Kibeom Nam, | (参考訳) 韓国のレストランレビューに対するアスペクトベース感性分析(ABSA)の調査は、既存の文献に特に欠落している。
本研究は,韓国語などの低リソース言語におけるABSAの直感的で効果的な枠組みを提案する。
翻訳されたベンチマークと未ラベルの韓国データを統合することで、予測ラベルを最適化する。
翻訳データに基づいて微調整されたモデルを用いて,実際の韓国のNLI集合を擬似ラベルした。
その後,この擬似NLI集合にLaBSEとMSPに基づくフィルタリングを適用し,追加訓練によりアスペクトカテゴリー検出と極性判定を増強した。
二重フィルタリングを取り入れたこのモデルはデータセットギャップを橋渡しし、最小限のリソースを持つ韓国のABSAで肯定的な結果を得た。
新たなデータ注入パイプラインを通じて,低リソースの言語国において,高リソースのデータを活用し,企業や個人を問わず,コミュニティ内で効果的なモデルを構築することを目的としている。
英語のABSAと比較すると,F1スコアと精度に約3%の差が認められた。
このリンクで、韓国のABSAのためのデータセットとコードをリリースします。
Investigations into Aspect-Based Sentiment Analysis (ABSA) for Korean restaurant reviews are notably lacking in the existing literature. Our research proposes an intuitive and effective framework for ABSA in low-resource languages such as Korean. It optimizes prediction labels by integrating translated benchmark and unlabeled Korean data. Using a model fine-tuned on translated data, we pseudo-labeled the actual Korean NLI set. Subsequently, we applied LaBSE and MSP-based filtering to this pseudo-NLI set as implicit feature, enhancing Aspect Category Detection and Polarity determination through additional training. Incorporating dual filtering, this model bridged dataset gaps, achieving positive results in Korean ABSA with minimal resources. Through additional data injection pipelines, our approach aims to utilize high-resource data and construct effective models within communities, whether corporate or individual, in low-resource language countries. Compared to English ABSA, our framework showed an approximately 3% difference in F1 scores and accuracy. We release the dataset and our code for Korean ABSA, at this link. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # Unicornsは存在しない - オープンソースでコミュニティマネージャを雇用し、評価する
Unicorns Do Not Exist: Employing and Appreciating Community Managers in Open Source ( http://arxiv.org/abs/2407.00345v1 ) ライセンス: Link先を確認 | Raphael Sonabend, Anna Carnegie, Anne Lee Steele, Marie Nugent, Malvika Sharan, | (参考訳) オープンソースソフトウェアはオープンソースライセンスの下でリリースされており、これはソフトウェアを偏見なく共有し、適応し、再共有することができることを意味する。
オープンソースソフトウェアの文脈では、コミュニティマネージャは、オープンソースツールの開発と開発に貢献するコミュニティを管理します。
オープンソースソフトウェアを維持する上で重要な役割を担っているにもかかわらず、コミュニティマネージャはしばしば見過ごされている。
本稿では、この傾向が続くと、なぜこのようなことが起こるのか、また、今後の課題を考察する。
すなわち、もしコミュニティマネージャが企業のニーズに焦点を合わせ、彼らが管理しようとしているコミュニティと対立するようになるとします。
我々は、役割の専門化の必要性を強調し、コミュニティマネージャの実際の仕事を強調する透明なメトリクスを提唱することで、この問題を克服する方法を提案する。
これらのガイドラインに従うことで、ソフトウェア開発者やエンジニアを含む従来の役割と同様に、この重要な役割が、それに値する透明性と敬意で扱えるようになります。
Open-source software is released under an open-source licence, which means the software can be shared, adapted, and reshared without prejudice. In the context of open-source software, community managers manage the communities that contribute to the development and upkeep of open-source tools. Despite playing a crucial role in maintaining open-source software, community managers are often overlooked. In this paper we look at why this happens and the troubling future we are heading towards if this trend continues. Namely if community managers are driven to focus on corporate needs and become conflicted with the communities they are meant to be managing. We suggest methods to overcome this by stressing the need for the specialisation of roles and by advocating for transparent metrics that highlight the real work of the community manager. Following these guidelines can allow this vital role to be treated with the transparency and respect that it deserves, alongside more traditional roles including software developers and engineers. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # 乱れたキラル導波路QEDはしごにおける光子ルーティング:光子局在と集団原子効果の相互作用
Photon routing in disordered chiral waveguide QED ladders: Interplay between photonic localization and collective atomic effects ( http://arxiv.org/abs/2407.00346v1 ) ライセンス: Link先を確認 | Nishan Amgain, Imran M. Mirza, | (参考訳) 近年、光子ルーティングは量子ネットワークや光通信における重要な応用のために、かなりの研究活動を行っている。
本稿では、多エミッタ乱れキラル導波路量子電磁力学(wQED)はしごにおける単一光子ルーティング方式について検討する。
wQEDはしごは、同時に2つの1次元ロスレス導波路と、2レベル量子エミッタ(QE)または原子と相互作用する双極子-双極子鎖からなる。
特に,温度誘起位置障害によるQEsの周期的配置からの離脱がルーティングの確率にどのように影響するかを分析する。
これは、双極子-双極子相互作用から生じる集合的原子効果と、単一光子局在に繋がる原子位置における障害との相互作用が、ルーティング確率をどのように変化させるかを分析することを含む。
いくつかの重要な結果について、20QEからなる格子を考慮した場合、ルーティング確率は周期的および不規則なwQEDラグに対してかなりの改善(90\%以上の値)を示すことが分かる。
最大20個のQE鎖の経路効率および局在長を調べた結果, この集団効果が自然放出損失や弱い障害に対するロバスト性も確認できた。
これらの結果は、不完全なエミッタトラップの現実的な条件下での量子ネットワークや分散量子コンピューティングに応用できるかもしれない。
In recent years, photon routing has garnered considerable research activity due to its key applications in quantum networking and optical communications. This paper studies the single photon routing scheme in many-emitter disordered chiral waveguide quantum electrodynamics (wQED) ladders. The wQED ladder consists of two one-dimensional lossless waveguides simultaneously and chirally coupled with a chain of dipole-dipole interacting two-level quantum emitters (QEs) or atoms. In particular, we analyze how a departure from the periodic placement of the QEs due to temperature-induced position disorder can impact the routing probability. This involves analyzing how the interplay between the collective atomic effects originating from the dipole-dipole interaction and disorder in the atomic location leading to single-photon localization can change the routing probabilities. As for some key results, we find that the routing probability exhibits a considerable improvement (more than $90\%$ value) for periodic and disordered wQED ladders when considering lattices consisting of twenty QEs. This robustness of collective effects against spontaneous emission loss and weak disorders is further confirmed by examining the routing efficiency and localization length for up to twenty QE chains. These results may find applications in quantum networking and distributed quantum computing under the realistic conditions of imperfect emitter trappings. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # 大規模モデルベースモバイルエッジコンピューティングシステムにおけるリソース割り当てとセキュア無線通信
Resource Allocation and Secure Wireless Communication in the Large Model-based Mobile Edge Computing System ( http://arxiv.org/abs/2407.00347v1 ) ライセンス: Link先を確認 | Zefan Wang, Yitong Wang, Jun Zhao, | (参考訳) 大規模モデルとモバイルエッジコンピューティングの急速な進歩により、トランスファーラーニング、特に微調整によって、下流タスクにモデルを適応させるには、トランスファーラーニングが不可欠になっている。
伝統的に、これはユーザーがモデルオーナーとデータを共有して微調整することを要求する。
さらに、微調整された大規模モデルは計算集約的で、多くのユーザにとって実用的ではないことが多い。
これらの課題に対処するために、オフサイトチューニングと物理層セキュリティを組み合わせたシステムを導入し、ローカルデータ所有者に軽量なアダプタと圧縮エミュレータを提供する。
データ所有者は、アダプタをローカルに微調整し、モデル所有者に機密チャンネルを通じて安全に送信し、プライバシとリソースの保護を保証する。
本稿では,エッジ上に配置されたデータ所有者と大規模モデル所有者の計算資源配分の最適化と,アダプタの圧縮比に着目した。
我々は、エネルギー消費や遅延といったシステムコストを最小化しながら、私たちが定義したユーティリティを最大化するために、秘密のアップリンクチャネルを組み込んだ。
この最適化はディンケルバッハアルゴリズム、分数計画法、連続凸近似および交互最適化を用いる。
実験は既存の手法よりもアルゴリズムの方が優れていることを示す。
With the rapid advancement of large models and mobile edge computing, transfer learning, particularly through fine-tuning, has become crucial for adapting models to downstream tasks. Traditionally, this requires users to share their data with model owners for fine-tuning, which is not only costly but also raises significant privacy concerns. Furthermore, fine-tuning large-scale models is computationally intensive and often impractical for many users. To tackle these challenges, we introduce a system that combines offsite-tuning with physical-layer security, which provides local data owners with a lightweight adapter and a compressed emulator. Data owners then fine-tune the adapter locally and securely send it back to the model owners through a confidential channel for integration, ensuring privacy and resource conservation. Our paper focuses on optimizing computational resource allocation among data owners and the large model owner deployed on edge, and on the compression ratio of adapters. We incorporate a secrecy uplink channel to maximize the utility that we defined while minimizing system costs like energy consumption and delay. The optimization uses the Dinkelbach algorithm, fractional programming, successive convex approximation and alternating optimization. Experiments demonstrate our algorithm's superiority over existing methods. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # PhyTracker:Phytoplanktonのオンライントラッカー
PhyTracker: An Online Tracker for Phytoplankton ( http://arxiv.org/abs/2407.00352v1 ) ライセンス: Link先を確認 | Yang Yu, Qingxuan Lv, Yuezun Li, Zhiqiang Wei, Junyu Dong, | (参考訳) 水生生態系の重要な構成要素である植物プランクトンは、海洋環境のプロセスや環境を理解するために効率的なモニタリングを必要とする。
従来の植物プランクトンモニタリング手法は、非その場観察に依存しており、時間消費と資源集約であり、時間的分析を制限している。
これらの制約に対処するために,植物プランクトンの自動追跡用に設計されたインテリジェントなin situトラッキングフレームワークであるPhyTrackerを紹介した。
PhyTrackerは、水の流れの制約された移動、目立たない外観、不純物の存在など、植物プランクトンモニタリングに特有の重要な課題を克服している。
提案手法には,テクスチャ強化特徴抽出(TFE)モジュール,注意強化時空間アソシエーション(ATA)モジュール,フロー非依存運動リファインメント(FMR)モジュールの3つのイノベーティブモジュールが組み込まれている。
これらのモジュールは特徴捕獲を高め、植物プランクトンと不純物を区別し、運動特性を洗練させる。
PMOTデータセットの大規模な実験は、植物プランクトン追跡におけるPhyTrackerの優位性を検証し、MOTデータセットのさらなるテストは、その汎用性を示し、従来の追跡方法よりも優れていた。
この研究は、植物プランクトンと伝統的なオブジェクトの主な違いを強調し、植物プランクトンモニタリングの効果的なソリューションを提供する。
Phytoplankton, a crucial component of aquatic ecosystems, requires efficient monitoring to understand marine ecological processes and environmental conditions. Traditional phytoplankton monitoring methods, relying on non-in situ observations, are time-consuming and resource-intensive, limiting timely analysis. To address these limitations, we introduce PhyTracker, an intelligent in situ tracking framework designed for automatic tracking of phytoplankton. PhyTracker overcomes significant challenges unique to phytoplankton monitoring, such as constrained mobility within water flow, inconspicuous appearance, and the presence of impurities. Our method incorporates three innovative modules: a Texture-enhanced Feature Extraction (TFE) module, an Attention-enhanced Temporal Association (ATA) module, and a Flow-agnostic Movement Refinement (FMR) module. These modules enhance feature capture, differentiate between phytoplankton and impurities, and refine movement characteristics, respectively. Extensive experiments on the PMOT dataset validate the superiority of PhyTracker in phytoplankton tracking, and additional tests on the MOT dataset demonstrate its general applicability, outperforming conventional tracking methods. This work highlights key differences between phytoplankton and traditional objects, offering an effective solution for phytoplankton monitoring. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # ネットワークパラメータ化のためのニューラルネットワーク表現の精度とパラメータ効率の向上
Enhancing Accuracy and Parameter-Efficiency of Neural Representations for Network Parameterization ( http://arxiv.org/abs/2407.00356v1 ) ライセンス: Link先を確認 | Hongjun Choi, Jayaraman J. Thiagarajan, Ruben Glatt, Shusen Liu, | (参考訳) 本研究では,予測ネットワークを用いたニューラルネットワーク重みのパラメータ化における精度とパラメータ効率に関する基本的なトレードオフについて検討する。
従来のモデル精度の回復が唯一の目的である場合、重量復元目的だけで効果的に達成できるという驚くべき発見を提示する。
さらに, パラメータ効率制約下での重量再現性向上の基礎的要因について検討し, 知識蒸留などの補助的目的から再構築目標を分離する新たなトレーニング手法を提案する。
最後に、これらの結果は、モデル精度と予測ネットワークパラメータ効率の両方の改善を同時に達成する必要がある、より実用的なシナリオに道を開く。
In this work, we investigate the fundamental trade-off regarding accuracy and parameter efficiency in the parameterization of neural network weights using predictor networks. We present a surprising finding that, when recovering the original model accuracy is the sole objective, it can be achieved effectively through the weight reconstruction objective alone. Additionally, we explore the underlying factors for improving weight reconstruction under parameter-efficiency constraints, and propose a novel training scheme that decouples the reconstruction objective from auxiliary objectives such as knowledge distillation that leads to significant improvements compared to state-of-the-art approaches. Finally, these results pave way for more practical scenarios, where one needs to achieve improvements on both model accuracy and predictor network parameter-efficiency simultaneously. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # qLUE:多次元データセットのための量子クラスタリングアルゴリズム
qLUE: A Quantum Clustering Algorithm for Multi- Dimensional Datasets ( http://arxiv.org/abs/2407.00357v1 ) ライセンス: Link先を確認 | Dhruv Gopalakrishnan, Luca Dellantonio, Antonio Di Pilato, Wahid Redjeb, Felice Pantaleo, Michele Mosca, | (参考訳) クラスタリングアルゴリズムは、いくつかの技術応用に基づいており、機械学習のような急速に進化する分野の発展を加速している。
しかし、近年では、より空間的な次元にまたがるデータセットから生じる課題に直面していることが明らかになっている。
実際、最も優れたクラスタリングアルゴリズムは点数で線形にスケールするが、局所的な点密度については二次的にスケールする。
本稿では,点数と密度の両方で線形にスケールする量子クラスタリングアルゴリズムqLUEを紹介する。
qLUEは、将来の高エネルギー物理実験におけるイベント再構成(ER)の挑戦的な時間とメモリ予算に対応するために開発されたアルゴリズムであるCLUEにインスパイアされている。
このようにして、qLUEは量子コンピュータによって提供される二次的なスピードアップで数十年の開発をマージする。
我々はいくつかのシナリオでqLUEを数値的にテストし、その効果を実証し、特に高密度の高次元データセットにおいて、複雑なデータ分析タスクを処理するための有望なルートであることを証明した。
Clustering algorithms are at the basis of several technological applications, and are fueling the development of rapidly evolving fields such as machine learning. In the recent past, however, it has become apparent that they face challenges stemming from datasets that span more spatial dimensions. In fact, the best-performing clustering algorithms scale linearly in the number of points, but quadratically with respect to the local density of points. In this work, we introduce qLUE, a quantum clustering algorithm that scales linearly in both the number of points and their density. qLUE is inspired by CLUE, an algorithm developed to address the challenging time and memory budgets of Event Reconstruction (ER) in future High-Energy Physics experiments. As such, qLUE marries decades of development with the quadratic speedup provided by quantum computers. We numerically test qLUE in several scenarios, demonstrating its effectiveness and proving it to be a promising route to handle complex data analysis tasks -- especially in high-dimensional datasets with high densities of points. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # RAGからRICHES:シークエンス・ジェネレーションによる検索
From RAG to RICHES: Retrieval Interlaced with Sequence Generation ( http://arxiv.org/abs/2407.00361v1 ) ライセンス: Link先を確認 | Palak Jain, Livio Baldini Soares, Tom Kwiatkowski, | (参考訳) 本稿では、シーケンス生成タスクで検索をインターリーブする新しいアプローチであるRICHESを提案する。
RICHESは、レトリバーとジェネレータを分離する必要をなくし、従来のRAGシステムに代わるものを提供する。
コーパスに拘束された内容を直接デコードすることで、ドキュメントを検索する。
生成と検索を統一することで、単独で様々な新しいタスクに適応できます。
RICHESは、追加のトレーニングなしで、インストラクションチューニングされたモデルで動作することができる。
属性付きエビデンスを提供し、マルチホップ検索をサポートし、次に何を取得するかを考えるための考えをインターリーブする。
本稿では,属性付きQAやマルチホップQAを含むODQAタスクにおけるRICHESの強い性能を示す。
We present RICHES, a novel approach that interleaves retrieval with sequence generation tasks. RICHES offers an alternative to conventional RAG systems by eliminating the need for separate retriever and generator. It retrieves documents by directly decoding their contents, constrained on the corpus. Unifying retrieval with generation allows us to adapt to diverse new tasks via prompting alone. RICHES can work with any Instruction-tuned model, without additional training. It provides attributed evidence, supports multi-hop retrievals and interleaves thoughts to plan on what to retrieve next, all within a single decoding pass of the LLM. We demonstrate the strong performance of RICHES across ODQA tasks including attributed and multi-hop QA. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # JSCDS: Caries RGB画像のためのJason-Shannon分散を用いたコアデータ選択手法
JSCDS: A Core Data Selection Method with Jason-Shannon Divergence for Caries RGB Images-Efficient Learning ( http://arxiv.org/abs/2407.00362v1 ) ライセンス: Link先を確認 | Peiliang Zhang, Yujia Tong, Chenghu Du, Chao Che, Yongjun Zhu, | (参考訳) 深層学習に基づくRGBキャリー検出は、キャリー識別の効率を改善し、口腔疾患の予防に不可欠である。
ディープラーニングモデルのパフォーマンスは、高品質なデータに依存し、相当なトレーニングリソースを必要とするため、効率的なデプロイメントが困難になる。
低品質で紛らわしいデータを排除することで、コアデータの選択は、モデルパフォーマンスを著しく損なうことなく、トレーニング効率を向上させることを目的としている。
しかし,距離に基づくデータ選択手法は,高次元キャリーデータ間の依存関係の識別に苦慮している。
この問題に対処するために,Jensen-Shannon Divergence (JSCDS) を用いたコアデータ選択手法を提案する。
コアデータ選択基準を,異なるクラスにおけるサンプルの分布として記述する。
JSCDSは、カーリー分類ネットワークにサンプル埋め込み表現を用いてクラスタセンターを計算し、Jensen-Shannon Divergenceを用いて、データサンプルとクラスタセンター間の相互情報を計算し、高次元データ間の非線形依存関係をキャプチャする。
平均的相互情報は上記の分布に適合するように算出され、モデルトレーニングのコアセットを構築するための基準として機能する。
RGBキャリーデータセットの大規模な実験により、JSCDSは予測性能と時間消費において、他のデータ選択方法よりも優れていることが示された。
特に、JSCDSは、コアデータの50%しか持たない完全なデータセットモデルのパフォーマンスを上回り、そのパフォーマンス上の優位性は、コアデータの70%でより顕著になる。
Deep learning-based RGB caries detection improves the efficiency of caries identification and is crucial for preventing oral diseases. The performance of deep learning models depends on high-quality data and requires substantial training resources, making efficient deployment challenging. Core data selection, by eliminating low-quality and confusing data, aims to enhance training efficiency without significantly compromising model performance. However, distance-based data selection methods struggle to distinguish dependencies among high-dimensional caries data. To address this issue, we propose a Core Data Selection Method with Jensen-Shannon Divergence (JSCDS) for efficient caries image learning and caries classification. We describe the core data selection criterion as the distribution of samples in different classes. JSCDS calculates the cluster centers by sample embedding representation in the caries classification network and utilizes Jensen-Shannon Divergence to compute the mutual information between data samples and cluster centers, capturing nonlinear dependencies among high-dimensional data. The average mutual information is calculated to fit the above distribution, serving as the criterion for constructing the core set for model training. Extensive experiments on RGB caries datasets show that JSCDS outperforms other data selection methods in prediction performance and time consumption. Notably, JSCDS exceeds the performance of the full dataset model with only 50% of the core data, with its performance advantage becoming more pronounced in the 70% of core data. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # ディラック方程式に基づく相対論的粒子のグース-H{ä}nchenシフト
Goos-H{ä}nchen Shift for Relativistic Particles Based on Dirac's Equation ( http://arxiv.org/abs/2407.00363v1 ) ライセンス: Link先を確認 | Jiang-Lin Zhou, Zhen-Xiao Zhang, Xing-Yan Fan, Jing-Ling Chen, | (参考訳) グース・H{\"a}nchen(GH)シフト(英: Goos-H{\"a}nchen)は、有限幅の光が媒体の界面で完全な内部反射を受けるとき、入射面内の反射光に平行なシフトを記述する特異な光学現象である。
光のGHシフトは実験的に広く観測されているが、その一般化はクラインのパラドックスの存在に対する相対論的量子力学において完全に発見されている。
最近、ワンはディラックの方程式に付随するエネルギー領域 \href{https://dx.doi.org/10.1088/2399-6528/abd340}{[J] のステップポテンシャルを持つ様々な解に基づいてクラインのパラドックスを解いた。
Phys
Commun
bf 4, 125010 (2020)} である。
王の方法では、3次元無限電位障壁に斜めに入射したときの相対論的条件下でのディラックフェルミオンのGHシフトを計算する。
さらに、相対論的な量子GHシフトは非相対論的な場合と異なる負となることが分かる。
The Goos-H{\"a}nchen (GH) shift is a specifical optical phenomenon that describes a shift parallel to the reflected light inside the plane of incidence, when a finite-width light undergoes total internal reflection at the interface of medium. Although the GH shift in optics has been widely observed experimentally, its generalization remains uncovered completely in relativistic quantum mechanics for the existence of Klein's paradox. Recently, Wang has solved Klein's paradox based on the different solutions adpoted for Dirac's equation with step potential in corresponding energy regions \href{https://dx.doi.org/10.1088/2399-6528/abd340}{[J. Phys. Commun. {\bf 4}, 125010 (2020)]}. In the light of Wang's method, we calculate the GH shift for Dirac fermions under relativistic conditions when they are incident obliquely on a three-dimensional infinite potential barrier. Furthermore, we find that the relativistic quantum GH shift can be negative, which is different from the non-relativistic case. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # 動的治療レジームのための強化学習アルゴリズムへの医学的知識の統合
Medical Knowledge Integration into Reinforcement Learning Algorithms for Dynamic Treatment Regimes ( http://arxiv.org/abs/2407.00364v1 ) ライセンス: Link先を確認 | Sophia Yazzourh, Nicolas Savy, Philippe Saint-Pierre, Michael R. Kosorok, | (参考訳) 精密医療の目標は、ダイナミック・トリート・レジームズ(DTR)によって定式化された概念である、慢性疾患の各段階で個別化された治療を提供することである。
これらの体制は、臨床データから得られた決定ルールに基づいて治療戦略を適応し、治療効果を高める。
強化学習(Reinforcement Learning, RL)アルゴリズムは、個々の患者データとその医療履歴によって規定されたこれらの決定ルールを決定することができる。
これらのモデルに医療専門知識を組み込むことで、治療勧告の信頼性を高め、医療専門家や患者によるこのアプローチの採用を促進することができる。
本稿では,RLの数学的基礎を考察し,そのDTR分野への応用を文脈化するとともに,医学的専門知識を統合することでその効果を向上させる方法の概要を述べる。
The goal of precision medicine is to provide individualized treatment at each stage of chronic diseases, a concept formalized by Dynamic Treatment Regimes (DTR). These regimes adapt treatment strategies based on decision rules learned from clinical data to enhance therapeutic effectiveness. Reinforcement Learning (RL) algorithms allow to determine these decision rules conditioned by individual patient data and their medical history. The integration of medical expertise into these models makes possible to increase confidence in treatment recommendations and facilitate the adoption of this approach by healthcare professionals and patients. In this work, we examine the mathematical foundations of RL, contextualize its application in the field of DTR, and present an overview of methods to improve its effectiveness by integrating medical expertise. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # 金融知識大規模言語モデル
Financial Knowledge Large Language Model ( http://arxiv.org/abs/2407.00365v1 ) ライセンス: Link先を確認 | Cehao Yang, Chengjin Xu, Yiyan Qi, | (参考訳) 人工知能は金融業界で大きな進歩を遂げており、データの処理と解釈の方法に革命をもたらしている。
これらの技術の中で、大規模言語モデル(LLM)は、複雑なタスクを自動化し、カスタマーサービスを強化し、詳細な財務分析を提供することで、金融サービスを変革する大きな可能性を実証している。
まず,大規模言語モデル(LLM)の財務知識を評価するための評価ベンチマークであるIDEA-FinBenchを紹介する。
このベンチマークは、国際的に尊敬され権威ある2つの金融専門家試験の質問を利用しており、aimimgは、金融セクターに関連する試験問題に直接対処するLLMの能力を包括的に評価している。
第2に,一般LLMの金融分野への迅速な適応を目的とした金融知識向上フレームワークであるIDEA-FinKERを提案する。
最後に LLM を利用した財務質問応答システム IDEA-FinQA を提案する。
本システムは,外部知識を用いたリアルタイム知識注入と実効性向上のスキームを中心に構成されている。
IDEA-FinQAは、データコレクタ、データクエリモジュール、および特定の機能を扱うLLMベースのエージェントの3つの主要なモジュールで構成されている。
Artificial intelligence is making significant strides in the finance industry, revolutionizing how data is processed and interpreted. Among these technologies, large language models (LLMs) have demonstrated substantial potential to transform financial services by automating complex tasks, enhancing customer service, and providing detailed financial analysis. Firstly, we introduce IDEA-FinBench, an evaluation benchmark specifically tailored for assessing financial knowledge in large language models (LLMs). This benchmark utilizes questions from two globally respected and authoritative financial professional exams, aimimg to comprehensively evaluate the capability of LLMs to directly address exam questions pertinent to the finance sector. Secondly, we propose IDEA-FinKER, a Financial Knowledge Enhancement framework designed to facilitate the rapid adaptation of general LLMs to the financial domain, introducing a retrieval-based few-shot learning method for real-time context-level knowledge injection, and a set of high-quality financial knowledge instructions for fine-tuning any general LLM. Finally, we present IDEA-FinQA, a financial question-answering system powered by LLMs. This system is structured around a scheme of real-time knowledge injection and factual enhancement using external knowledge. IDEA-FinQA is comprised of three main modules: the data collector, the data querying module, and LLM-based agents tasked with specific functions. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # SVG: Denoising Frame Matrixによる立体映像生成
SVG: 3D Stereoscopic Video Generation via Denoising Frame Matrix ( http://arxiv.org/abs/2407.00367v1 ) ライセンス: Link先を確認 | Peng Dai, Feitong Tan, Qiangeng Xu, David Futschik, Ruofei Du, Sean Fanello, Xiaojuan Qi, Yinda Zhang, | (参考訳) ビデオ生成モデルは、印象的なモノクロビデオを生成する素晴らしい能力を示してきたが、3Dステレオビデオの生成は未調査のままである。
市販単眼ビデオ生成モデルを用いて3次元立体映像を生成するためのポーズフリーでトレーニング不要な手法を提案する。
提案手法では, ビデオ深度推定による立体視ベースライン上のカメラビューにモノクロ映像をワープし, フレームマトリックス映像の塗布フレームワークを用いる。
このフレームワークは、ビデオ生成モデルを利用して、異なるタイムスタンプやビューから観察されたフレームをインペイントする。
この効果的なアプローチは、シーン最適化やモデル微調整なしで一貫したセマンティック・コヒーレントなステレオビデオを生成する。
さらに,非閉塞領域から伝播する負の効果を緩和することにより,映像の塗装品質を向上する,非閉塞境界再注入方式を開発した。
提案手法の有効性を,Sora [4 ], Lumiere [2], WALT [8 ], Zeroscope [42] など,様々な生成モデルを用いた実験により検証した。
実験により,本手法は従来の手法よりも大幅に改善されていることが示された。
コードは \url{https://daipengwa.github.io/SVG_ProjectPage} でリリースされる。
Video generation models have demonstrated great capabilities of producing impressive monocular videos, however, the generation of 3D stereoscopic video remains under-explored. We propose a pose-free and training-free approach for generating 3D stereoscopic videos using an off-the-shelf monocular video generation model. Our method warps a generated monocular video into camera views on stereoscopic baseline using estimated video depth, and employs a novel frame matrix video inpainting framework. The framework leverages the video generation model to inpaint frames observed from different timestamps and views. This effective approach generates consistent and semantically coherent stereoscopic videos without scene optimization or model fine-tuning. Moreover, we develop a disocclusion boundary re-injection scheme that further improves the quality of video inpainting by alleviating the negative effects propagated from disoccluded areas in the latent space. We validate the efficacy of our proposed method by conducting experiments on videos from various generative models, including Sora [4 ], Lumiere [2], WALT [8 ], and Zeroscope [ 42]. The experiments demonstrate that our method has a significant improvement over previous methods. The code will be released at \url{https://daipengwa.github.io/SVG_ProjectPage}. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # ファクト検証のトレーニング方法:マルチモーダルオープンモデルによる知識伝達
How to Train Your Fact Verifier: Knowledge Transfer with Multimodal Open Models ( http://arxiv.org/abs/2407.00369v1 ) ライセンス: Link先を確認 | Jaeyoung Lee, Ximing Lu, Jack Hessel, Faeze Brahman, Youngjae Yu, Yonatan Bisk, Yejin Choi, Saadia Gabriel, | (参考訳) ニュースやソーシャルメディアにおける誤情報の増加を考えると、ニュースクレームを効果的にリアルタイムに検証できるシステムには重要なニーズがある。
大規模言語またはマルチモーダルモデルに基づく検証は、偽コンテンツや有害コンテンツの拡散を緩和するためのオンラインポリシングメカニズムをスケールアップするために提案されている。
これらは、人間のファクトチェッカーの負担を軽減する可能性があるが、基礎モデルのトレーニングデータが時代遅れになることにより、そのような努力が妨げられる可能性がある。
本研究では,既存のドメイン内およびドメイン間ベンチマークを用いた知識伝達の初期研究や,大規模言語モデル(LLM)から生成された説明を通じて,継続的な更新を行うことなく,基礎モデルの性能向上の限界をテストする。
ファクトチェックと誤情報検出のための12の公開ベンチマークと、コンテンツモデレーションに関連する2つのタスク – 毒性とスタンス検出 – を評価する。
最近の2つのマルチモーダルなファクトチェックベンチマークであるMochegとFakedditの結果は、知識伝達戦略がファクドディットのパフォーマンスを最先端よりも1.7%向上し、Mochegのパフォーマンスを2.9%向上させることができることを示唆している。
Given the growing influx of misinformation across news and social media, there is a critical need for systems that can provide effective real-time verification of news claims. Large language or multimodal model based verification has been proposed to scale up online policing mechanisms for mitigating spread of false and harmful content. While these can potentially reduce burden on human fact-checkers, such efforts may be hampered by foundation model training data becoming outdated. In this work, we test the limits of improving foundation model performance without continual updating through an initial study of knowledge transfer using either existing intra- and inter- domain benchmarks or explanations generated from large language models (LLMs). We evaluate on 12 public benchmarks for fact-checking and misinformation detection as well as two other tasks relevant to content moderation -- toxicity and stance detection. Our results on two recent multi-modal fact-checking benchmarks, Mocheg and Fakeddit, indicate that knowledge transfer strategies can improve Fakeddit performance over the state-of-the-art by up to 1.7% and Mocheg performance by up to 2.9%. | 翻訳日:2024-07-04 03:35:30 公開日:2024-06-29 |
| # ニューラルネットワークにおける勾配平滑化の公理化
Axiomatization of Gradient Smoothing in Neural Networks ( http://arxiv.org/abs/2407.00371v1 ) ライセンス: Link先を確認 | Linjiang Zhou, Xiaochuan Shi, Chao Ma, Zepeng Wang, | (参考訳) グラディエントはニューラルネットワークの説明において重要な役割を果たす。
ニューラルネットワークの本質的な高次元性と構造的複雑さは、かなりの量のノイズを含む元の勾配をもたらす。
滑らか化によるノイズ低減のためのいくつかの手法が提案されているが、ニューラルネットワークの滑らか化勾配の背後にある理論的根拠についてはほとんど議論されていない。
本研究では,機能モーフィケーションとモンテカルロ積分に基づくニューラルネットワークの勾配スムーズな理論的枠組みを提案する。
フレームワークは本質的に公理化された勾配平滑化であり、既存の手法の理論的根拠を明らかにする。
さらに、我々はフレームワークから派生した新しいスムーズな手法を設計するためのアプローチを提供した。
新たに設計されたスムーズな手法の実験的測定により,本フレームワークの研究可能性について実証した。
Gradients play a pivotal role in neural networks explanation. The inherent high dimensionality and structural complexity of neural networks result in the original gradients containing a significant amount of noise. While several approaches were proposed to reduce noise with smoothing, there is little discussion of the rationale behind smoothing gradients in neural networks. In this work, we proposed a gradient smooth theoretical framework for neural networks based on the function mollification and Monte Carlo integration. The framework intrinsically axiomatized gradient smoothing and reveals the rationale of existing methods. Furthermore, we provided an approach to design new smooth methods derived from the framework. By experimental measurement of several newly designed smooth methods, we demonstrated the research potential of our framework. | 翻訳日:2024-07-04 03:25:29 公開日:2024-06-29 |
| # 多様性を介するテキスト・画像生成の実態税--ベンチマークとFact-Augmented Intervention
The Factuality Tax of Diversity-Intervened Text-to-Image Generation: Benchmark and Fact-Augmented Intervention ( http://arxiv.org/abs/2407.00377v1 ) ライセンス: Link先を確認 | Yixin Wan, Di Wu, Haoran Wang, Kai-Wei Chang, | (参考訳) プロンプトに基づく「多様性介入」は、様々な人種的または性的な特徴を持つ個人を描写するテキスト・ツー・イメージ(T2I)モデルの多様性を改善するために一般的に採用されている。
しかし、この戦略は非現実的な人口分布をもたらすのだろうか。
本研究では,多様性の介入とT2Iモデルにおける人口統計学的事実性の保持の間のトレードオフを体系的に定量化するベンチマークであるDemOgraphic FActualIty Representation (DoFaiR)を提案する。
DoFaiRは、自動化されたエビデンス支援評価パイプラインを通じて、さまざまなダイバーシティプロンプトの事実税を明らかにするために、756の精巧に事実チェックされたテストインスタンスで構成されている。
DoFaiRの実験では、多様性指向の指示は、歴史的に不正確な人口分布を犠牲にして、DALLE-3世代における異なる性別と人種集団の数を増加させることが示された。
この問題を解決するために,Fact-Augmented Intervention (FAI) を提案する。Large Language Model (LLM) は,歴史における世代ごとのジェンダーや人種構成に関する言語化された事実情報を反映し,それをT2Iモデルの生成コンテキストに組み込む。
歴史的事実を反映したモデル世代をオリエンテーションすることで、FAIは多様性を保ちながら多様性の介入の下での人口的事実性を著しく改善する。
Prompt-based "diversity interventions" are commonly adopted to improve the diversity of Text-to-Image (T2I) models depicting individuals with various racial or gender traits. However, will this strategy result in nonfactual demographic distribution, especially when generating real historical figures? In this work, we propose DemOgraphic FActualIty Representation (DoFaiR), a benchmark to systematically quantify the trade-off between using diversity interventions and preserving demographic factuality in T2I models. DoFaiR consists of 756 meticulously fact-checked test instances to reveal the factuality tax of various diversity prompts through an automated evidence-supported evaluation pipeline. Experiments on DoFaiR unveil that diversity-oriented instructions increase the number of different gender and racial groups in DALLE-3's generations at the cost of historically inaccurate demographic distributions. To resolve this issue, we propose Fact-Augmented Intervention (FAI), which instructs a Large Language Model (LLM) to reflect on verbalized or retrieved factual information about gender and racial compositions of generation subjects in history, and incorporate it into the generation context of T2I models. By orienting model generations using the reflected historical truths, FAI significantly improves the demographic factuality under diversity interventions while preserving diversity. | 翻訳日:2024-07-04 03:25:29 公開日:2024-06-29 |
| # GraphArena: グラフ計算問題に対する大規模言語モデルのベンチマーク
GraphArena: Benchmarking Large Language Models on Graph Computational Problems ( http://arxiv.org/abs/2407.00379v1 ) ライセンス: Link先を確認 | Jianheng Tang, Qifan Zhang, Yuhan Li, Jia Li, | (参考訳) LLM(Large Language Models)の"アームレース(arms race)"は、彼らの進歩を忠実に検証するために、斬新で挑戦的で多様なベンチマークを必要とする。
本稿では,知識グラフやソーシャルネットワーク,分子構造といったさまざまなシナリオから,百万規模の実世界のグラフを用いて,グラフ計算問題におけるLLMを評価するためのベンチマークツールであるGraphArenaを紹介する。
GraphArenaは、多項式時間(例えば、最短距離)と6つのNP完全課題(例えば、トラベリングセールスマン問題)を含む10の計算タスクスイートを提供する。
厳密な評価フレームワークが特徴で、LCM出力を正しい、最適でない、あるいは幻覚的(適切なフォーマットだが実現不可能)に分類する。
GPT-4o や LLaMA3-70B-Instruct を含む 10 つの主要な LLM の評価は、上位性能モデルでさえより大きく複雑なグラフ問題に悩まされ、幻覚の問題を呈することを示している。
チェーン・オブ・シークレットのような戦略の適用にもかかわらず、これらの問題は未解決のままである。
GraphArenaは既存のLLMベンチマークに貴重なサプリメントを提供しており、https://github.com/squareRoot3/GraphArenaでオープンソース化されている。
The "arms race" of Large Language Models (LLMs) demands novel, challenging, and diverse benchmarks to faithfully examine their progresses. We introduce GraphArena, a benchmarking tool designed to evaluate LLMs on graph computational problems using million-scale real-world graphs from diverse scenarios such as knowledge graphs, social networks, and molecular structures. GraphArena offers a suite of 10 computational tasks, encompassing four polynomial-time (e.g., Shortest Distance) and six NP-complete challenges (e.g., Travelling Salesman Problem). It features a rigorous evaluation framework that classifies LLM outputs as correct, suboptimal (feasible but not optimal), or hallucinatory (properly formatted but infeasible). Evaluation of 10 leading LLMs, including GPT-4o and LLaMA3-70B-Instruct, reveals that even top-performing models struggle with larger, more complex graph problems and exhibit hallucination issues. Despite the application of strategies such as chain-of-thought prompting, these issues remain unresolved. GraphArena contributes a valuable supplement to the existing LLM benchmarks and is open-sourced at https://github.com/squareRoot3/GraphArena. | 翻訳日:2024-07-04 03:25:29 公開日:2024-06-29 |
| # FANFOLD: 教師なしグラフレベル異常検出のためのフロー駆動型非対称ネットワーク
FANFOLD: Graph Normalizing Flows-driven Asymmetric Network for Unsupervised Graph-Level Anomaly Detection ( http://arxiv.org/abs/2407.00383v1 ) ライセンス: Link先を確認 | Rui Cao, Shijie Xue, Jindong Li, Qi Wang, Yi Chang, | (参考訳) 非教師付きグラフレベルの異常検出(UGAD)は、広く応用されているため、関心が高まりつつある。
近年の研究では、モデル効率と一般化を改善するために、知識蒸留に基づく手法が教師なし異常検出に広く用いられている。
しかしながら、ソース(教師)とターゲット(学生)ネットワークの間の固有の対称性は、通常、両方のアーキテクチャにわたって一貫した出力をもたらすため、通常のグラフと異常グラフを区別することは困難である。
また、既存の手法は主に異常を区別するグラフ機能に依存しており、それは複雑で多様なデータで不安定であり、通常のグラフと異常なグラフを区別する本質を捉えない可能性がある。
本研究では,非教師付きグラフレベル異常検出(FANFOLD)のためのグラフ正規化フロー駆動型非対称ネットワークを提案する。
本研究では,教師なしグラフレベルの異常検出に正規化フローを導入する。
具体的には、知識蒸留技術を採用し、ソースネットワーク上で正規化フローを適用し、非対称ネットワークを実現する。
トレーニング段階では、FANFOLDは正規グラフの元の分布を標準正規分布に変換する。
推論中、FANFOLDはソース・ターゲット損失を用いて異常スコアを計算し、正規グラフと異常グラフを識別する。
我々は,FANFOLDの優位性を検証するため,9つのベースライン法を用いて,異なる分野の15のデータセットに対して広範囲に実験を行った。
Unsupervised graph-level anomaly detection (UGAD) has attracted increasing interest due to its widespread application. In recent studies, knowledge distillation-based methods have been widely used in unsupervised anomaly detection to improve model efficiency and generalization. However, the inherent symmetry between the source (teacher) and target (student) networks typically results in consistent outputs across both architectures, making it difficult to distinguish abnormal graphs from normal graphs. Also, existing methods mainly rely on graph features to distinguish anomalies, which may be unstable with complex and diverse data and fail to capture the essence that differentiates normal graphs from abnormal ones. In this work, we propose a Graph Normalizing Flows-driven Asymmetric Network For Unsupervised Graph-Level Anomaly Detection (FANFOLD in short). We introduce normalizing flows to unsupervised graph-level anomaly detection due to their successful application and superior quality in learning the underlying distribution of samples. Specifically, we adopt the knowledge distillation technique and apply normalizing flows on the source network, achieving the asymmetric network. In the training stage, FANFOLD transforms the original distribution of normal graphs to a standard normal distribution. During inference, FANFOLD computes the anomaly score using the source-target loss to discriminate between normal and anomalous graphs. We conduct extensive experiments on 15 datasets of different fields with 9 baseline methods to validate the superiority of FANFOLD. | 翻訳日:2024-07-04 03:25:29 公開日:2024-06-29 |
| # 炭鉱統合エネルギーシステムディスパッチのためのエリート誘導知識伝達によるマルチタスク多拘束差分進化
Multi-task multi-constraint differential evolution with elite-guided knowledge transfer for coal mine integrated energy system dispatching ( http://arxiv.org/abs/2407.00386v1 ) ライセンス: Link先を確認 | Canyun Dai, Xiaoyan Sun, Hejuan Hu, Wei Song, Yong Zhang, Dunwei Gong, | (参考訳) 炭鉱統合エネルギーシステムの分散最適化は、高次元性、強い結合制約、多目的性のために困難である。
既存の制約付き多目的進化アルゴリズムは、複数の小さく不規則な実現可能な領域を見つけるのに苦労しており、この問題には適用できない。
この問題に対処するため,我々は分散相関ドメイン知識を組み込んだマルチタスク進化アルゴリズムフレームワークを開発し,強い制約と多目的最適化を効果的に処理する。
複雑な制約関係解析とハンドリングに基づく進化的マルチタスク構築戦略,すなわち制約結合空間分解,制約強度分類,制約ハンドリング技術について検討した。
マルチタスク進化最適化フレームワークでは、各タスクから支配的な個人を選択するための特別な群集距離機構を設計して知識伝達を誘導するエリート戦略と、微分進化アルゴリズムにおける各最適化タスクの多様性と収束を効果的にバランスさせる適応近隣技術に基づく突然変異の2つの戦略が開発されている。
CPLEXソルバと7つの制約付き多目的進化アルゴリズムとの比較により,石炭鉱山統合エネルギーシステムのケーススタディにおいて,提案アルゴリズムの性能,収束性,多様性を実証した。
The dispatch optimization of coal mine integrated energy system is challenging due to high dimensionality, strong coupling constraints, and multiobjective. Existing constrained multiobjective evolutionary algorithms struggle with locating multiple small and irregular feasible regions, making them inaplicable to this problem. To address this issue, we here develop a multitask evolutionary algorithm framework that incorporates the dispatch correlated domain knowledge to effectively deal with strong constraints and multiobjective optimization. Possible evolutionary multitask construction strategy based on complex constraint relationship analysis and handling, i.e., constraint coupled spatial decomposition, constraint strength classification and constraint handling technique, is first explored. Within the multitask evolutionary optimization framework, two strategies, i.e., an elite guided knowledge transfer by designing a special crowding distance mechanism to select dominant individuals from each task, and an adaptive neighborhood technology based mutation to effectively balance the diversity and convergence of each optimized task for the differential evolution algorithm, are further developed. The performance of the proposed algorithm in feasibility, convergence, and diversity is demonstrated in a case study of a coal mine integrated energy system by comparing with CPLEX solver and seven constrained multiobjective evolutionary algorithms. | 翻訳日:2024-07-04 03:25:29 公開日:2024-06-29 |
| # 一般的なマルコフ決定プロセスのための重み付きメッシュアルゴリズム:収束性とトラクタビリティ
Weighted mesh algorithms for general Markov decision processes: Convergence and tractability ( http://arxiv.org/abs/2407.00388v1 ) ライセンス: Link先を確認 | Denis Belomestny, John Schoenmakers, | (参考訳) 離散時間有限ホリゾンマルコフ決定過程(MDP)を扱うメッシュ型アプローチを導入し、ユークリッド空間の有限部分集合と無限部分集合を包含する状態空間と作用空間を特徴付ける。
特に、有界状態および作用空間に対して、我々のアルゴリズムは、ノヴァクとウォズニアコフスキーの意味での計算複雑性を達成し、時間的地平線における多項式である。
非有界な状態空間の場合、このアルゴリズムは、ある次元が独立な$c\geq2$に比例して$\epsilon^{-c}$となり、精度が$\epsilon$となる。
提案手法は, 有限地平線MDPと一様サンプリングをコンパクトな状態空間で扱うRustによるランダム化手法のフレーバーを持つ。
しかし、このアプローチは、有限地平線と一般的な遷移分布によるシミュレーション手順により本質的に異なるものであり、非有界状態空間を包含するという意味ではより一般的なものである。
提案アルゴリズムの有効性を示すために,LQG制御問題に基づくイラストを提供している。
We introduce a mesh-type approach for tackling discrete-time, finite-horizon Markov Decision Processes (MDPs) characterized by state and action spaces that are general, encompassing both finite and infinite (yet suitably regular) subsets of Euclidean space. In particular, for bounded state and action spaces, our algorithm achieves a computational complexity that is tractable in the sense of Novak and Wozniakowski, and is polynomial in the time horizon. For unbounded state space the algorithm is "semi-tractable" in the sense that the complexity is proportional to $\epsilon^{-c}$ with some dimension independent $c\geq2$, for achieving an accuracy $\epsilon$, and polynomial in the time horizon with degree linear in the underlying dimension. As such the proposed approach has some flavor of the randomization method by Rust which deals with infinite horizon MDPs and uniform sampling in compact state space. However, the present approach is essentially different due to the finite horizon and a simulation procedure due to general transition distributions, and more general in the sense that it encompasses unbounded state space. To demonstrate the effectiveness of our algorithm, we provide illustrations based on Linear-Quadratic Gaussian (LQG) control problems. | 翻訳日:2024-07-04 03:25:29 公開日:2024-06-29 |
| # 問合せ効率の良いハードラベルブラックボックスによる視覚変換器攻撃
Query-Efficient Hard-Label Black-Box Attack against Vision Transformers ( http://arxiv.org/abs/2407.00389v1 ) ライセンス: Link先を確認 | Chao Zhou, Xiaowen Shi, Yuan-Gen Wang, | (参考訳) 近年の研究では、視覚トランスフォーマー(ViT)が、深い畳み込みニューラルネットワーク(CNN)として敵の攻撃から同様のセキュリティリスクに直面していることが明らかになっている。
しかし、ViTsはパッチワイドエンコーディングに一般的に取り組んでいるため、CNNの攻撃方法を直接ViTsに適用することは効果がないことが示されている。
本稿では、ブラックボックスシナリオ下での敵攻撃に対するViTsの脆弱性について検討し、AdvViTと呼ばれる新しいクエリ効率の高いハードラベル攻撃手法を提案する。
具体的には、ViTはパッチ修正に非常に敏感であるので、個々のパッチに対する対向的摂動を最適化することを提案する。
摂動探索空間の次元を小さくするため,各パッチの低周波成分のみを修正した。
さらに,全画像の異なる領域における摂動をさらに最適化するために,全パッチに対する重みマスク行列を設計する。
ImageNet-1kデータセット上で6つのメインストリームのViTバックボーンをテストする。
実験結果から,我々のAdvViTは,CNNに対する最先端攻撃と比較して,同じクエリ予算下ではるかに低いL_2$-norm歪みを達成し,敵攻撃に対するViTsの脆弱性を十分に検証した。
Recent studies have revealed that vision transformers (ViTs) face similar security risks from adversarial attacks as deep convolutional neural networks (CNNs). However, directly applying attack methodology on CNNs to ViTs has been demonstrated to be ineffective since the ViTs typically work on patch-wise encoding. This article explores the vulnerability of ViTs against adversarial attacks under a black-box scenario, and proposes a novel query-efficient hard-label adversarial attack method called AdvViT. Specifically, considering that ViTs are highly sensitive to patch modification, we propose to optimize the adversarial perturbation on the individual patches. To reduce the dimension of perturbation search space, we modify only a handful of low-frequency components of each patch. Moreover, we design a weight mask matrix for all patches to further optimize the perturbation on different regions of a whole image. We test six mainstream ViT backbones on the ImageNet-1k dataset. Experimental results show that compared with the state-of-the-art attacks on CNNs, our AdvViT achieves much lower $L_2$-norm distortion under the same query budget, sufficiently validating the vulnerability of ViTs against adversarial attacks. | 翻訳日:2024-07-04 03:25:29 公開日:2024-06-29 |
| # 木に基づく選好学習による大規模言語モデルのプロセス検証
Advancing Process Verification for Large Language Models via Tree-Based Preference Learning ( http://arxiv.org/abs/2407.00390v1 ) ライセンス: Link先を確認 | Mingqian He, Yongliang Shen, Wenqi Zhang, Zeqi Tan, Weiming Lu, | (参考訳) 大規模言語モデル (LLM) は, ステップ・バイ・ステップの合理性を生成することによって複雑な推論タスクを扱う上で, 顕著な可能性を示した。
しかしながら、既存の検証器は二項ラベルの推論経路で訓練されるが、中間ステップの相対的な利点を十分に活用することができず、提供されたフィードバックの有効性が制限される。
この制限を克服するために、最良探索アルゴリズムを用いて推論木を構築する新しい手法であるTree-PLV(Tree-PLV)を提案する。
従来の二項分類と比較して、ステップレベルの選好は推論ステップ間のニュアンスをより細かく捉え、完全な推論パスをより正確に評価することができる。
我々は,木-PLVを算術的および常識的推論タスクの範囲で実証的に評価し,既存のベンチマークを著しく上回る結果を得た。
例えば、Tree-PLVは、GSM8K (67.55% - 82.79%)、MATH (17.00% - 26.80%)、CSQA (68.14% - 72.97%)、StrategyQA (82.86% - 83.25%) でのMistral-7Bの自己整合性ベースラインに対して、大幅なパフォーマンス向上を達成した。
さらに,選好学習に適用する上での適切な粒度について検討し,ステップレベルのガイダンスが推論プロセスの評価に適合するフィードバックを提供することを明らかにした。
Large Language Models (LLMs) have demonstrated remarkable potential in handling complex reasoning tasks by generating step-by-step rationales.Some methods have proven effective in boosting accuracy by introducing extra verifiers to assess these paths. However, existing verifiers, typically trained on binary-labeled reasoning paths, fail to fully utilize the relative merits of intermediate steps, thereby limiting the effectiveness of the feedback provided. To overcome this limitation, we propose Tree-based Preference Learning Verifier (Tree-PLV), a novel approach that constructs reasoning trees via a best-first search algorithm and collects step-level paired data for preference training. Compared to traditional binary classification, step-level preferences more finely capture the nuances between reasoning steps, allowing for a more precise evaluation of the complete reasoning path. We empirically evaluate Tree-PLV across a range of arithmetic and commonsense reasoning tasks, where it significantly outperforms existing benchmarks. For instance, Tree-PLV achieved substantial performance gains over the Mistral-7B self-consistency baseline on GSM8K (67.55% to 82.79%), MATH (17.00% to 26.80%), CSQA (68.14% to 72.97%), and StrategyQA (82.86% to 83.25%).Additionally, our study explores the appropriate granularity for applying preference learning, revealing that step-level guidance provides feedback that better aligns with the evaluation of the reasoning process. | 翻訳日:2024-07-04 03:25:29 公開日:2024-06-29 |
| # 正確性に関するソフトウェア要件に関する技術的負債の定量化に向けて: 展望と研究ロードマップ
Towards Quantifying Requirements Technical Debt for Software Requirements concerning Veracity: A Perspective and Research Roadmap ( http://arxiv.org/abs/2407.00391v1 ) ライセンス: Link先を確認 | Judith Perera, Ewan Tempero, Yu-Cheng Tu, Kelly Blincoe, Matthias Galster, | (参考訳) ソフトウェア実践者は、ソフトウェア機能やアーキテクチャ設計決定として要件を収集、文書化、優先順位付け、実装する際の要件に関する準最適決定を行うことができます。
「これまでの研究で、RTDの定量化を理解し、その管理を支援する概念モデルを開発した。
本稿では,RTDのレンズを真理,信頼,信頼,実証性に関するソフトウェア要件に適用するための視点とビジョンを述べる。
我々のゴールは、重要な関心事としての妥当性の認識を育むことであり、最終的に、その定量化を通じて「妥当性負債」と呼ばれるソフトウェア要件に対するRTDの管理を支援することである。
Software practitioners can make sub-optimal decisions concerning requirements during gathering, documenting, prioritizing, and implementing requirements as software features or architectural design decisions -- this is captured by the metaphor `Requirements Technical Debt (RTD).' In our prior work, we developed a conceptual model to understand the quantification of RTD and support its management. In this paper, we present our perspective and the vision to apply the lens of RTD to software requirements concerning veracity, i.e., requirements related to truth, trust, authenticity, and demonstrability in software-intensive systems. Our goal is to cultivate awareness of veracity as an important concern and eventually support the management of RTD for software requirements concerning veracity, what we term as `Veracity Debt,' through its quantification. | 翻訳日:2024-07-04 03:25:29 公開日:2024-06-29 |
| # 大規模言語モデルを用いたSAPPhIREモデルに関連する技術コンテンツ生成における参照知識選択の効果に関する研究
A Study on Effect of Reference Knowledge Choice in Generating Technical Content Relevant to SAPPhIRE Model Using Large Language Model ( http://arxiv.org/abs/2407.00396v1 ) ライセンス: Link先を確認 | Kausik Bhattacharya, Anubhab Majumder, Amaresh Chakrabarti, | (参考訳) 因果関係のSAPPhIREモデルを用いたシステム表現は、設計におけるインスピレーションの刺激となる。
しかし、技術または自然システムのSAPPhIREモデルを作成するには、システムの動作に関する複数の技術資料から技術的知識を抽出する必要がある。
本研究では,LLM(Large Language Model)を用いて,SAPPhIREモデルの因果関係に正確な技術的内容を生成する方法について検討する。
本稿では,SAPPhIREコンストラクタに関する科学的情報に支えられた技術内容を生成するために,LLMを用いた検索拡張生成を用いた幻覚抑制手法を提案する。
本研究の結果から,技術コンテンツを生成するためのLLMにコンテキストを提供する上で使用される参照知識の選択が非常に重要であることが示唆された。
この研究の結果は、特定の技術システムのSAPPhIREモデルを生成するためのソフトウェアサポートツールを構築するために使用される。
Representation of systems using the SAPPhIRE model of causality can be an inspirational stimulus in design. However, creating a SAPPhIRE model of a technical or a natural system requires sourcing technical knowledge from multiple technical documents regarding how the system works. This research investigates how to generate technical content accurately relevant to the SAPPhIRE model of causality using a Large Language Model, also called LLM. This paper, which is the first part of the two-part research, presents a method for hallucination suppression using Retrieval Augmented Generating with LLM to generate technical content supported by the scientific information relevant to a SAPPhIRE con-struct. The result from this research shows that the selection of reference knowledge used in providing context to the LLM for generating the technical content is very important. The outcome of this research is used to build a software support tool to generate the SAPPhIRE model of a given technical system. | 翻訳日:2024-07-04 03:25:29 公開日:2024-06-29 |
| # マルコフガウス過程:定常時空間ガウス過程の普遍的状態空間表現
Markovian Gaussian Process: A Universal State-Space Representation for Stationary Temporal Gaussian Process ( http://arxiv.org/abs/2407.00397v1 ) ライセンス: Link先を確認 | Weihan Li, Yule Wang, Chengrui Li, Anqi Wu, | (参考訳) Gaussian Processs (GP) と Linear Dynamical Systems (LDS) は重要な時系列および動的システムモデリングツールである。
GPは複雑な非線形力学を扱えるが、計算的に要求される一方、LSDは効率的な計算を提供するが、GPの表現力に欠ける。
それらの利点を組み合わせるために、LDSが定常時間GPをミラーできる普遍的な手法を導入する。
この状態空間表現はマルコフ・ガウス過程 (Markovian Gaussian Process, Markovian GP) と呼ばれ、効率的な線形計算を維持しながらカーネル関数の柔軟性を利用する。
多くのマルチ出力カーネルに対して分離性を必要とする既存のGP-LDS変換法とは異なり、本手法は単一および複数出力の定常カーネルに対して普遍的に機能する。
我々は,共分散を計算し,回帰処理を行い,それを神経科学応用に適用することにより,定常時間GPに対して正確な状態空間表現を提供することを示す。
Gaussian Processes (GPs) and Linear Dynamical Systems (LDSs) are essential time series and dynamic system modeling tools. GPs can handle complex, nonlinear dynamics but are computationally demanding, while LDSs offer efficient computation but lack the expressive power of GPs. To combine their benefits, we introduce a universal method that allows an LDS to mirror stationary temporal GPs. This state-space representation, known as the Markovian Gaussian Process (Markovian GP), leverages the flexibility of kernel functions while maintaining efficient linear computation. Unlike existing GP-LDS conversion methods, which require separability for most multi-output kernels, our approach works universally for single- and multi-output stationary temporal kernels. We evaluate our method by computing covariance, performing regression tasks, and applying it to a neuroscience application, demonstrating that our method provides an accurate state-space representation for stationary temporal GPs. | 翻訳日:2024-07-04 03:25:29 公開日:2024-06-29 |
| # 自動判定システムにおける識別防止法則の定式化
Formalising Anti-Discrimination Law in Automated Decision Systems ( http://arxiv.org/abs/2407.00400v1 ) ライセンス: Link先を確認 | Holli Sargeant, Måns Magnusson, | (参考訳) 本稿では, 従来のアルゴリズムフェアネス法とイギリスにおける差別防止法, およびイングランドの共通法に基づく法域との整合性を分析し, 自動意思決定における法的課題について検討する。
反差別法の原則を意思決定理論の枠組みに翻訳することで、差別を定式化し、自動意思決定のためのシステムを開発するための新しい法的なアプローチを提案する。
我々の調査は、アルゴリズム的公正アプローチが法理論から概念を取り入れた一方で、彼らは法的基準と矛盾し、自動決定と公正性と反差別主義のギャップを埋めることの重要性を強調している。
We study the legal challenges in automated decision-making by analysing conventional algorithmic fairness approaches and their alignment with antidiscrimination law in the United Kingdom and other jurisdictions based on English common law. By translating principles of anti-discrimination law into a decision-theoretic framework, we formalise discrimination and propose a new, legally informed approach to developing systems for automated decision-making. Our investigation reveals that while algorithmic fairness approaches have adapted concepts from legal theory, they can conflict with legal standards, highlighting the importance of bridging the gap between automated decisions, fairness, and anti-discrimination doctrine. | 翻訳日:2024-07-04 03:25:29 公開日:2024-06-29 |
| # PUZZLES: ニューラルネットワーク推論のためのベンチマーク
PUZZLES: A Benchmark for Neural Algorithmic Reasoning ( http://arxiv.org/abs/2407.00401v1 ) ライセンス: Link先を確認 | Benjamin Estermann, Luca A. Lanzendörfer, Yannick Niedermayr, Roger Wattenhofer, | (参考訳) アルゴリズム推論は、問題解決と意思決定プロセスにおいて重要な役割を果たす基本的な認知能力である。
強化学習 (Reinforcement Learning, RL) は, 運動制御, 知覚入力処理, 確率的環境管理などのタスクにおいて, 卓越した熟練度を示した。
これらの進歩は、部分的にはベンチマークの可用性によって実現されている。
本稿では,Simon Tatham氏のPortable Puzzle CollectionをベースとしたベンチマークであるPUZLESを紹介する。
PUZZLESには、調整可能なサイズと様々なレベルの複雑さを持つ40の多様な論理パズルが含まれている。
40のパズルは、RLエージェントの強度と一般化能力に関する詳細な情報を提供する。
さらに,PUZLES上での様々なRLアルゴリズムの評価を行い,ベースライン比較を行い,今後の研究の可能性を示す。
環境を含む全てのソフトウェアはhttps://github.com/ETH-DISCO/rlp.comで入手できる。
Algorithmic reasoning is a fundamental cognitive ability that plays a pivotal role in problem-solving and decision-making processes. Reinforcement Learning (RL) has demonstrated remarkable proficiency in tasks such as motor control, handling perceptual input, and managing stochastic environments. These advancements have been enabled in part by the availability of benchmarks. In this work we introduce PUZZLES, a benchmark based on Simon Tatham's Portable Puzzle Collection, aimed at fostering progress in algorithmic and logical reasoning in RL. PUZZLES contains 40 diverse logic puzzles of adjustable sizes and varying levels of complexity; many puzzles also feature a diverse set of additional configuration parameters. The 40 puzzles provide detailed information on the strengths and generalization capabilities of RL agents. Furthermore, we evaluate various RL algorithms on PUZZLES, providing baseline comparisons and demonstrating the potential for future research. All the software, including the environment, is available at https://github.com/ETH-DISCO/rlp. | 翻訳日:2024-07-04 03:25:29 公開日:2024-06-29 |
| # 検索がすべて必要なら、それは本当に長いコンテキストか? - 難易度の高いロングコンテキストNLPに向けて
Is It Really Long Context if All You Need Is Retrieval? Towards Genuinely Difficult Long Context NLP ( http://arxiv.org/abs/2407.00402v1 ) ライセンス: Link先を確認 | Omer Goldman, Alon Jacovi, Aviv Slobodkin, Aviya Maimon, Ido Dagan, Reut Tsarfaty, | (参考訳) 言語モデルの能力の向上により、より長いコンテキストに応用され、長期のコンテキスト評価と開発が活発な研究領域となっている。
しかし、多くの異なるユースケースは"long-context"という傘の用語の下でグループ化され、モデル入力の総長さによって定義される。
これらの課題が多様であることを踏まえ、本稿では、文脈長による異なるタスクの混在は非生産的であると論じる。
コミュニティとして、長いコンテキストのタスクが似ているか異なるかを理解するために、より正確な語彙が必要です。
我々は、長い文脈でそれらがより困難になる特性に基づいて、長い文脈の分類を解き放つことを提案する。
難易度の直交軸を2つ提案する: (I)拡散: 文脈で必要な情報を見つけるのがどのくらい難しいか?
(II)
Scope: 必要な情報はどの程度ありますか?
我々は、長文の文献を調査し、この分類を情報記述者として正当化し、それに関する文献を整理する。
必要な情報が非常に長く、入力内で非常に拡散している、最も困難で興味深い設定は、非常に過度に探索されている、と結論付けている。
記述語彙を用いて、長文における難易度の関連性について議論することにより、この領域でより深い研究を行うことができる。
より短いコンテキストと定性的に異なる特徴を考慮し、明確に長いコンテキストでタスクとベンチマークを慎重に設計することを求めている。
Improvements in language models' capabilities have pushed their applications towards longer contexts, making long-context evaluation and development an active research area. However, many disparate use-cases are grouped together under the umbrella term of "long-context", defined simply by the total length of the model's input, including - for example - Needle-in-a-Haystack tasks, book summarization, and information aggregation. Given their varied difficulty, in this position paper we argue that conflating different tasks by their context length is unproductive. As a community, we require a more precise vocabulary to understand what makes long-context tasks similar or different. We propose to unpack the taxonomy of long-context based on the properties that make them more difficult with longer contexts. We propose two orthogonal axes of difficulty: (I) Diffusion: How hard is it to find the necessary information in the context? (II) Scope: How much necessary information is there to find? We survey the literature on long-context, provide justification for this taxonomy as an informative descriptor, and situate the literature with respect to it. We conclude that the most difficult and interesting settings, whose necessary information is very long and highly diffused within the input, is severely under-explored. By using a descriptive vocabulary and discussing the relevant properties of difficulty in long-context, we can implement more informed research in this area. We call for a careful design of tasks and benchmarks with distinctly long context, taking into account the characteristics that make it qualitatively different from shorter context. | 翻訳日:2024-07-04 03:25:29 公開日:2024-06-29 |
| # SHADE: ドメイン固有のエンティティのためのセマンティックハイパーネムアノテーション -- DnDドメインユースケース
SHADE: Semantic Hypernym Annotator for Domain-specific Entities -- DnD Domain Use Case ( http://arxiv.org/abs/2407.00407v1 ) ライセンス: Link先を確認 | Akila Peiris, Nisansa de Silva, | (参考訳) 手動データアノテーションは重要なNLPタスクですが、かなりのリソースと労力が必要です。
コストにもかかわらず、意味評価のようなNLPタスクには、エンティティのラベル付けと分類が不可欠である。
ほとんどの場合、アノテーションは非専門家によって行われるが、これは人的労働を必要とするため、プロセスはコストがかかる。
データアノテーションで遭遇するもうひとつの大きな課題は、アノテーションの一貫性を維持することだ。
アノテーションの取り組みは通常、複数のアノテータのチームによって行われる。
アノテーションは、人間のエラーを減らしながら、ドメインの真理とアノテーションフォーマットの両方に関して一貫性を維持する必要がある。
ファンタジー文学のような一般的な領域からかなり逸脱した特殊なドメインに注釈を付けると、人間による誤りや注釈の相違が多く見られる。
したがって、適切なガイドラインとエラー低減メカニズムが実施されることが不可欠である。
このような制約を強制する方法の1つは、特別なアプリケーションを使用することです。
このようなアプリは、表記法が一貫していることを保証することができ、ラベルを事前に定義したり、制限したりすることでエラーの余地を減らすことができる。
本稿では,ハイファンタジー文学分野におけるエンティティの注釈付けに使用できるアノテーションソフトウェアSHADEについて述べる。
特にダンジョンズとドラゴンズでは、Forgotten Realms Fandom Wikiから抽出された。
Manual data annotation is an important NLP task but one that takes considerable amount of resources and effort. In spite of the costs, labeling and categorizing entities is essential for NLP tasks such as semantic evaluation. Even though annotation can be done by non-experts in most cases, due to the fact that this requires human labor, the process is costly. Another major challenge encountered in data annotation is maintaining the annotation consistency. Annotation efforts are typically carried out by teams of multiple annotators. The annotations need to maintain the consistency in relation to both the domain truth and annotation format while reducing human errors. Annotating a specialized domain that deviates significantly from the general domain, such as fantasy literature, will see a lot of human error and annotator disagreement. So it is vital that proper guidelines and error reduction mechanisms are enforced. One such way to enforce these constraints is using a specialized application. Such an app can ensure that the notations are consistent, and the labels can be pre-defined or restricted reducing the room for errors. In this paper, we present SHADE, an annotation software that can be used to annotate entities in the high fantasy literature domain. Specifically in Dungeons and Dragons lore extracted from the Forgotten Realms Fandom Wiki. | 翻訳日:2024-07-04 03:15:45 公開日:2024-06-29 |
| # 視覚変換器を用いたCADスケッチのパラメトリック原始解析
Parametric Primitive Analysis of CAD Sketches with Vision Transformer ( http://arxiv.org/abs/2407.00410v1 ) ライセンス: Link先を確認 | Xiaogang Wang, Liang Wang, Hongyu Wu, Guoqiang Xiao, Kai Xu, | (参考訳) CAD(Computer-Aided Design)のスケッチの設計と分析は、CADプリミティブとその相互制約を含む産業製品設計において重要な役割を担っている。
本稿では,自己回帰モデルにおける誤り蓄積と自己教師型モデル設計に伴う複雑さに対処するため,2段階のネットワークフレームワークを提案する。
このフレームワークはプリミティブネットワークと制約ネットワークで構成され、スケッチ解析タスクをセット予測問題に変換し、プリミティブと制約の効果的処理を強化する。
ターゲットの型をパラメータから切り離すことで、モデルの柔軟性と最適化が向上し、複雑さが軽減される。
さらに、制約ネットワークはポインタモジュールを組み込んで、制約パラメータとプリミティブインデックスの関係を明確に示し、解釈可能性とパフォーマンスを高める。
2つの公開データセットの質的および定量的分析は、この手法の優位性を示している。
The design and analysis of Computer-Aided Design (CAD) sketches play a crucial role in industrial product design, primarily involving CAD primitives and their inter-primitive constraints. To address challenges related to error accumulation in autoregressive models and the complexities associated with self-supervised model design for this task, we propose a two-stage network framework. This framework consists of a primitive network and a constraint network, transforming the sketch analysis task into a set prediction problem to enhance the effective handling of primitives and constraints. By decoupling target types from parameters, the model gains increased flexibility and optimization while reducing complexity. Additionally, the constraint network incorporates a pointer module to explicitly indicate the relationship between constraint parameters and primitive indices, enhancing interpretability and performance. Qualitative and quantitative analyses on two publicly available datasets demonstrate the superiority of this method. | 翻訳日:2024-07-04 03:15:45 公開日:2024-06-29 |
| # 欠落データに基づく機械学習モデルの説明可能性
Explainability of Machine Learning Models under Missing Data ( http://arxiv.org/abs/2407.00411v1 ) ライセンス: Link先を確認 | Tuan L. Vo, Thu Nguyen, Hugo L. Hammer, Michael A. Riegler, Pal Halvorsen, | (参考訳) データ不足は、モデルの性能と解釈可能性を著しく損なうおそれのある問題である。
本稿では、説明可能な人工知能に関する欠落データ分野の展開を要約し、複雑な機械学習モデルを解釈するための一般的な手法であるシェープリー値の計算に対する様々な計算方法の効果を実験的に検討する。
我々は異なる計算戦略を比較し、シャプリー値によって決定される特徴の重要性と相互作用への影響を評価する。
さらに,Shapley値の欠落がShapley値に与える影響についても理論的に分析した。
重要なことは,計算手法の選択は,シェープリー値の変化につながるバイアスを生じさせ,モデルの解釈可能性に影響を及ぼすことである。
さらに、より低いテスト予測平均二乗誤差(MSE)は、シャプリー値の低いMSEを暗示せず、その逆も意味しない。
また、Xgboostは、行方不明データを直接処理できるメソッドであるが、Xgboostを直接使用すれば、Xgboostをトレーニングする前にデータを出力するよりも、解釈可能性に深刻な影響を及ぼす可能性がある。
本研究は,モデル解釈の文脈における命令法を包括的に評価し,データセットの特徴と解析目的に基づいて適切な手法を選択するための実践的ガイダンスを提供する。
この結果は、機械学習モデルからの堅牢で信頼性の高い洞察を確保するために、計算的効果を検討することの重要性を強調している。
Missing data is a prevalent issue that can significantly impair model performance and interpretability. This paper briefly summarizes the development of the field of missing data with respect to Explainable Artificial Intelligence and experimentally investigates the effects of various imputation methods on the calculation of Shapley values, a popular technique for interpreting complex machine learning models. We compare different imputation strategies and assess their impact on feature importance and interaction as determined by Shapley values. Moreover, we also theoretically analyze the effects of missing values on Shapley values. Importantly, our findings reveal that the choice of imputation method can introduce biases that could lead to changes in the Shapley values, thereby affecting the interpretability of the model. Moreover, and that a lower test prediction mean square error (MSE) may not imply a lower MSE in Shapley values and vice versa. Also, while Xgboost is a method that could handle missing data directly, using Xgboost directly on missing data can seriously affect interpretability compared to imputing the data before training Xgboost. This study provides a comprehensive evaluation of imputation methods in the context of model interpretation, offering practical guidance for selecting appropriate techniques based on dataset characteristics and analysis objectives. The results underscore the importance of considering imputation effects to ensure robust and reliable insights from machine learning models. | 翻訳日:2024-07-04 03:15:45 公開日:2024-06-29 |
| # 運転が遅すぎたり、使用が早すぎたり : 低電源型ベンガルLLMの必要性と実用性に関する研究
Too Late to Train, Too Early To Use? A Study on Necessity and Viability of Low-Resource Bengali LLMs ( http://arxiv.org/abs/2407.00416v1 ) ライセンス: Link先を確認 | Tamzeed Mahfuz, Satak Kumar Dey, Ruwad Naswan, Hasnaen Adil, Khondker Salman Sayeed, Haz Sameen Shahgir, | (参考訳) 各世代の英語指向大規模言語モデル(LLM)は、言語間移動能力の向上と、低リソース言語における古いLLMの大幅な性能向上を示す。
LLMは特定の低リソース言語専用のものが必要なのでしょうか?
我々は,東南アジアのベンガル地方原産の低モデレート資源であるインド・アーリア語であるベンガル語について,この問題を探求することを目的とする。
我々は,LLaMA-3 や GPT-4 などのオープンウェイトおよびクローズドソース LLM の性能を,翻訳,要約,パラフレージング,質問応答,自然言語推論など,さまざまなベンガル下流タスクからなる微調整エンコーダデコーダモデルと比較した。
LLMは一般的に推論タスクに優れるが,Bengaliスクリプト生成を必要とするタスクのパフォーマンスは不整合である。
主な課題は、既存のLLMによるベンガル文字の非効率なトークン化であり、計算コストの増大と潜在的な性能低下につながっている。
さらに,Bengali NLPタスクで一般的に使用される機械翻訳データセットのバイアスも強調する。
ベンガル語指向のLLMには大きなニーズがあることを結論づけるが、この分野では現在、高効率なモデルを開発するために必要な高品質な事前学習および指導訓練データセットが欠落している。
Each new generation of English-oriented Large Language Models (LLMs) exhibits enhanced cross-lingual transfer capabilities and significantly outperforms older LLMs on low-resource languages. This prompts the question: Is there a need for LLMs dedicated to a particular low-resource language? We aim to explore this question for Bengali, a low-to-moderate resource Indo-Aryan language native to the Bengal region of South Asia. We compare the performance of open-weight and closed-source LLMs such as LLaMA-3 and GPT-4 against fine-tuned encoder-decoder models across a diverse set of Bengali downstream tasks, including translation, summarization, paraphrasing, question-answering, and natural language inference. Our findings reveal that while LLMs generally excel in reasoning tasks, their performance in tasks requiring Bengali script generation is inconsistent. Key challenges include inefficient tokenization of Bengali script by existing LLMs, leading to increased computational costs and potential performance degradation. Additionally, we highlight biases in machine-translated datasets commonly used for Bengali NLP tasks. We conclude that there is a significant need for a Bengali-oriented LLM, but the field currently lacks the high-quality pretraining and instruction-tuning datasets necessary to develop a highly effective model. | 翻訳日:2024-07-04 03:15:45 公開日:2024-06-29 |
| # Poisson メカニズムを使用してコンテンジェンシーテーブルを合成する場合、$(ε,δ)$-differential privacy を保証する
Obtaining $(ε,δ)$-differential privacy guarantees when using a Poisson mechanism to synthesize contingency tables ( http://arxiv.org/abs/2407.00417v1 ) ライセンス: Link先を確認 | James Jackson, Robin Mitra, Brian Francis, Iain Dove, | (参考訳) 本稿では, ポアソン合成機構を用いて, 待ち時間表の数の保護を行う場合に, 差分プライバシ型保証が得られることを示す。
具体的には、Poisson分布の累積分布関数を介して、$(\epsilon, \delta)$-probabilistic差分プライバシー保証を得る方法を示す。
本稿では,行政型機密データベースの構築を実証的に実施する。
We show that differential privacy type guarantees can be obtained when using a Poisson synthesis mechanism to protect counts in contingency tables. Specifically, we show how to obtain $(\epsilon, \delta)$-probabilistic differential privacy guarantees via the Poisson distribution's cumulative distribution function. We demonstrate this empirically with the synthesis of an administrative-type confidential database. | 翻訳日:2024-07-04 03:15:45 公開日:2024-06-29 |
| # eFontes, Part of Speech Tagging and Lemmatization of Medieval Latin Texts. A Cross-Genre Survey
eFontes. Part of Speech Tagging and Lemmatization of Medieval Latin Texts.A Cross-Genre Survey ( http://arxiv.org/abs/2407.00418v1 ) ライセンス: Link先を確認 | Krzysztof Nowak, Jędrzej Ziębura, Krzysztof Wróbel, Aleksander Smywiński-Pohl, | (参考訳) 本研究は,中世ラテン文字の自動言語アノテーションのためのeFontesモデルを紹介し,レマタイズ,パート・オブ・音声タグ付け,形態的特徴決定に着目した。
Transformersライブラリを使用して、これらのモデルは、ポーランド中世ラテン語のUniversal Dependencies(UD)コーパスと、新たに開発されたeFontesコーパスに基づいて訓練された。
この研究はモデルの性能を評価し、正書法の変化やラテン文字の語彙の統合といった課題に対処する。
再現率92.60%、音声の一部タグ付け83.29%、形態学的特徴判定88.57%である。
この結果から,高品質アノテートコーパスの重要性を浮き彫りにし,名前付きエンティティ認識へのモデル拡張など,今後の拡張を提案する。
This study introduces the eFontes models for automatic linguistic annotation of Medieval Latin texts, focusing on lemmatization, part-of-speech tagging, and morphological feature determination. Using the Transformers library, these models were trained on Universal Dependencies (UD) corpora and the newly developed eFontes corpus of Polish Medieval Latin. The research evaluates the models' performance, addressing challenges such as orthographic variations and the integration of Latinized vernacular terms. The models achieved high accuracy rates: lemmatization at 92.60%, part-of-speech tagging at 83.29%, and morphological feature determination at 88.57%. The findings underscore the importance of high-quality annotated corpora and propose future enhancements, including extending the models to Named Entity Recognition. | 翻訳日:2024-07-04 03:15:45 公開日:2024-06-29 |
| # 社会的合理的エージェントの集団と協調する学習の複雑さについて
On the Complexity of Learning to Cooperate with Populations of Socially Rational Agents ( http://arxiv.org/abs/2407.00419v1 ) ライセンス: Link先を確認 | Robert Loftin, Saptarashmi Bandyopadhyay, Mustafa Mert Çelikok, | (参考訳) 現実世界に展開される人工的なインテリジェントなエージェントは、人間(および他の異種AIエージェント)と確実に‘textit{cooperate’する能力を必要とする。
協力を成功させるための公式な保証を提供するためには、パートナーエージェントがどう行動するかについて、いくつかの仮定をしなければならない。
現実的な仮定の集合は、他のエージェントが我々のエージェントと同じくらい適応可能であるという事実を考慮しなければならない。
本研究では,有限繰り返しの2つのプレイヤー汎用行列ゲームにおいて,エージェントの‘textit{population}’と協調する問題を考える。
そのような設定における2つの自然な仮定は以下のとおりである。
1)集団内のすべてのエージェントは、個別に合理的な学習者であり、
2) 人口の2つのメンバーがペアになり、高い確率で、パレートの効率的な均衡戦略の下で、少なくとも同一の効用を達成する。
以上の結果から,これらの仮定だけでは,対象人口との‘textit{zero-shot’協力を確保するには不十分であることが示唆された。
そこで,本稿では,これらの集団と協調する戦略として,そのメンバー同士が相互に相互作用する事前観察を取り入れた「textit{learning}」の問題を考える。
効果的な協調戦略を学習するために必要なサンプル数について,上層および下層境界を提供する。
最も重要なことは、これらの境界は、問題を模倣学習の1つに「内在的な」還元から生じるものよりもはるかに強いことを示します。
Artificially intelligent agents deployed in the real-world will require the ability to reliably \textit{cooperate} with humans (as well as other, heterogeneous AI agents). To provide formal guarantees of successful cooperation, we must make some assumptions about how partner agents could plausibly behave. Any realistic set of assumptions must account for the fact that other agents may be just as adaptable as our agent is. In this work, we consider the problem of cooperating with a \textit{population} of agents in a finitely-repeated, two player general-sum matrix game with private utilities. Two natural assumptions in such settings are that: 1) all agents in the population are individually rational learners, and 2) when any two members of the population are paired together, with high-probability they will achieve at least the same utility as they would under some Pareto efficient equilibrium strategy. Our results first show that these assumptions alone are insufficient to ensure \textit{zero-shot} cooperation with members of the target population. We therefore consider the problem of \textit{learning} a strategy for cooperating with such a population using prior observations its members interacting with one another. We provide upper and lower bounds on the number of samples needed to learn an effective cooperation strategy. Most importantly, we show that these bounds can be much stronger than those arising from a "naive'' reduction of the problem to one of imitation learning. | 翻訳日:2024-07-04 03:15:45 公開日:2024-06-29 |
| # 確率的変分推論による一般状態空間モデルによる時系列クラスタリング
Time Series Clustering with General State Space Models via Stochastic Variational Inference ( http://arxiv.org/abs/2407.00429v1 ) ライセンス: Link先を確認 | Ryoichi Ishizuka, Takashi Imai, Kaoru Kawamoto, | (参考訳) 本稿では,一般状態空間モデル(MSSM)を混合したモデルベース時系列クラスタリング手法を提案する。
MSSMの各コンポーネントは、各クラスタに関連付けられている。
提案手法の利点は,特定の時系列に適した時系列モデルの利用を可能にすることである。
これにより、クラスタリングと予測精度が向上するだけでなく、推定パラメータの解釈可能性も向上する。
MSSMのパラメータは確率的変分推論(変分推論のサブタイプ)を用いて推定される。
提案手法は,変分推定器として正規化フローを持つニューラルネットワークを用いて任意の状態空間モデルの潜時変数を推定する。
クラスターの数はベイズ情報基準を用いて推定できる。
また,MSSMが局所最適に収束するのを防ぐため,エントロピーアニーリング(entropy annealing)と呼ばれる追加のペナルティ項を含むいくつかの最適化手法を提案する。
シミュレーションデータセットの実験から,提案手法はクラスタリング,パラメータ推定,クラスタ数推定に有効であることが示された。
In this paper, we propose a novel method of model-based time series clustering with mixtures of general state space models (MSSMs). Each component of MSSMs is associated with each cluster. An advantage of the proposed method is that it enables the use of time series models appropriate to the specific time series. This not only improves clustering and prediction accuracy but also enhances the interpretability of the estimated parameters. The parameters of the MSSMs are estimated using stochastic variational inference, a subtype of variational inference. The proposed method estimates the latent variables of an arbitrary state space model by using neural networks with a normalizing flow as a variational estimator. The number of clusters can be estimated using the Bayesian information criterion. In addition, to prevent MSSMs from converging to the local optimum, we propose several optimization tricks, including an additional penalty term called entropy annealing. Experiments on simulated datasets show that the proposed method is effective for clustering, parameter estimation, and estimating the number of clusters. | 翻訳日:2024-07-04 03:15:45 公開日:2024-06-29 |
| # 位置埋め込みに基づく一対距離学習による尿路石の微細な診断
Location embedding based pairwise distance learning for fine-grained diagnosis of urinary stones ( http://arxiv.org/abs/2407.00431v1 ) ライセンス: Link先を確認 | Qiangguo Jin, Jiapeng Huang, Changming Sun, Hui Cui, Ping Xuan, Ran Su, Leyi Wei, Yu-Jie Wu, Chia-An Wu, Henry B. L. Duh, Yueh-Hsun Lu, | (参考訳) 尿石の正確な診断は効果的な治療戦略の策定に不可欠である。
しかし、診断過程は、石と周囲の組織との低コントラストと、異なる患者にまたがる石の場所の変動によって複雑になることが多い。
そこで本研究では,低用量腹部X線画像と位置情報を組み合わせた位置埋め込み型ペアワイド距離学習ネットワーク(LEPD-Net)を提案する。
LEPD-Netは、文脈認識領域の強化によるストーン関連特徴の表現を強化し、石の位置埋め込みによる重要な位置知識を取り入れ、我々の革新的な微粒な対距離学習による微粒な物体の認識を実現する。
さらに,提案手法の有効性を実証するため,尿路石の社内データセットを構築した。
このデータセットで実施した総合的な実験により、我々のフレームワークが既存の最先端手法を大幅に上回っていることが明らかとなった。
The precise diagnosis of urinary stones is crucial for devising effective treatment strategies. The diagnostic process, however, is often complicated by the low contrast between stones and surrounding tissues, as well as the variability in stone locations across different patients. To address this issue, we propose a novel location embedding based pairwise distance learning network (LEPD-Net) that leverages low-dose abdominal X-ray imaging combined with location information for the fine-grained diagnosis of urinary stones. LEPD-Net enhances the representation of stone-related features through context-aware region enhancement, incorporates critical location knowledge via stone location embedding, and achieves recognition of fine-grained objects with our innovative fine-grained pairwise distance learning. Additionally, we have established an in-house dataset on urinary tract stones to demonstrate the effectiveness of our proposed approach. Comprehensive experiments conducted on this dataset reveal that our framework significantly surpasses existing state-of-the-art methods. | 翻訳日:2024-07-04 03:15:45 公開日:2024-06-29 |
| # Brevityはウィットの魂:コード生成のために長いファイルを実行する
Brevity is the soul of wit: Pruning long files for code generation ( http://arxiv.org/abs/2407.00434v1 ) ライセンス: Link先を確認 | Aaditya K. Singh, Yu Yang, Kushal Tirumala, Mostafa Elhoushi, Ari S. Morcos, | (参考訳) データキュレーションは一般的にLLMトレーニングの"秘密のソース"と見なされ、高品質なデータは通常LLMのパフォーマンス向上につながる。
インターネットに縛られたコーパスの規模を考えると、データプルーニングはますます注目されている。
具体的には、データの非重複化、あるいは高品質なデータのサブ選択が効率やパフォーマンスの改善につながることが示されている。
一般に、インターネットスケールコーパス(埋め込みベース、ヒューリスティックベース、分類器ベース)をフィルタリングするために3種類の手法が使用される。
本研究では、コード生成のための微調整LDMの領域における前者の2つを対比する。
埋め込みベースの手法は、しばしば長さによって構成され、単純なヒューリスティックな長いファイルが、計算制限付きレシエーションにおいて他の方法より優れていることが判明した。
提案手法は,HumanEvalの学習効率を最大2倍に向上させるか,HumanEvalの絶対性能を3.5%向上させる。
しかし、ホールドアウト長ファイルのパープレキシティは増大し、一般的なコーディングベンチマーク(HumanEval, MBPP)にデータ混合を最適化することが、実際に下流のユースケースに最適なのかという疑問を提起する。
全体として、コードデータに関する有用な直感(特に極端に長いコードファイルの低品質)を構築して、データプルーニングのための説得力のあるヒューリスティックな方法を提供し、コード生成モデルをどのように評価するかという簡単な疑問をもたらしてくれることを願っています。
Data curation is commonly considered a "secret-sauce" for LLM training, with higher quality data usually leading to better LLM performance. Given the scale of internet-scraped corpora, data pruning has become a larger and larger focus. Specifically, many have shown that de-duplicating data, or sub-selecting higher quality data, can lead to efficiency or performance improvements. Generally, three types of methods are used to filter internet-scale corpora: embedding-based, heuristic-based, and classifier-based. In this work, we contrast the former two in the domain of finetuning LLMs for code generation. We find that embedding-based methods are often confounded by length, and that a simple heuristic--pruning long files--outperforms other methods in compute-limited regimes. Our method can yield up to a 2x efficiency benefit in training (while matching performance) or a 3.5% absolute performance improvement on HumanEval (while matching compute). However, we find that perplexity on held-out long files can increase, begging the question of whether optimizing data mixtures for common coding benchmarks (HumanEval, MBPP) actually best serves downstream use cases. Overall, we hope our work builds useful intuitions about code data (specifically, the low quality of extremely long code files) provides a compelling heuristic-based method for data pruning, and brings to light questions in how we evaluate code generation models. | 翻訳日:2024-07-04 03:15:45 公開日:2024-06-29 |
| # 多言語大言語モデルのための並列コーパス爆発の準備
A Recipe of Parallel Corpora Exploitation for Multilingual Large Language Models ( http://arxiv.org/abs/2407.00436v1 ) ライセンス: Link先を確認 | Peiqin Lin, André F. T. Martins, Hinrich Schütze, | (参考訳) 近年の研究では、並列コーパスを利用して多言語大言語モデルを強化し、バイリンガルタスク(例えば機械翻訳)と汎用タスク(例えばテキスト分類)の両方のパフォーマンスを向上させる可能性を強調している。
本研究は,これらの知見に基づいて,並列コーパスを利用するための最も効果的な戦略を特定することを目的としている。
パラレルコーパスの品質と量,訓練目標,モデルサイズが多言語多言語大言語モデルの性能に及ぼす影響について検討した。
私たちの分析では、いくつかの重要な洞察が浮かび上がっています。
二 並列コーパスを効果的に活用するためには、フィルタリングノイズ翻訳が不可欠であるが、言語識別及び短文フィルタリングは、ほとんど効果がない。
(ii) わずか10Kのパラレル文を含むコーパスでさえ、はるかに大きなデータセットから得られた結果に匹敵する結果が得られる。
三 機械翻訳目的のみを用いることで、各種の訓練目的及びそれらの組み合わせにおいて、最良の結果が得られること。
(4)より大きい多言語言語モデルは、クロスタスク転送の能力が強いため、より小さなモデルよりも並列コーパスの恩恵を受ける。
本研究は,多言語大言語モデルを改善するために並列コーパスの最適利用に関する貴重な知見を提供し,限られた言語やタスクから幅広いシナリオまで,過去の発見の一般化可能性を広げるものである。
Recent studies have highlighted the potential of exploiting parallel corpora to enhance multilingual large language models, improving performance in both bilingual tasks, e.g., machine translation, and general-purpose tasks, e.g., text classification. Building upon these findings, our comprehensive study aims to identify the most effective strategies for leveraging parallel corpora. We investigate the impact of parallel corpora quality and quantity, training objectives, and model size on the performance of multilingual large language models enhanced with parallel corpora across diverse languages and tasks. Our analysis reveals several key insights: (i) filtering noisy translations is essential for effectively exploiting parallel corpora, while language identification and short sentence filtering have little effect; (ii) even a corpus containing just 10K parallel sentences can yield results comparable to those obtained from much larger datasets; (iii) employing only the machine translation objective yields the best results among various training objectives and their combinations; (iv) larger multilingual language models benefit more from parallel corpora than smaller models due to their stronger capacity for cross-task transfer. Our study offers valuable insights into the optimal utilization of parallel corpora to enhance multilingual large language models, extending the generalizability of previous findings from limited languages and tasks to a broader range of scenarios. | 翻訳日:2024-07-04 03:15:45 公開日:2024-06-29 |
| # NMRレジスタの量子制御のための物理インフォームニューラルネットワーク
Physics-informed neural network for quantum control of NMR registers ( http://arxiv.org/abs/2407.00444v1 ) ライセンス: Link先を確認 | Priya Batra, T. S. Mahesh, | (参考訳) 古典的および量子機械学習は、量子情報技術の様々なタスクにますます応用されている。
本稿では,物理インフォームドニューラルネットワーク(PINN)を用いた量子制御の実験実験について述べる。
PINNの健全な特徴は、ネットワークパラメータの観点から制御シーケンス全体をエンコードする方法である。
この特徴により、制御シーケンスを任意のハードウェアに最適な時間離散化で適用することができるが、これは優先順位時間離散化を含む従来の手法とは対照的である。
ここでは,ゲート合成と状態準備という2つの重要な量子情報課題について論じる。
まず、2量子ビットのCNOTゲートを設計し、ヘテロ核二スピンNMRレジスタ上で実験的に実装することで量子ゲート合成を実証する。
第2に、長寿命一重項状態に効率よく熱状態を伝達する制御配列を設計し、同核二スピンNMRレジスタに実験的に実装することにより、量子状態の準備を実証する。
本稿では、帯域幅、離散化レベル、制御フィールドエラー、外部ノイズに関するPINN制御シーケンスを詳細に解析する。
Classical and quantum machine learning are being increasingly applied to various tasks in quantum information technologies. Here, we present an experimental demonstration of quantum control using a physics-informed neural network (PINN). PINN's salient feature is how it encodes the entire control sequence in terms of its network parameters. This feature enables the control sequence to be later adopted to any hardware with optimal time discretization, which contrasts with conventional methods involving a priory time discretization. Here, we discuss two important quantum information tasks: gate synthesis and state preparation. First, we demonstrate quantum gate synthesis by designing a two-qubit CNOT gate and experimentally implementing it on a heteronuclear two-spin NMR register. Second, we demonstrate quantum state preparation by designing a control sequence to efficiently transfer the thermal state into the long-lived singlet state and experimentally implement it on a homonuclear two-spin NMR register. We present a detailed numerical analysis of the PINN control sequences regarding bandwidth, discretization levels, control field errors, and external noise. | 翻訳日:2024-07-04 03:15:45 公開日:2024-06-29 |
| # 古典データ符号化のための安定化器形式を用いた量子貯水池計算
Quantum reservoir computing using the stabilizer formalism for encoding classical data ( http://arxiv.org/abs/2407.00445v1 ) ライセンス: Link先を確認 | Franz G. Fuchs, Alexander J. Stasik, Stanley Miao, Ola Tangen Kulseng, Ruben Pariente Bassa, | (参考訳) 貯水池コンピューティングのための量子システムの利用は、最近多くの注目を集めている。
鍵となる課題は、古典的な情報を最適にエンコードし、デコードする方法と、優れた貯水池を構成するものに関連している。
我々の主な貢献は、時間列を与えられた安定化器の余集合によって定義される部分空間に強固にエンコードしデコードする標準的な方法の一般化である。
重要な観察はデコードステップを実行する必要があることであり、それによって一貫したエンコーディングの方法が保証される。
これにより、古典情報を堅牢な方法でエンコードする体系的な方法が提供される。
我々は、2つの標準写像、すなわちロジスティック写像とH'enon写像によって与えられる離散時系列に関する数値解析を行う。
以上の結果から,トレーニングデータの長さによってシステムの性能が向上していることが示唆された。
Utilizing a quantum system for reservoir computing has recently received a lot of attention. Key challenges are related to how on can optimally en- and decode classical information, as well as what constitutes a good reservoir. Our main contribution is a generalization of the standard way to robustly en- and decode time series into subspaces defined by the cosets of a given stabilizer. A key observation is the necessity to perform the decoding step, which in turn ensures a consistent way of encoding. This provides a systematic way to encode classical information in a robust way. We provide a numerical analysis on a discrete time series given by two standard maps, namely the logistic and the H\'enon map. Our numerical findings indicate that the system's performance is increasing with the length of the training data. | 翻訳日:2024-07-04 03:15:45 公開日:2024-06-29 |
| # 歩行者行動理解の深層化:意図推定、行動予測、事象リスク評価
Diving Deeper Into Pedestrian Behavior Understanding: Intention Estimation, Action Prediction, and Event Risk Assessment ( http://arxiv.org/abs/2407.00446v1 ) ライセンス: Link先を確認 | Amir Rasouli, Iuliia Kotseruba, | (参考訳) 本稿では,意図推定,行動予測,イベントリスク評価という3つの異なる課題の観点から,歩行者行動理解の問題を探究する。
まず、これらのタスクをJAADとPIEの2つの広く使われている歩行者データセットでどのように表現し、注釈付けするかについて議論する。
次に、これらの定義に基づく新しいベンチマーク、利用可能なアノテーション、および3つの新しいメトリクスクラスを提案し、それぞれがモデルパフォーマンスの異なる側面を評価するように設計されている。
本研究では,4つのSOTA予測モデルを各タスクで検証し,その性能w.r.t.メトリックと入力モダリティを比較した。
特に,様々なシナリオや文脈要因を考慮し,意図推定と行動予測タスクの違いを分析する。
最後に、これらの2つのタスク間のモデル合意について検討し、それらの相補的な役割を示す。
提案するベンチマークでは、異なるデータモダリティ、タスク、関連するデータプロパティの役割に関する新たな事実を明らかにしている。
本研究の成果を概説し,今後の研究方向性を提案する。
In this paper, we delve into the pedestrian behavior understanding problem from the perspective of three different tasks: intention estimation, action prediction, and event risk assessment. We first define the tasks and discuss how these tasks are represented and annotated in two widely used pedestrian datasets, JAAD and PIE. We then propose a new benchmark based on these definitions, available annotations, and three new classes of metrics, each designed to assess different aspects of the model performance. We apply the new evaluation approach to examine four SOTA prediction models on each task and compare their performance w.r.t. metrics and input modalities. In particular, we analyze the differences between intention estimation and action prediction tasks by considering various scenarios and contextual factors. Lastly, we examine model agreement across these two tasks to show their complementary role. The proposed benchmark reveals new facts about the role of different data modalities, the tasks, and relevant data properties. We conclude by elaborating on our findings and proposing future research directions. | 翻訳日:2024-07-04 03:15:45 公開日:2024-06-29 |
| # 超複雑ニューラルネットワークに対する完全テンソル的アプローチ
Fully tensorial approach to hypercomplex neural networks ( http://arxiv.org/abs/2407.00449v1 ) ライセンス: Link先を確認 | Agnieszka Niemczynowicz, Radosław Antoni Kycia, | (参考訳) 超複素ニューラルネットワークの完全なテンソル理論が与えられる。
鍵となる点は、代数乗法が階数3のテンソルとして表せることを観察することである。
このアプローチは、効果的なテンソル操作をサポートするニューラルネットワークライブラリにとって魅力的なものだ。
Fully tensorial theory of hypercomplex neural networks is given. The key point is to observe that the algebra multiplication can be represented as a rank three tensor. This approach is attractive for neural network libraries that support effective tensorial operations. | 翻訳日:2024-07-04 03:06:00 公開日:2024-06-29 |
| # 固有スペクトルの事前分布作成のためのハイブリッド量子古典クラスタリング
Hybrid Quantum-Classical Clustering for Preparing a Prior Distribution of Eigenspectrum ( http://arxiv.org/abs/2407.00450v1 ) ライセンス: Link先を確認 | Mengzhen Ren, Yu-Cheng Chen, Ching-Jui Lai, Min-Hsiu Hsieh, Alice Hu, | (参考訳) 量子多体系のエネルギーギャップを決定することは、その振る舞いを理解するために重要であり、量子化学や凝縮物質物理学において重要である。
エネルギーギャップを決定するには、システムの励起状態と基底状態の両方を特定する必要がある。
本研究では,時間非依存ハミルトニアンの固有スペクトルに対する先行分布と回路の作成について検討する。
提案アルゴリズムはハミルトン変換,パラメータ表現,古典的クラスタリングの3つの戦略ステップで展開する。
これらのステップは、変換されたハミルトンの基底状態を近似するための量子回路の使用と固有ベクトルの区別のためのパラメータ表現の解析の2つの重要な洞察によって支えられている。
このアルゴリズムは1Dハイゼンベルク系とLiH分子系への応用を通じて示され、短期量子デバイスとフォールトトレラント量子デバイスの両方の可能性を強調している。
また,提案手法のスケーラビリティと各種設定における性能について検討し,正確かつ高速な資源効率の高い量子計算のステージを設定した。
ここで示された結果は、ハイブリッドアルゴリズムに関する新たな洞察を示し、現在の計算課題を克服するための道筋を提供する。
Determining the energy gap in a quantum many-body system is critical to understanding its behavior and is important in quantum chemistry and condensed matter physics. The challenge of determining the energy gap requires identifying both the excited and ground states of a system. In this work, we consider preparing the prior distribution and circuits for the eigenspectrum of time-independent Hamiltonians, which can benefit both classical and quantum algorithms for solving eigenvalue problems. The proposed algorithm unfolds in three strategic steps: Hamiltonian transformation, parameter representation, and classical clustering. These steps are underpinned by two key insights: the use of quantum circuits to approximate the ground state of transformed Hamiltonians and the analysis of parameter representation to distinguish between eigenvectors. The algorithm is showcased through applications to the 1D Heisenberg system and the LiH molecular system, highlighting its potential for both near-term quantum devices and fault-tolerant quantum devices. The paper also explores the scalability of the method and its performance across various settings, setting the stage for more resource-efficient quantum computations that are both accurate and fast. The findings presented here mark a new insight into hybrid algorithms, offering a pathway to overcoming current computational challenges. | 翻訳日:2024-07-04 03:06:00 公開日:2024-06-29 |
| # KHNN:TensorFlowとPyTorchを用いたKerasによる超複雑ニューラルネットワーク計算
KHNNs: hypercomplex neural networks computations via Keras using TensorFlow and PyTorch ( http://arxiv.org/abs/2407.00452v1 ) ライセンス: Link先を確認 | Agnieszka Niemczynowicz, Radosław Antoni Kycia, | (参考訳) 実数よりも高度な代数を持つ計算で使用されるニューラルネットワークは、いくつかのアプリケーションでより良い性能を発揮する。
しかし、超複雑ニューラルネットワークを構築するための一般的なフレームワークは存在しない。
我々は、TensorFlowとPyTorch内で計算ができるKerasと統合されたライブラリを提案する。
DenseとConvolutional 1D、2D、3Dレイヤアーキテクチャを提供する。
Neural networks used in computations with more advanced algebras than real numbers perform better in some applications. However, there is no general framework for constructing hypercomplex neural networks. We propose a library integrated with Keras that can do computations within TensorFlow and PyTorch. It provides Dense and Convolutional 1D, 2D, and 3D layers architectures. | 翻訳日:2024-07-04 03:06:00 公開日:2024-06-29 |
| # PerSEval: テキスト要約器のパーソナライズを評価する
PerSEval: Assessing Personalization in Text Summarizers ( http://arxiv.org/abs/2407.00453v1 ) ライセンス: Link先を確認 | Sourish Dasgupta, Ankush Chander, Parth Borad, Isha Motiyani, Tanmoy Chakraborty, | (参考訳) パーソナライズされた要約モデルは、その読みの歴史と現在の注目のトピックによって表される、個人が主観的に正当性を理解することに焦点をあてる。
既存のパーソナライズされたテキスト要約器は、主にBLEU、ROUGE、METEORなどの精度測定に基づいて評価される。
しかし、最近の研究では、これらのモデルのパーソナライズ度を評価するのに精度の指標が不十分であると主張し、パーソナライズされたテキスト要約を評価する最初の指標であるEGISESを提案した。
正確性は別の側面であり、スタンドアローンで評価されるべきであると示唆された。
本稿では,精度の高いリーダーボードの必要性に挑戦し,精度に基づく集計結果に頼れば誤解を招く可能性があることを示唆する。
これを支援するために,我々はEGISESを深く掘り下げ,人格化の度合いに必要だが不十分である応答性の度合いを理論的にも経験的にも測定できることを実証した。
その後、必要な充足条件を満たす新しい尺度であるPerSEvalを提案する。
PENSデータセット上の10のSOTA要約モデルのベンチマークに基づいて、それを実証的に確立する。
(i)Pearson's r = 0.73、Spearman's $\rho$ = 0.62、Kendall's $\tau$ = 0.42)
(ii)Persevalは高いランク安定性を有する。
三 ランク尺度としてのPersevalは、EGISESに基づくランキングに関連付けられず、
(四)PerSEvalは、集計されたランキングを必要とせずに、スタンドアローンのランク尺度となることができる。
Personalized summarization models cater to individuals' subjective understanding of saliency, as represented by their reading history and current topics of attention. Existing personalized text summarizers are primarily evaluated based on accuracy measures such as BLEU, ROUGE, and METEOR. However, a recent study argued that accuracy measures are inadequate for evaluating the degree of personalization of these models and proposed EGISES, the first metric to evaluate personalized text summaries. It was suggested that accuracy is a separate aspect and should be evaluated standalone. In this paper, we challenge the necessity of an accuracy leaderboard, suggesting that relying on accuracy-based aggregated results might lead to misleading conclusions. To support this, we delve deeper into EGISES, demonstrating both theoretically and empirically that it measures the degree of responsiveness, a necessary but not sufficient condition for degree-of-personalization. We subsequently propose PerSEval, a novel measure that satisfies the required sufficiency condition. Based on the benchmarking of ten SOTA summarization models on the PENS dataset, we empirically establish that -- (i) PerSEval is reliable w.r.t human-judgment correlation (Pearson's r = 0.73; Spearman's $\rho$ = 0.62; Kendall's $\tau$ = 0.42), (ii) PerSEval has high rank-stability, (iii) PerSEval as a rank-measure is not entailed by EGISES-based ranking, and (iv) PerSEval can be a standalone rank-measure without the need of any aggregated ranking. | 翻訳日:2024-07-04 03:06:00 公開日:2024-06-29 |
| # 自己翻訳トレイン:大規模言語モデルの言語間移動のための単純だが強力なベースライン
Self-Translate-Train: A Simple but Strong Baseline for Cross-lingual Transfer of Large Language Models ( http://arxiv.org/abs/2407.00454v1 ) ライセンス: Link先を確認 | Ryokan Ri, Shun Kiyono, Sho Takase, | (参考訳) 言語間転送は、ターゲット言語のパフォーマンスを向上させるために、ソース言語でデータを利用するための有望なテクニックである。
しかし、現在の手法では、多言語事前学習言語モデルの言語間一般化への過度な依存のため、外部翻訳システムを必要とする場合や、最適でない性能に悩まされる場合が多い。
本研究では,自己翻訳トレインと呼ばれる簡易かつ効果的な手法を提案する。
大規模言語モデルの翻訳機能を活用して、ターゲット言語で合成トレーニングデータを生成し、独自の生成されたデータでモデルを微調整する。
提案手法を広範囲のタスクで評価し,非英語言語での性能向上を示す。
Cross-lingual transfer is a promising technique for utilizing data in a source language to improve performance in a target language. However, current techniques often require an external translation system or suffer from suboptimal performance due to over-reliance on cross-lingual generalization of multi-lingual pretrained language models. In this study, we propose a simple yet effective method called Self-Translate-Train. It leverages the translation capability of a large language model to generate synthetic training data in the target language and fine-tunes the model with its own generated data. We evaluate the proposed method on a wide range of tasks and show substantial performance gains across several non-English languages. | 翻訳日:2024-07-04 03:06:00 公開日:2024-06-29 |
| # 偏極と道徳:Redditにおける中絶談話の語彙分析
Polarization and Morality: Lexical Analysis of Abortion Discourse on Reddit ( http://arxiv.org/abs/2407.00455v1 ) ライセンス: Link先を確認 | Tessa Stanier, Hagyeong Shin, | (参考訳) 本研究は,政治トピックの分割が言語利用の特異なパターンにマップされているかどうかを考察する。
私たちは、中絶論争に関するRedditの総コメント145,832件を集め、サブレディットコミュニティr/prolifeとr/prochoiceの言語を調査します。
モラル・ファンデーションズ・セオリー(Moral Foundations Theory)を考慮し、語彙パターンを3つの方法で検討する。
まず,モラル基礎辞典からの語彙項目の比例周波数を計算し,中絶の議論と反対の議論を形成する際に,各グループの道徳的配慮を推測する。
次に、各スタンスグループからの頻繁なコロケーションを明らかにするためにn-gramモデルを作成し、それらの言語的文脈と道徳的価値との関連において、よく使われる単語がどのようにパターン化されているかをよりよく理解する。
最後に、Latent Dirichlet Allocationを用いて、コーパスデータの下位のトピック構造を特定する。
その結果、道徳的な言葉の使用は中絶のスタンスと一致していることがわかった。
This study investigates whether division on political topics is mapped with the distinctive patterns of language use. We collect a total 145,832 Reddit comments on the abortion debate and explore the languages of subreddit communities r/prolife and r/prochoice. With consideration of the Moral Foundations Theory, we examine lexical patterns in three ways. First, we compute proportional frequencies of lexical items from the Moral Foundations Dictionary in order to make inferences about each group's moral considerations when forming arguments for and against abortion. We then create n-gram models to reveal frequent collocations from each stance group and better understand how commonly used words are patterned in their linguistic context and in relation to morality values. Finally, we use Latent Dirichlet Allocation to identify underlying topical structures in the corpus data. Results show that the use of morality words is mapped with the stances on abortion. | 翻訳日:2024-07-04 03:06:00 公開日:2024-06-29 |
| # 機能的正確性を超えて:大規模言語モデルにおけるコーディングスタイルの不整合の調査
Beyond Functional Correctness: Investigating Coding Style Inconsistencies in Large Language Models ( http://arxiv.org/abs/2407.00456v1 ) ライセンス: Link先を確認 | Yanlin Wang, Tianyue Jiang, Mingwei Liu, Jiachi Chen, Zibin Zheng, | (参考訳) 大規模言語モデル(LLM)は、コード生成の分野にパラダイムシフトをもたらし、ソフトウェア開発プロセスを強化する可能性を提供します。
しかし、従来の研究は主にコード生成の正確さに重点を置いていたが、LLMと人間開発者のコーディングスタイルの違いは未調査のままである。
本稿では,主流のコードLLMが生成するコードと人間開発者のコードとのコーディングスタイルの違いを実証的に分析し,コーディングスタイルの不整合性の分類を要約する。
具体的には、まず、多数の生成結果を手動で解析することで、コーディングスタイルの不整合のタイプを要約する。
次に、コードLLMによって生成されたコードを、可読性、簡潔性、堅牢性の観点から人間のプログラマによって書かれたコードと比較する。
その結果,LSMと開発者はコーディングスタイルが異なることが明らかとなった。
さらに、これらの不整合の原因について検討し、問題を緩和するためのいくつかの解決策を提供する。
Large language models (LLMs) have brought a paradigm shift to the field of code generation, offering the potential to enhance the software development process. However, previous research mainly focuses on the accuracy of code generation, while coding style differences between LLMs and human developers remain under-explored. In this paper, we empirically analyze the differences in coding style between the code generated by mainstream Code LLMs and the code written by human developers, and summarize coding style inconsistency taxonomy. Specifically, we first summarize the types of coding style inconsistencies by manually analyzing a large number of generation results. We then compare the code generated by Code LLMs with the code written by human programmers in terms of readability, conciseness, and robustness. The results reveal that LLMs and developers have different coding styles. Additionally, we study the possible causes of these inconsistencies and provide some solutions to alleviate the problem. | 翻訳日:2024-07-04 03:06:00 公開日:2024-06-29 |
| # 自律運転のためのルールベース行動プランナ
A Rule-Based Behaviour Planner for Autonomous Driving ( http://arxiv.org/abs/2407.00460v1 ) ライセンス: Link先を確認 | Bouchard Frederic, Sedwards Sean, Czarnecki Krzysztof, | (参考訳) 自動運転車は、その動きを決定するために高度に洗練された意思決定を必要とする。
本稿では、専門家の運転判断から学習した実用的なルールエンジンを用いて、そのような機能を実現する方法について述べる。
本稿では,2層ルールベース理論を用いてルールベースの行動プランナを作成し,維持するアルゴリズムを提案する。
第1の層は、環境の認識された状態を考慮して、実現可能なパラメトリケーションの集合を決定する。
これらから、解像度関数は最も保守的なハイレベルな操作を選択する。
次に第2のレイヤがパラメータを1つの振る舞いに分解する。
提案手法の実用性を示すため,都市環境におけるレベル3自律走行車の実装とフィールドテストの結果を報告する。
Autonomous vehicles require highly sophisticated decision-making to determine their motion. This paper describes how such functionality can be achieved with a practical rule engine learned from expert driving decisions. We propose an algorithm to create and maintain a rule-based behaviour planner, using a two-layer rule-based theory. The first layer determines a set of feasible parametrized behaviours, given the perceived state of the environment. From these, a resolution function chooses the most conservative high-level maneuver. The second layer then reconciles the parameters into a single behaviour. To demonstrate the practicality of our approach, we report results of its implementation in a level-3 autonomous vehicle and its field test in an urban environment. | 翻訳日:2024-07-04 03:06:00 公開日:2024-06-29 |
| # pFLFE:医療画像セグメンテーションの機能強化によるクロスサイロ個人化フェデレーションラーニング
pFLFE: Cross-silo Personalized Federated Learning via Feature Enhancement on Medical Image Segmentation ( http://arxiv.org/abs/2407.00462v1 ) ライセンス: Link先を確認 | Luyuan Xie, Manqing Lin, Siyuan Liu, ChenMing Xu, Tianyu Luan, Cong Li, Yuejian Fang, Qingni Shen, Zhonghai Wu, | (参考訳) 医療画像のセグメンテーションでは、データ不足やプライバシーの懸念を克服するために、医療環境全体にわたるさまざまなデータを活用するために、パーソナライズされたクロスサイロ・フェデレーション・ラーニング(FL)が人気を集めている。
しかし、既存のメソッドは、しばしばクライアントのドリフトに悩まされ、一貫性のないパフォーマンスと遅延トレーニングにつながります。
本稿では,これらの課題を緩和するための新しいフレームワークであるPersonalized Federated Learning via Feature Enhancement (pFLFE)を提案する。
pFLFEは機能強化と教師あり学習という2つの主要な段階から構成される。
第1段階は前景と背景の特徴の区別を改善し、第2段階はセグメンテーションマスクから学習するためにこれらの強化された特徴を使用する。
また,通信資源が限られている場合でも,セグメンテーションの品質を損なうことなく,通信ラウンドを少なくする訓練手法を設計する。
3つの医療セグメンテーションタスクの実験を通して、pFLFEは最先端の手法よりも優れていることを示した。
In medical image segmentation, personalized cross-silo federated learning (FL) is becoming popular for utilizing varied data across healthcare settings to overcome data scarcity and privacy concerns. However, existing methods often suffer from client drift, leading to inconsistent performance and delayed training. We propose a new framework, Personalized Federated Learning via Feature Enhancement (pFLFE), designed to mitigate these challenges. pFLFE consists of two main stages: feature enhancement and supervised learning. The first stage improves differentiation between foreground and background features, and the second uses these enhanced features for learning from segmentation masks. We also design an alternative training approach that requires fewer communication rounds without compromising segmentation quality, even with limited communication resources. Through experiments on three medical segmentation tasks, we demonstrate that pFLFE outperforms the state-of-the-art methods. | 翻訳日:2024-07-04 03:06:00 公開日:2024-06-29 |
| # 音声分析のための連続学習シナリオと戦略の特徴付け
Characterizing Continual Learning Scenarios and Strategies for Audio Analysis ( http://arxiv.org/abs/2407.00465v1 ) ライセンス: Link先を確認 | Ruchi Bhatt, Pratibha Kumari, Dwarikanath Mahapatra, Abdulmotaleb El Saddik, Mukesh Saini, | (参考訳) 音声分析は多くのアプリケーションシナリオで有用である。
最先端のオーディオ分析アプローチでは、トレーニングとデプロイメント時のデータの分散は同じであると仮定している。
しかし、様々な実生活環境要因により、データは分布のドリフトに遭遇したり、将来新しいクラスに遭遇する可能性がある。
したがって、一度訓練されたモデルでは十分な性能が得られない。
本稿では,音声分析における継続学習(CL)のアプローチを特徴付ける。
本稿では,漂流による破滅的な忘れ物に対処することを目的とした連続学習(CL)アプローチを特徴付ける。
オーディオ分析用のCLデータセットがないため、DCASE 2020から2023データセットを使用して、オーディオベースの監視タスクのためのさまざまなCLシナリオを作成します。
EWC, LwF, SI, GEM, A-GEM, GDumb, Replay, Naive, 累積的, 共同トレーニングなどのCLおよび非CLアプローチについて検討した。
この研究は、適応モデルを開発するための音声分析の分野で働く研究者や実践者にとって非常に有益である。
我々はReplayがDCASEチャレンジデータにおける他の手法よりも優れた結果を得たことを観察した。
ドメインインクリメンタルシナリオの精度は70.12%、クラスインクリメンタルシナリオの精度は96.98%に達した。
Audio analysis is useful in many application scenarios. The state-of-the-art audio analysis approaches assume that the data distribution at training and deployment time will be the same. However, due to various real-life environmental factors, the data may encounter drift in its distribution or can encounter new classes in the late future. Thus, a one-time trained model might not perform adequately. In this paper, we characterize continual learning (CL) approaches in audio analysis. In this paper, we characterize continual learning (CL) approaches, intended to tackle catastrophic forgetting arising due to drifts. As there is no CL dataset for audio analysis, we use DCASE 2020 to 2023 datasets to create various CL scenarios for audio-based monitoring tasks. We have investigated the following CL and non-CL approaches: EWC, LwF, SI, GEM, A-GEM, GDumb, Replay, Naive, cumulative, and joint training. The study is very beneficial for researchers and practitioners working in the area of audio analysis for developing adaptive models. We observed that Replay achieved better results than other methods in the DCASE challenge data. It achieved an accuracy of 70.12% for the domain incremental scenario and an accuracy of 96.98% for the class incremental scenario. | 翻訳日:2024-07-04 03:06:00 公開日:2024-06-29 |
| # BioKGBench: バイオメディカルサイエンスのためのAIエージェントのベンチマークを知識グラフでチェックする
BioKGBench: A Knowledge Graph Checking Benchmark of AI Agent for Biomedical Science ( http://arxiv.org/abs/2407.00466v1 ) ライセンス: Link先を確認 | Xinna Lin, Siqi Ma, Junjie Shan, Xiaojing Zhang, Shell Xu Hu, Tiannan Guo, Stan Z. Li, Kaicheng Yu, | (参考訳) バイオメディカルサイエンスのための人工知能、別名AI Scientistは、大きな言語モデル(LLM)によって駆動される協調エージェントを構築するための一般的なアプローチとして注目されている。
しかし, これらのシステムを評価するためには, LLM自体に直接質問応答(QA)を頼りにするか, あるいは生物医学的な実験を行おうとする。
AIサイエンティストの観点から、バイオメディカルエージェントを正確にベンチマークする方法はほとんど解明されていない。
この目的のために、我々は科学者の最も重要な能力からインスピレーションを得て、文献を理解し、BioKGBenchを紹介します。
LLMが幻覚の問題を抱えていることが知られている事実QAのみに焦点を当てた従来の評価ベンチマークとは対照的に、まず「Understanding Literature」を2つの原子能力に分解する。
一 科学的クレーム検証を行うことにより研究論文から非構造化テキストを「理解」すること。
二 構造化知識グラフ質問応答(KGQA)を「リテラル」接地形態として操作する能力。
次に、KGCheckと呼ばれる新しいエージェントタスクをKGQAとドメインベースのRetrieval-Augmented Generation (RAG)を用いて定式化し、既存の大規模知識グラフデータベースの実際のエラーを特定する。
2つのアトミックなタスクに対して2万以上のデータを集め、225の高品質なアノテートされたデータをエージェントタスクに対して収集する。
驚いたことに、日々のシナリオとバイオメディカルの両方の最先端のエージェントが、ベンチマークのパフォーマンスに失敗したか、劣っていることがわかりました。
次に、BKGAgentと呼ばれるシンプルで効果的なベースラインを導入します。
広く使われている知識グラフでは90以上の事実誤りが発見され、エージェントが発見し、我々のアプローチの有効性を実証するシナリオを提供する。
コードとデータはhttps://github.com/westlake-autolab/BioKGBench.comで公開されている。
Pursuing artificial intelligence for biomedical science, a.k.a. AI Scientist, draws increasing attention, where one common approach is to build a copilot agent driven by Large Language Models (LLMs). However, to evaluate such systems, people either rely on direct Question-Answering (QA) to the LLM itself, or in a biomedical experimental manner. How to precisely benchmark biomedical agents from an AI Scientist perspective remains largely unexplored. To this end, we draw inspiration from one most important abilities of scientists, understanding the literature, and introduce BioKGBench. In contrast to traditional evaluation benchmark that only focuses on factual QA, where the LLMs are known to have hallucination issues, we first disentangle "Understanding Literature" into two atomic abilities, i) "Understanding" the unstructured text from research papers by performing scientific claim verification, and ii) Ability to interact with structured Knowledge-Graph Question-Answering (KGQA) as a form of "Literature" grounding. We then formulate a novel agent task, dubbed KGCheck, using KGQA and domain-based Retrieval-Augmented Generation (RAG) to identify the factual errors of existing large-scale knowledge graph databases. We collect over two thousand data for two atomic tasks and 225 high-quality annotated data for the agent task. Surprisingly, we discover that state-of-the-art agents, both daily scenarios and biomedical ones, have either failed or inferior performance on our benchmark. We then introduce a simple yet effective baseline, dubbed BKGAgent. On the widely used popular knowledge graph, we discover over 90 factual errors which provide scenarios for agents to make discoveries and demonstrate the effectiveness of our approach. The code and data are available at https://github.com/westlake-autolab/BioKGBench. | 翻訳日:2024-07-04 03:06:00 公開日:2024-06-29 |
| # VcLLM:ビデオコーデックは秘かにテンソルコーデック
VcLLM: Video Codecs are Secretly Tensor Codecs ( http://arxiv.org/abs/2407.00467v1 ) ライセンス: Link先を確認 | Ceyu Xu, Yongji Wu, Xinyu Yang, Beidi Chen, Matthew Lentz, Danyang Zhuo, Lisa Wu Wills, | (参考訳) 大規模言語モデル(LLM)のパラメータサイズが拡大するにつれて、大きなメモリフットプリントと高い通信帯域の必要性が、LLMのトレーニングと推論において重大なボトルネックとなっている。
これらのボトルネックを軽減するため、データサイズを減らすために様々なテンソル圧縮技術が提案され、メモリ要求と通信圧力が軽減された。
ビデオコーデックは、もともとビデオ圧縮用に設計されたものだが、様々なタイプのテンソルを圧縮する際には、優れた効率性を示すことがわかった。
ビデオコーデックは多目的かつ汎用的なテンソルコーデックでありながら,様々なタスクにおいて最先端の圧縮効率を実現することができることを示す。
さらに、GPU上で利用可能なハードウェアビデオエンコーディングおよびデコードモジュールを利用して、テンソルコーデックとして再利用されたビデオコーデックによる推論とトレーニングの両方が可能なフレームワークを作成する。
これにより、メモリ容量と通信帯域幅の要件が大幅に削減され、コンシューマグレードのGPU上で大規模なモデルのトレーニングと推論が可能になる。
As the parameter size of large language models (LLMs) continues to expand, the need for a large memory footprint and high communication bandwidth have become significant bottlenecks for the training and inference of LLMs. To mitigate these bottlenecks, various tensor compression techniques have been proposed to reduce the data size, thereby alleviating memory requirements and communication pressure. Our research found that video codecs, despite being originally designed for compressing videos, show excellent efficiency when compressing various types of tensors. We demonstrate that video codecs can be versatile and general-purpose tensor codecs while achieving the state-of-the-art compression efficiency in various tasks. We further make use of the hardware video encoding and decoding module available on GPUs to create a framework capable of both inference and training with video codecs repurposed as tensor codecs. This greatly reduces the requirement for memory capacity and communication bandwidth, enabling training and inference of large models on consumer-grade GPUs. | 翻訳日:2024-07-04 03:06:00 公開日:2024-06-29 |
| # MMEvalPro: 信頼性と効率的な評価に向けたマルチモーダルベンチマークの校正
MMEvalPro: Calibrating Multimodal Benchmarks Towards Trustworthy and Efficient Evaluation ( http://arxiv.org/abs/2407.00468v1 ) ライセンス: Link先を確認 | Jinsheng Huang, Liang Chen, Taian Guo, Fu Zeng, Yusheng Zhao, Bohan Wu, Ye Yuan, Haozhe Zhao, Zhihui Guo, Yichi Zhang, Jingyang Yuan, Wei Ju, Luchen Liu, Tianyu Liu, Baobao Chang, Ming Zhang, | (参考訳) 大規模マルチモーダルモデル(LMM)は、画像、質問、およびいくつかの選択肢を含む多重選択質問(MCQ)を通してしばしば評価される、印象的なクロスモーダル理解と推論能力を示す。
しかし、このような評価に使用されるベンチマークの多くは、体系的なバイアスに悩まされている。
注目すべきは、視覚的知覚能力のない大規模言語モデル(LLM)は、非自明なパフォーマンスを実現し、これらの評価の信頼性を損なうことである。
MCQ評価の効率を保ちながらこの問題に対処するため,三部評価パイプラインおよびより厳密な指標を用いてType-Iエラーを回避するために設計されたベンチマークであるMMEvalProを提案する。
既存のベンチマークからの最初の質問に対して、人間のアノテータは、微妙なアノテーションプロセスを通じて、一つの知覚的質問と1つの知識をアンカーする質問を作成することで、それを増強する。
MMEvalProには2,138ドルの質問用三つ子があり、合計6,414ドルの質問がある。
これらの質問の3分の2は、人間の専門家によって手動でラベル付けされ、残りは既存のベンチマーク(MMMU、ScienceQA、MathVista)から作成されている。
既存のベンチマークと比較すると、最新のLLMとLMMによる我々の実験では、MMEvalProはより難しい(従来のベンチマークでは平均で8.03ドル%)、信頼性が高い(最高のLLMは23.09ドル%、以前のベンチマークでは14.64ドル%)。
我々の詳細な分析では、大きなパフォーマンスギャップの理由を説明し、評価の信頼性を正当化し、今後の研究を前進させる大きな可能性を強調しています。
Large Multimodal Models (LMMs) exhibit impressive cross-modal understanding and reasoning abilities, often assessed through multiple-choice questions (MCQs) that include an image, a question, and several options. However, many benchmarks used for such evaluations suffer from systematic biases. Remarkably, Large Language Models (LLMs) without any visual perception capabilities achieve non-trivial performance, undermining the credibility of these evaluations. To address this issue while maintaining the efficiency of MCQ evaluations, we propose MMEvalPro, a benchmark designed to avoid Type-I errors through a trilogy evaluation pipeline and more rigorous metrics. For each original question from existing benchmarks, human annotators augment it by creating one perception question and one knowledge anchor question through a meticulous annotation process. MMEvalPro comprises $2,138$ question triplets, totaling $6,414$ distinct questions. Two-thirds of these questions are manually labeled by human experts, while the rest are sourced from existing benchmarks (MMMU, ScienceQA, and MathVista). Compared with the existing benchmarks, our experiments with the latest LLMs and LMMs demonstrate that MMEvalPro is more challenging (the best LMM lags behind human performance by $31.73\%$, compared to an average gap of $8.03\%$ in previous benchmarks) and more trustworthy (the best LLM trails the best LMM by $23.09\%$, whereas the gap for previous benchmarks is just $14.64\%$). Our in-depth analysis explains the reason for the large performance gap and justifies the trustworthiness of evaluation, underscoring its significant potential for advancing future research. | 翻訳日:2024-07-04 03:06:00 公開日:2024-06-29 |
| # MH-pFLGB:医療画像解析のためのグローバルバイパスによるモデル不均一な個人化学習
MH-pFLGB: Model Heterogeneous personalized Federated Learning via Global Bypass for Medical Image Analysis ( http://arxiv.org/abs/2407.00474v1 ) ライセンス: Link先を確認 | Luyuan Xie, Manqing Lin, ChenMing Xu, Tianyu Luan, Zhipeng Zeng, Wenjun Qian, Cong Li, Yuejian Fang, Qingni Shen, Zhonghai Wu, | (参考訳) 医療人工知能の進化的な応用において、フェデレーション付き学習は、トレーニングデータプライバシーを保護する能力で有名である。
フェデレートラーニングは、医療機関のローカルデータを共有することなく、協調的なモデル開発を促進する。
しかし、これらの機関間の統計的・システム的不均一性は、連合学習の有効性に影響を及ぼし、クライアント間の情報の交換を妨げている。
これらの課題に対処するため,我々は,公開データセットへの依存を緩和し,非IIDデータ分散の複雑さをナビゲートするグローバルバイパス戦略を用いたMH-pFLGBという新しいアプローチを導入する。
本手法は,クライアント間で情報を共有するグローバルバイパスモデルを統合することで,従来のフェデレーション学習を強化し,各クライアントの性能を高めるネットワークの一部として機能する。
さらに、MH-pFLGBは、ローカルとグローバルの機能をうまく組み合わせるための機能融合モジュールを提供する。
我々は,様々な医療課題に対する広範囲なテストを通じて,既存の最先端手法と比較して優れた性能を示すことにより,モデル{}の有効性と適応性を検証した。
In the evolving application of medical artificial intelligence, federated learning is notable for its ability to protect training data privacy. Federated learning facilitates collaborative model development without the need to share local data from healthcare institutions. Yet, the statistical and system heterogeneity among these institutions poses substantial challenges, which affects the effectiveness of federated learning and hampers the exchange of information between clients. To address these issues, we introduce a novel approach, MH-pFLGB, which employs a global bypass strategy to mitigate the reliance on public datasets and navigate the complexities of non-IID data distributions. Our method enhances traditional federated learning by integrating a global bypass model, which would share the information among the clients, but also serves as part of the network to enhance the performance on each client. Additionally, MH-pFLGB provides a feature fusion module to better combine the local and global features. We validate \model{}'s effectiveness and adaptability through extensive testing on different medical tasks, demonstrating superior performance compared to existing state-of-the-art methods. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # 低リソースシークエンスラベリング課題としての古代エジプトの分類器識別
Classifier identification in Ancient Egyptian as a low-resource sequence-labelling task ( http://arxiv.org/abs/2407.00475v1 ) ライセンス: Link先を確認 | Dmitry Nikolaev, Jorke Grotenhuis, Haleli Harel, Orly Goldwasser, | (参考訳) 複雑な古代エジプト語(AE)の文字体系は、グラテミック分類器(決定語)の広範囲な使用によって特徴づけられた: 暗黙(非発音)のヒエログリフ記号で、宿主の単語の意味や発音を示す。
分類器の研究は、古代・現代言語における分類器のアノテーションと分析のためのWebベースのプラットフォームであるiClassifierプロジェクトの立ち上げと迅速な成長により、近年激化している。
プロジェクト参加者が提供したデータのおかげで、AEテキスト中の分類器の識別をNLPタスクとして定式化することが可能になった。
本稿では,この課題を解決するための第一歩として,トレーニングデータの量が少なくても有望な性能を実現する一連のシーケンスラベリングニューラルモデルを提案する。
我々は、AEテキストの扱いから生じるトークン化と運用の問題について議論し、我々のアプローチを周波数ベースのベースラインと対比する。
The complex Ancient Egyptian (AE) writing system was characterised by widespread use of graphemic classifiers (determinatives): silent (unpronounced) hieroglyphic signs clarifying the meaning or indicating the pronunciation of the host word. The study of classifiers has intensified in recent years with the launch and quick growth of the iClassifier project, a web-based platform for annotation and analysis of classifiers in ancient and modern languages. Thanks to the data contributed by the project participants, it is now possible to formulate the identification of classifiers in AE texts as an NLP task. In this paper, we make first steps towards solving this task by implementing a series of sequence-labelling neural models, which achieve promising performance despite the modest amount of training data. We discuss tokenisation and operationalisation issues arising from tackling AE texts and contrast our approach with frequency-based baselines. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # 電力スケジューリングのための大規模言語モデル:ユーザ中心アプローチ
Large Language Models for Power Scheduling: A User-Centric Approach ( http://arxiv.org/abs/2407.00476v1 ) ライセンス: Link先を確認 | Thomas Mongaillard, Samson Lasaulce, Othman Hicheur, Chao Zhang, Lina Bariah, Vineeth S. Varma, Hang Zou, Qiyang Zhao, Merouane Debbah, | (参考訳) 従来の最適化とスケジューリングスキームは、固定された事前定義されたシステム要件を満たすように設計されているが、将来のシステムは、ユーザ主導のアプローチとパーソナライズされたサービスへと移行し、高品質なエクスペリエンス(QoE)と柔軟性の実現を目指している。
この課題は、ユーザとマシン間の共通言語が欠如しているため、ユーザの要求がほとんど考慮されていない、無線およびデジタル化されたエネルギーネットワークにおいて特に顕著である。
強力な大規模言語モデル(LLM)の出現は、ユーザとデバイス間の自然な通信インターフェースを提供することによって、従来のシステム中心の手法から、より高度なユーザ中心のアプローチへと根本的に離れている。
本稿では,3つのLCMエージェントを構築し,任意のユーザの音声要求(VRQ)をリソース割り当てベクトルに変換することで,資源スケジューリング問題に対する新しいアーキテクチャを提案する。
具体的には、要求を最適化問題(OP)に変換するためのLLM意図認識エージェント、LLM OPパラメータ識別エージェント、LLM OP解決エージェントを設計する。
システム性能を評価するために、電気自動車(EV)充電の文脈で典型的なVRQのデータベースを構築する。
概念実証として、私たちは主にLlama 3 8Bを使用します。
異なる素早いエンジニアリングシナリオでテストすることで、得られた結果は提案したアーキテクチャの効率を実証する。
実行されたパフォーマンス分析により、重要な洞察を抽出できる。
例えば、現実世界の問題をモデル化するための候補OPのセットが大きいと、高い認識/OP分類ノイズレベルのために最終性能が低下する可能性がある。
すべての結果とコードはオープンソースです。
While traditional optimization and scheduling schemes are designed to meet fixed, predefined system requirements, future systems are moving toward user-driven approaches and personalized services, aiming to achieve high quality-of-experience (QoE) and flexibility. This challenge is particularly pronounced in wireless and digitalized energy networks, where users' requirements have largely not been taken into consideration due to the lack of a common language between users and machines. The emergence of powerful large language models (LLMs) marks a radical departure from traditional system-centric methods into more advanced user-centric approaches by providing a natural communication interface between users and devices. In this paper, for the first time, we introduce a novel architecture for resource scheduling problems by constructing three LLM agents to convert an arbitrary user's voice request (VRQ) into a resource allocation vector. Specifically, we design an LLM intent recognition agent to translate the request into an optimization problem (OP), an LLM OP parameter identification agent, and an LLM OP solving agent. To evaluate system performance, we construct a database of typical VRQs in the context of electric vehicle (EV) charging. As a proof of concept, we primarily use Llama 3 8B. Through testing with different prompt engineering scenarios, the obtained results demonstrate the efficiency of the proposed architecture. The conducted performance analysis allows key insights to be extracted. For instance, having a larger set of candidate OPs to model the real-world problem might degrade the final performance because of a higher recognition/OP classification noise level. All results and codes are open source. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # 知識を意識したパロシモニー学習:リレーショナルグラフからの展望
Knowledge-Aware Parsimony Learning: A Perspective from Relational Graphs ( http://arxiv.org/abs/2407.00478v1 ) ライセンス: Link先を確認 | Quanming Yao, Yongqi Zhang, Yaqing Wang, Nan Yin, James Kwok, Qiang Yang, | (参考訳) トレーニングデータセットと学習可能なパラメータをブルートフォースでスケーリングする戦略であるスケーリング法は、より強力な学習モデルを開発するための一般的なアプローチとなっている。
本稿では,関係グラフから学習する際の理性について考察する。
このようなスケーリング法則に忠実に従えば、アーキテクチャの非互換性や表現のボトルネックのため、必ずしもより強力なモデルが得られるとは限らないことを実証する。
この課題に対処するために,知識を意識したパーシモニー学習を通じて関係グラフから学習する新しいフレームワークを提案する。
本手法は,これらのグラフに固有の知識とデータとの二重性から着想を得たものである。
具体的には、まず学習過程において知識(記号論理や物理法則など)を抽出し、次に手元にある課題に組合せ一般化を適用する。
この抽出された知識は、同義語学習を達成するための「構築ブロック」として機能する。
この哲学をアーキテクチャ、パラメータ、推論に適用することにより、多目的、サンプル効率、解釈可能な学習を効果的に実現できる。
実験の結果,提案フレームワークは従来のスケールアップロードマップに厳格に従う手法を超越していることがわかった。
これは、次世代の学習技術の発展に知識を取り入れることの重要性を強調している。
The scaling law, a strategy that involves the brute-force scaling of the training dataset and learnable parameters, has become a prevalent approach for developing stronger learning models. In this paper, we examine its rationale in terms of learning from relational graphs. We demonstrate that directly adhering to such a scaling law does not necessarily yield stronger models due to architectural incompatibility and representation bottlenecks. To tackle this challenge, we propose a novel framework for learning from relational graphs via knowledge-aware parsimony learning. Our method draws inspiration from the duality between data and knowledge inherent in these graphs. Specifically, we first extract knowledge (like symbolic logic and physical laws) during the learning process, and then apply combinatorial generalization to the task at hand. This extracted knowledge serves as the ``building blocks'' for achieving parsimony learning. By applying this philosophy to architecture, parameters, and inference, we can effectively achieve versatile, sample-efficient, and interpretable learning. Experimental results show that our proposed framework surpasses methods that strictly follow the traditional scaling-up roadmap. This highlights the importance of incorporating knowledge in the development of next-generation learning technologies. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # MATLABを用いた乳腺腫瘍のタイプ・ステージ検出のためのインタラクティブGUIの開発
Development of an interactive GUI using MATLAB for the detection of type and stage of Breast Tumor ( http://arxiv.org/abs/2407.00480v1 ) ライセンス: Link先を確認 | Poulmi Banerjee, Satadal Saha, | (参考訳) 乳癌は、主に女性で診断された最も一般的ながんの1つである。
男性と女性の割合と比較すると、乳癌の発症傾向は男性よりも女性の方が高いことが判明した。
乳房は、主に癌性と非癌性の2つのグループに分類される。
乳房の塊が癌であると言うと、肺胞、ダクト、アロラ、ストローマから身体の様々な臓器に拡がることを意味する。
一方,非癌性乳頭は有害性は低いが,適切な診断を下し,癌塊に転換するのを避ける必要がある。
これらの乳頭部の診断にはマンモグラム法,超音波画像,MRI画像が用いられる。
また、より良い診断のために、医師は生検を推奨することがあるが、予期せぬ異常が発生した場合、不正確な検査報告が発生する可能性がある。
これらの不一致を避けるため、マンモグラム画像の処理は最も信頼性の高い方法の1つであると考えられる。
提案手法では,MATLAB GUIを開発し,各軸に乳頭部のサンプル像を配置する。
スライダの助けを借りて、実際の乳ンプ画像と既に記憶されている乳ンプサンプル画像とを比較し、テストレポート形式で乳ンプの歴史をリアルタイムで生成する。
Breast cancer is described as one of the most common types of cancer which has been diagnosed mainly in women. When compared in the ratio of male to female, it has been duly found that the prone of having breast cancer is more in females than males. Breast lumps are classified mainly into two groups namely: cancerous and non-cancerous. When we say that the lump in the breast is cancerous, it means that it can spread via lobules, ducts, areola, stroma to various organs of the body. On the other hand, non-cancerous breast lumps are less harmful but it should be monitored under proper diagnosis to avoid it being transformed to cancerous lump. To diagnose these breast lumps the method of mammogram, ultrasonic images and MRI images are undertaken. Also, for better diagnosis sometimes doctors recommend for biopsy and any unforeseen anomalies occurring there may give rise to inaccurate test report. To avoid these discrepancies, processing the mammogram images is considered to be one of the most reliable methods. In the proposed method MATLAB GUI is developed and some sample images of breast lumps are placed accordingly in the respective axes. With the help of sliders the actual breast lump image is compared with the already stored breast lump sample images and then accordingly the history of the breast lumps is generated in real time in the form of test report. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # 部分的情報分解を用いたバイアスデータセットのスパーラス性の定量化
Quantifying Spuriousness of Biased Datasets Using Partial Information Decomposition ( http://arxiv.org/abs/2407.00482v1 ) ライセンス: Link先を確認 | Barproda Halder, Faisal Hamman, Pasan Dissanayake, Qiuyi Zhang, Ilia Sucholutsky, Sanghamitra Dutta, | (参考訳) 純粋パターン(spurious pattern)とは、因果関係のないデータセットにおける2つ以上の変数間の数学的関連である。
しかし、この突発性の概念は通常、データセットのサンプリングバイアスによって導入され、古典的には形式的な定義を欠いていた。
このギャップに対処するため、この研究は、PID(Partial Information Decomposition)と呼ばれる数学的枠組みを用いて、データセット(スプリアスとコアの特徴の分割を含む)において、最初の情報理論的なスプリアスの形式化を提示する。
具体的には,他の対象変数(例えば,予測ラベル)について,刺激的特徴とコア特徴が共有する結合情報内容を,ユニークな,冗長な,シナジスティックな情報という,異なるコンポーネントに分解する。
そこで我々は,ブラックウェル・サフィシエンシーのルーツを持つユニークな情報を用いて,データセットのスプリアスネスを形式的に定量化し,その望ましい性質を導出する新しい指標を提案する。
私たちは、データセットのスパイラルな特徴において、いかに高いユニークな情報が、モデルが推論のコア機能よりもスパイラルな特徴を選択し、最悪のグループ精度が低いかを実証的に示しています。
また,高次元画像データを扱うことのできるユニークな情報を計算するための,新しいオートエンコーダベースの推定器を提案する。
最後に,データ再重み付けやバックグラウンドミキシングのレベルの変化など,データセットベースのスプリアスパターン緩和技術によって,このスプリアス機能のユニークな情報が減ることを示すとともに,ユニークな情報(スパーラスネス)と最悪のグループ精度の新たなトレードオフを示す。
Spurious patterns refer to a mathematical association between two or more variables in a dataset that are not causally related. However, this notion of spuriousness, which is usually introduced due to sampling biases in the dataset, has classically lacked a formal definition. To address this gap, this work presents the first information-theoretic formalization of spuriousness in a dataset (given a split of spurious and core features) using a mathematical framework called Partial Information Decomposition (PID). Specifically, we disentangle the joint information content that the spurious and core features share about another target variable (e.g., the prediction label) into distinct components, namely unique, redundant, and synergistic information. We propose the use of unique information, with roots in Blackwell Sufficiency, as a novel metric to formally quantify dataset spuriousness and derive its desirable properties. We empirically demonstrate how higher unique information in the spurious features in a dataset could lead a model into choosing the spurious features over the core features for inference, often having low worst-group-accuracy. We also propose a novel autoencoder-based estimator for computing unique information that is able to handle high-dimensional image data. Finally, we also show how this unique information in the spurious feature is reduced across several dataset-based spurious-pattern-mitigation techniques such as data reweighting and varying levels of background mixing, demonstrating a novel tradeoff between unique information (spuriousness) and worst-group-accuracy. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # 自動車サイバーセキュリティコンプライアンスへの道のり
Navigating the road to automotive cybersecurity compliance ( http://arxiv.org/abs/2407.00483v1 ) ライセンス: Link先を確認 | Franco Oberti, Fabrizio Abrate, Alessandro Savino, Filippo Parisi, Stefano Di Carlo, | (参考訳) 1908年のフォード・モデルTの導入以来、自動車産業は著しく発展してきた。
今日の車両は単なる機械構造ではなく、複雑なデジタルエコシステムの不可欠なコンポーネントであり、人工知能とクラウドコンピューティング技術を利用した高度な接続機能を備えている。
この進化により、車両の安全性、効率、運転体験が向上した。
しかし、特にサイバーセキュリティにおいて、新たな課題も導入されている。
デジタル技術の統合が進むにつれ、車両はサイバー攻撃の影響を受けやすくなり、重要なサイバーセキュリティの懸念を招いている。
これらの懸念には、機密データを保護し、車両を不正アクセスから保護し、ユーザーのプライバシーを確保することが含まれる。
これに対し、自動車業界は、車両とデータの両方を潜在的な脅威から保護するために、堅牢なサイバーセキュリティ対策を適用せざるを得ない。
国連によるUNR155やUNR156のような法的な枠組みは、他の国際規則と同様に、厳格なサイバーセキュリティの委任を定めようとしている。
これらの規制は、包括的なサイバーセキュリティ管理システムへのコンプライアンスを必要とし、サイバー脅威の進化する性質に対処するためには、定期的な更新とテストが必要である。
このような規制の導入は、自動車の安全と機能にとって重要な要素としてサイバーセキュリティの認識が高まりつつあることを強調している。
自動車のサイバーセキュリティの未来は、製造業者、政策立案者、サイバーセキュリティの専門家を含むすべての利害関係者の間で高度な保護措置と協力的努力の継続的な発展にある。
このような協力的な努力によってのみ、業界は車両機能のイノベーションと、ますます相互接続するデジタルランドスケープの背景に対する厳格なセキュリティ対策という2つの目標に対処したいと考えている。
The automotive industry has evolved significantly since the introduction of the Ford Model T in 1908. Today's vehicles are not merely mechanical constructs; they are integral components of a complex digital ecosystem, equipped with advanced connectivity features powered by Artificial Intelligence and cloud computing technologies. This evolution has enhanced vehicle safety, efficiency, and the overall driving experience. However, it also introduces new challenges, notably in cybersecurity. With the increasing integration of digital technologies, vehicles have become more susceptible to cyber-attacks, prompting significant cybersecurity concerns. These concerns include securing sensitive data, protecting vehicles from unauthorized access, and ensuring user privacy. In response, the automotive industry is compelled to adopt robust cybersecurity measures to safeguard both vehicles and data against potential threats. Legislative frameworks such as UNR155 and UNR156 by the United Nations, along with other international regulations, aim to establish stringent cybersecurity mandates. These regulations require compliance with comprehensive cybersecurity management systems and necessitate regular updates and testing to cope with the evolving nature of cyber threats. The introduction of such regulations highlights the growing recognition of cybersecurity as a critical component of automotive safety and functionality. The future of automotive cybersecurity lies in the continuous development of advanced protective measures and collaborative efforts among all stakeholders, including manufacturers, policymakers, and cybersecurity professionals. Only through such concerted efforts can the industry hope to address the dual goals of innovation in vehicle functionality and stringent security measures against the backdrop of an increasingly interconnected digital landscape. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # 大規模多言語ホリスティックバイアスを目指して
Towards Massive Multilingual Holistic Bias ( http://arxiv.org/abs/2407.00486v1 ) ライセンス: Link先を確認 | Xiaoqing Ellen Tan, Prangthip Hansanti, Carleigh Wood, Bokai Yu, Christophe Ropers, Marta R. Costa-jussà, | (参考訳) 自動言語生成の現在の状況では、既存のモデルがますます多言語化しつつあるため、人口統計バイアスを理解し、評価し、緩和する必要がある。
そこで本稿では,MaSSIVE MultilingUal HOLISTICBIAS(MMHB)データセットと,約600万の文が13の人口軸を表すベンチマークから,最初の8つの言語を提示する。
言語の範囲と大きさの両面でMMHB文を拡大するための自動構築手法を提案する。
提案手法は,多言語文構築においてプレースホルダーを利用し,文パターン,名詞,記述子を独立に翻訳する体系的手法を用いる。
この手法は人間の翻訳と組み合わせることで、プレースホルダーを慎重に設計し、複数の文を動的に生成し、人間の翻訳作業量を大幅に削減する。
翻訳プロセスは、英語中心の視点を避け、それらを必要とする言語に必要な形態変化をすべて含み、オリジナルの英語 HOLISTICBIAS から改良された。
最後に、MMHBを用いて、性別バイアスの結果を報告し、機械翻訳タスクに毒性を加えた。
性別分析では,(1)男性に比較して男性意味文の平均+4 chrf点を示す性別の頑健さの欠如,(2)女性参照と比較した場合に平均+12 chrf点を報告して男性形式に過度に一般化する傾向が示された。
MMHBは毒性を最大2.3%上昇させる。
In the current landscape of automatic language generation, there is a need to understand, evaluate, and mitigate demographic biases as existing models are becoming increasingly multilingual. To address this, we present the initial eight languages from the MASSIVE MULTILINGUAL HOLISTICBIAS (MMHB) dataset and benchmark consisting of approximately 6 million sentences representing 13 demographic axes. We propose an automatic construction methodology to further scale up MMHB sentences in terms of both language coverage and size, leveraging limited human annotation. Our approach utilizes placeholders in multilingual sentence construction and employs a systematic method to independently translate sentence patterns, nouns, and descriptors. Combined with human translation, this technique carefully designs placeholders to dynamically generate multiple sentence variations and significantly reduces the human translation workload. The translation process has been meticulously conducted to avoid an English-centric perspective and include all necessary morphological variations for languages that require them, improving from the original English HOLISTICBIAS. Finally, we utilize MMHB to report results on gender bias and added toxicity in machine translation tasks. On the gender analysis, MMHB unveils: (1) a lack of gender robustness showing almost +4 chrf points in average for masculine semantic sentences compared to feminine ones and (2) a preference to overgeneralize to masculine forms by reporting more than +12 chrf points in average when evaluating with masculine compared to feminine references. MMHB triggers added toxicity up to 2.3%. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # モーフィング時間:多目的最適化による複数LLMの可能性の解放
It's Morphing Time: Unleashing the Potential of Multiple LLMs via Multi-objective Optimization ( http://arxiv.org/abs/2407.00487v1 ) ライセンス: Link先を確認 | Bingdong Li, Zixiang Di, Yanting Yang, Hong Qian, Peng Yang, Hao Hao, Ke Tang, Aimin Zhou, | (参考訳) 本稿では,ブラックボックス多目的最適化アルゴリズムを用いた大規模言語モデル統合のための新しいアプローチを提案する。
モデルマージの目標は、複数のモデルを組み合わせることであり、それぞれが異なるタスクで優れており、個々のソースモデルよりも優れた1つのモデルにまとめることである。
まず、既存の手法は人間の直感とカスタマイズされた戦略に大きく依存します。
第2に、パラメータの衝突はマージ時に発生することが多く、DARE [1]のようなメソッドがこの問題を軽減する一方で、パラメータを確率的にドロップする傾向にあり、重要なデルタパラメータが失われるリスクがある。
これらの課題に対処するために,多目的最適化アルゴリズムを用いた最適マージ構成の探索を自動化し,人間の直感を不要とするMM-MO手法を提案する。
構成探索プロセスでは,複数のタスクにまたがる推定性能を最適化の目的として利用し,重要なデルタパラメータを失うことなく,異なるソースモデル間のパラメータの衝突を軽減する。
我々は、他の主流モデルマージ手法との比較実験を行い、我々の手法がそれらを一貫して上回ることを示した。
さらに, 最適化対象として明示的にターゲットされていないタスクタイプにおいても, 性能の向上が示され, 特定のタスクタイプに過度に適合するのではなく, モデル全体のポテンシャルを高めることが示唆された。
このアプローチは、多様なモデルを統一されたハイパフォーマンスなモデルに統合するための堅牢でプラグアンドプレイなソリューションを提供する。
In this paper, we introduce a novel approach for large language model merging via black-box multi-objective optimization algorithms. The goal of model merging is to combine multiple models, each excelling in different tasks, into a single model that outperforms any of the individual source models. However, model merging faces two significant challenges: First, existing methods rely heavily on human intuition and customized strategies. Second, parameter conflicts often arise during merging, and while methods like DARE [1] can alleviate this issue, they tend to stochastically drop parameters, risking the loss of important delta parameters. To address these challenges, we propose the MM-MO method, which automates the search for optimal merging configurations using multi-objective optimization algorithms, eliminating the need for human intuition. During the configuration searching process, we use estimated performance across multiple diverse tasks as optimization objectives in order to alleviate the parameter conflicting between different source models without losing crucial delta parameters. We conducted comparative experiments with other mainstream model merging methods, demonstrating that our method consistently outperforms them. Moreover, our experiments reveal that even task types not explicitly targeted as optimization objectives show performance improvements, indicating that our method enhances the overall potential of the model rather than merely overfitting to specific task types. This approach provides a significant advancement in model merging techniques, offering a robust and plug-and-play solution for integrating diverse models into a unified, high-performing model. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # PFME:大規模言語モデルの微細な幻覚検出と編集のためのモジュール的アプローチ
PFME: A Modular Approach for Fine-grained Hallucination Detection and Editing of Large Language Models ( http://arxiv.org/abs/2407.00488v1 ) ライセンス: Link先を確認 | Kunquan Deng, Zeyu Huang, Chen Li, Chenghua Lin, Min Gao, Wenge Rong, | (参考訳) LLM(Large Language Models)は「ハロシン化(hallucination)」と呼ばれる不正確なコンテンツを生み出す危険性がある。
本稿では, 微粒化幻覚の分類の標準化プロセスの概要を述べるとともに, LLMにおける微細化幻覚の検出と修正を目的とした, プログレッシブ微粒化モデルエディタ(PFME)の革新的フレームワークを提案する。
PFMEはReal-time Fact Retrieval ModuleとFalucination Detection and Editing Moduleの2つの共同モジュールで構成されている。
前者は文書の中の重要なエンティティを特定し、信頼できる情報源から最新の事実証拠を検索する。
後者はさらに文書を文レベルのテキストに分割し、関連するエビデンスと以前に編集された文脈に基づいて、各文の幻覚タイプを特定し、特定し、編集する。
FavaBench と FActScore の実験結果から,PFME はより微細な幻覚検出タスクにおいて既存の手法よりも優れることが示された。
特に、Llama3-8B-Instructモデルを使用する場合、外部知識を用いた微粒な幻覚検出におけるPFMEの性能は、ChatGPTと比較して8.7ポイント(pp)向上する。
編集作業において、PFMEはFActScore-Alpaca13BとFActScore-ChatGPTデータセットのFActScoreをさらに強化し、それぞれ16.2ppと4.6ppに増加した。
Large Language Models (LLMs) excel in fluency but risk producing inaccurate content, called "hallucinations." This paper outlines a standardized process for categorizing fine-grained hallucination types and proposes an innovative framework--the Progressive Fine-grained Model Editor (PFME)--specifically designed to detect and correct fine-grained hallucinations in LLMs. PFME consists of two collaborative modules: the Real-time Fact Retrieval Module and the Fine-grained Hallucination Detection and Editing Module. The former identifies key entities in the document and retrieves the latest factual evidence from credible sources. The latter further segments the document into sentence-level text and, based on relevant evidence and previously edited context, identifies, locates, and edits each sentence's hallucination type. Experimental results on FavaBench and FActScore demonstrate that PFME outperforms existing methods in fine-grained hallucination detection tasks. Particularly, when using the Llama3-8B-Instruct model, PFME's performance in fine-grained hallucination detection with external knowledge assistance improves by 8.7 percentage points (pp) compared to ChatGPT. In editing tasks, PFME further enhances the FActScore of FActScore-Alpaca13B and FActScore-ChatGPT datasets, increasing by 16.2pp and 4.6pp, respectively. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # 過パラメータ化ガウス混合モデルに対するグラディエントEMの大域収束に向けて
Toward Global Convergence of Gradient EM for Over-Parameterized Gaussian Mixture Models ( http://arxiv.org/abs/2407.00490v1 ) ライセンス: Link先を確認 | Weihang Xu, Maryam Fazel, Simon S. Du, | (参考訳) 本稿では,Gaussian Mixture Models (GMM) の勾配予測-最大化(EM) アルゴリズムについて検討し,Gaussian 分布によって生成されるデータから$n>1$成分の一般 GMM を学習する。
2-ガウス混合の特別な場合の結果はよく知られているが、任意の$n$に対する一般的な大域収束解析は未解決のままであり、収束が部分線型および非単調となるため、いくつかの新しい技術的障壁に直面している。
これらの課題に対処するために、新しい確率ベース収束解析フレームワークを構築し、勾配EMが大域的に$O(1/\sqrt{t})$で収束することを厳密に証明する。
これは、2ドル以上の成分を持つガウス混合に対する最初の大域収束結果である。
線形収束速度は勾配EMによる過パラメータ化GMM学習のアルゴリズム的性質に起因する。
また、指数関数的なステップ数で勾配EMをトラップできる悪い局所領域の存在という、一般的な過パラメータ化GMMを学習するための新たな技術的課題も挙げる。
We study the gradient Expectation-Maximization (EM) algorithm for Gaussian Mixture Models (GMM) in the over-parameterized setting, where a general GMM with $n>1$ components learns from data that are generated by a single ground truth Gaussian distribution. While results for the special case of 2-Gaussian mixtures are well-known, a general global convergence analysis for arbitrary $n$ remains unresolved and faces several new technical barriers since the convergence becomes sub-linear and non-monotonic. To address these challenges, we construct a novel likelihood-based convergence analysis framework and rigorously prove that gradient EM converges globally with a sublinear rate $O(1/\sqrt{t})$. This is the first global convergence result for Gaussian mixtures with more than $2$ components. The sublinear convergence rate is due to the algorithmic nature of learning over-parameterized GMM with gradient EM. We also identify a new emerging technical challenge for learning general over-parameterized GMM: the existence of bad local regions that can trap gradient EM for an exponential number of steps. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # 局所的および大域的トレンドベイズ指数平滑化モデルのための高速ギブスサンプリング
Fast Gibbs sampling for the local and global trend Bayesian exponential smoothing model ( http://arxiv.org/abs/2407.00492v1 ) ライセンス: Link先を確認 | Xueying Long, Daniel F. Schmidt, Christoph Bergmeir, Slawek Smyl, | (参考訳) Smyl et al [Local and global trend Bayesian index smoothing model]. International Journal of Forecasting, 2024.] では、時系列における強い傾向と変動性を捉えることのできる一般化された指数的滑らか化モデルが提案されている。
この手法は多くの予測タスクで最先端の性能を達成したが、NUTSサンプリングをベースとした適合処理は非常に高価である。
本研究は, 後部探査用のギブズサンプリング装置とともに, 原モデルにいくつかの改良を加え, サンプル時間を桁違いに改善し, より実用的に関係があることを示すものである。
この新しいモデルとサンプルは、M3データセットで評価され、元の手法と比較して、かなり高速に動作しながら、競争力があるか、優れていることが示されている。
In Smyl et al. [Local and global trend Bayesian exponential smoothing models. International Journal of Forecasting, 2024.], a generalised exponential smoothing model was proposed that is able to capture strong trends and volatility in time series. This method achieved state-of-the-art performance in many forecasting tasks, but its fitting procedure, which is based on the NUTS sampler, is very computationally expensive. In this work, we propose several modifications to the original model, as well as a bespoke Gibbs sampler for posterior exploration; these changes improve sampling time by an order of magnitude, thus rendering the model much more practically relevant. The new model, and sampler, are evaluated on the M3 dataset and are shown to be competitive, or superior, in terms of accuracy to the original method, while being substantially faster to run. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # グラフニューラルネットワークのホグウィルド
Graph Neural Networks Gone Hogwild ( http://arxiv.org/abs/2407.00494v1 ) ライセンス: Link先を確認 | Olga Solodova, Nick Richardson, Deniz Oktay, Ryan P. Adams, | (参考訳) メッセージパッシンググラフニューラルネットワーク(GNN)は、勾配降下によって分散アルゴリズムを学習する強力なツールであるように見えるが、推論中にノードが非同期に更新されると、破滅的に誤った予測を生成する。
非同期下でのこの失敗は、リソース制約されたエージェント間のローカル通信ポリシー、例えばロボット群やセンサーネットワークなどの多くの潜在的なアプリケーションからこれらのアーキテクチャを効果的に排除する。
本稿では、この障害が一般的なGNNアーキテクチャで発生した理由を考察し、部分的に非同期な"Hogwild"推論に対して確実に堅牢なGNNをアーキテクチャのクラスとして識別し、非同期および分散最適化(例えば、Bertsekas (1982); Niu et al (2011)における作業からの収束を保証する。
そこで我々は,エネルギーGNNと呼ぶ,暗黙的に定義されたGNNアーキテクチャを提案する。
このアーキテクチャは,マルチエージェントシステムにインスパイアされた多種多様な合成タスクにおいて,クラス内の他のGNNよりも優れており,実世界のデータセット上での競合性能を実現していることを示す。
Message passing graph neural networks (GNNs) would appear to be powerful tools to learn distributed algorithms via gradient descent, but generate catastrophically incorrect predictions when nodes update asynchronously during inference. This failure under asynchrony effectively excludes these architectures from many potential applications, such as learning local communication policies between resource-constrained agents in, e.g., robotic swarms or sensor networks. In this work we explore why this failure occurs in common GNN architectures, and identify "implicitly-defined" GNNs as a class of architectures which is provably robust to partially asynchronous "hogwild" inference, adapting convergence guarantees from work in asynchronous and distributed optimization, e.g., Bertsekas (1982); Niu et al. (2011). We then propose a novel implicitly-defined GNN architecture, which we call an energy GNN. We show that this architecture outperforms other GNNs from this class on a variety of synthetic tasks inspired by multi-agent systems, and achieves competitive performance on real-world datasets. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # シミュレーションギャップに対するベイズ的解決策
A Bayesian Solution To The Imitation Gap ( http://arxiv.org/abs/2407.00495v1 ) ライセンス: Link先を確認 | Risto Vuorio, Mattie Fellows, Cong Lu, Clémence Grislain, Shimon Whiteson, | (参考訳) 多くの実世界の環境では、エージェントは報酬信号が特定できない環境で行動することを学ぶ必要があるが、専門家によるデモンストレーションのセットが利用可能である。
イミテーション・ラーニング(IL)は、このようなデモンストレーションからポリシーを学ぶための一般的なフレームワークである。
しかし、一部のケースでは、専門家とエージェントの観察可能性の違いは、専門家のポリシーがエージェントに最適ではなく、ILの素早い適用が破滅的に失敗するような模倣ギャップを生じさせる可能性がある。
特に、専門家がマルコフ状態を観察し、エージェントがそうでない場合、専門家は、エージェントが必要とする情報収集の振る舞いを証明しないが、専門家ではない。
本稿では、まず、専門家による実証実験を用いて、実証されていない探索行動のコストを事前に指定し、ベイジアン逆強化学習(IRL)による報酬よりも後進的な報酬を推測する、ベイジアン・ギャップ(BIG)に対するベイジアン・ソリューションを提案する。
BIGはその後、報酬をベイズ最適化ポリシーを学ぶために使用する。
我々の実験では、BIGはILとは異なり、エージェントが模擬ギャップを提示した時にテスト時に探索できる一方で、そのようなギャップが存在しない場合、専門家によるデモンストレーションを用いて最適な振る舞いを学習できることが示されている。
In many real-world settings, an agent must learn to act in environments where no reward signal can be specified, but a set of expert demonstrations is available. Imitation learning (IL) is a popular framework for learning policies from such demonstrations. However, in some cases, differences in observability between the expert and the agent can give rise to an imitation gap such that the expert's policy is not optimal for the agent and a naive application of IL can fail catastrophically. In particular, if the expert observes the Markov state and the agent does not, then the expert will not demonstrate the information-gathering behavior needed by the agent but not the expert. In this paper, we propose a Bayesian solution to the Imitation Gap (BIG), first using the expert demonstrations, together with a prior specifying the cost of exploratory behavior that is not demonstrated, to infer a posterior over rewards with Bayesian inverse reinforcement learning (IRL). BIG then uses the reward posterior to learn a Bayes-optimal policy. Our experiments show that BIG, unlike IL, allows the agent to explore at test time when presented with an imitation gap, whilst still learning to behave optimally using expert demonstrations when no such gap exists. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # 多目的タスク割り当てのための2段階強化学習に基づくアプローチ
A Two-stage Reinforcement Learning-based Approach for Multi-entity Task Allocation ( http://arxiv.org/abs/2407.00496v1 ) ライセンス: Link先を確認 | Aicheng Gong, Kai Yang, Jiafei Lyu, Xiu Li, | (参考訳) タスク割り当ては重要な組合せ最適化問題であり、マルチロボット協調やリソーススケジューリングといった現代的なアプリケーションに不可欠である。
意思決定者は、さまざまなシナリオで合理的にエンティティをタスクに割り当てなければならない。
しかし、従来の手法では静的な属性やタスクやエンティティの数を前提としており、しばしば動的プログラミングやヒューリスティックなアルゴリズムに頼っている。
実際、タスク割り当てはMarkovの決定プロセスに似ており、動的にタスクとエンティティ属性が変化する。
したがって、アルゴリズムはその状態に基づいて動的にタスクを割り当てる必要がある。
そこで本研究では,類似性に基づく2段階のタスク割り当てアルゴリズムを提案し,強化学習を利用してアロケーション戦略を学習する。
提案した事前割り当て戦略により、エンティティは適切なタスクをプリセレクトし、局所最適を効果的に回避し、最適なアロケーションを見つけることができる。
また,アテンション機構とハイパーパラメータネットワーク構造を導入して,エンティティやタスクの数や属性の変化に適応し,ネットワーク構造を新しいタスクに一般化する。
複数の環境にまたがる実験結果から,本アルゴリズムは実運用における動的タスク割り当ての課題に効果的に対処できることが示唆された。
遺伝的アルゴリズムのようなヒューリスティックアルゴリズムと比較して、我々の強化学習アプローチは動的アロケーション問題をよりよく解決し、新しいタスクへのゼロショットの一般化を優れた性能で達成する。
コードはhttps://github.com/yk7333/TaskAllocation.comから入手できる。
Task allocation is a key combinatorial optimization problem, crucial for modern applications such as multi-robot cooperation and resource scheduling. Decision makers must allocate entities to tasks reasonably across different scenarios. However, traditional methods assume static attributes and numbers of tasks and entities, often relying on dynamic programming and heuristic algorithms for solutions. In reality, task allocation resembles Markov decision processes, with dynamically changing task and entity attributes. Thus, algorithms must dynamically allocate tasks based on their states. To address this issue, we propose a two-stage task allocation algorithm based on similarity, utilizing reinforcement learning to learn allocation strategies. The proposed pre-assign strategy allows entities to preselect appropriate tasks, effectively avoiding local optima and thereby better finding the optimal allocation. We also introduce an attention mechanism and a hyperparameter network structure to adapt to the changing number and attributes of entities and tasks, enabling our network structure to generalize to new tasks. Experimental results across multiple environments demonstrate that our algorithm effectively addresses the challenges of dynamic task allocation in practical applications. Compared to heuristic algorithms like genetic algorithms, our reinforcement learning approach better solves dynamic allocation problems and achieves zero-shot generalization to new tasks with good performance. The code is available at https://github.com/yk7333/TaskAllocation. | 翻訳日:2024-07-04 02:56:15 公開日:2024-06-29 |
| # LLMs-as-インストラクタ: モデル改善の自動化に向けてのエラーから学ぶ
LLMs-as-Instructors: Learning from Errors Toward Automating Model Improvement ( http://arxiv.org/abs/2407.00497v1 ) ライセンス: Link先を確認 | Jiahao Ying, Mingbao Lin, Yixin Cao, Wei Tang, Bo Wang, Qianru Sun, Xuanjing Huang, Shuicheng Yan, | (参考訳) 本稿では,より高度な大規模言語モデル(LLM)を活用して,より小さなターゲットモデルの訓練を自律的に強化する,革新的な"LLMs-as-Instructors"フレームワークを提案する。
このフレームワークは、"Learning from Errors"理論にインスパイアされ、ターゲットモデル内の特定のエラーを注意深く分析するインストラクターLLMを使用し、ターゲットと効率のよいトレーニングサイクルを容易にする。
本フレームワークでは,適切なトレーニングデータに対する誤応答のみに焦点を当てた「エラーからの学習」と,比較学習を用いて誤りの深い理解を行う「コントラストによるエラーからの学習」という2つの戦略を実装している。
いくつかのオープンソースモデルを用いて実施した実証研究は、数学的推論、コーディング能力、事実知識など、複数のベンチマークで大幅に改善されていることを示す。
特に,改良されたLlama-3-8b-インストラクションはChatGPTよりも優れており,本手法の有効性が示されている。
両方の戦略の長所を活用することで、ドメイン内ベンチマークと外部ベンチマークの両方で、よりバランスのとれたパフォーマンス改善を実現しました。
私たちのコードはhttps://yingjiahao14.github.io/LLMs-as-Instructors-pages/にある。
This paper introduces the innovative "LLMs-as-Instructors" framework, which leverages the advanced Large Language Models (LLMs) to autonomously enhance the training of smaller target models. Inspired by the theory of "Learning from Errors", this framework employs an instructor LLM to meticulously analyze the specific errors within a target model, facilitating targeted and efficient training cycles. Within this framework, we implement two strategies: "Learning from Error," which focuses solely on incorrect responses to tailor training data, and "Learning from Error by Contrast", which uses contrastive learning to analyze both correct and incorrect responses for a deeper understanding of errors. Our empirical studies, conducted with several open-source models, demonstrate significant improvements across multiple benchmarks, including mathematical reasoning, coding abilities, and factual knowledge. Notably, the refined Llama-3-8b-Instruction has outperformed ChatGPT, illustrating the effectiveness of our approach. By leveraging the strengths of both strategies, we have attained a more balanced performance improvement on both in-domain and out-of-domain benchmarks. Our code can be found at https://yingjiahao14.github.io/LLMs-as-Instructors-pages/. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # ConU: 訂正カバレッジ保証付き大規模言語モデルにおける整合不確かさ
ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees ( http://arxiv.org/abs/2407.00499v1 ) ライセンス: Link先を確認 | Zhiyuan Wang, Jinhao Duan, Lu Cheng, Yue Zhang, Qingni Wang, Hengtao Shen, Xiaofeng Zhu, Xiaoshuang Shi, Kaidi Xu, | (参考訳) 自然言語生成(NLG)タスクにおける不確実性定量化(UQ)は、最近の大規模言語モデル(LLM)の複雑な性質によってさらに悪化する、オープンな課題である。
本研究では,オープンエンドNLGタスクにおけるブラックボックスLSMに対して,不確実性のヒューリスティックな測度を予測セットを構築することによって厳密な理論的保証に変換することができる適合型予測(CP)の適用について検討する。
本稿では,自己整合性を利用したサンプリングベース不確実性評価手法を提案する。
実験結果から,我々の不確実性指標が従来手法を超越していることが示唆された。
さらに,モデルの未固定回答分布内の予測セットを校正し,4つのフリーフォームNLGデータセット上での6LLMにおける正当性カバレッジ率の厳密な制御を実現し,汎用領域と医療領域にまたがる平均セットサイズを小さくし,実用的なオープンエンドNLGアプリケーションに対して信頼性の高い保証を提供する上で,本手法の効率をさらに強調する。
Uncertainty quantification (UQ) in natural language generation (NLG) tasks remains an open challenge, exacerbated by the intricate nature of the recent large language models (LLMs). This study investigates adapting conformal prediction (CP), which can convert any heuristic measure of uncertainty into rigorous theoretical guarantees by constructing prediction sets, for black-box LLMs in open-ended NLG tasks. We propose a sampling-based uncertainty measure leveraging self-consistency and develop a conformal uncertainty criterion by integrating the uncertainty condition aligned with correctness into the design of the CP algorithm. Experimental results indicate that our uncertainty measure generally surpasses prior state-of-the-art methods. Furthermore, we calibrate the prediction sets within the model's unfixed answer distribution and achieve strict control over the correctness coverage rate across 6 LLMs on 4 free-form NLG datasets, spanning general-purpose and medical domains, while the small average set size further highlights the efficiency of our method in providing trustworthy guarantees for practical open-ended NLG applications. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # ポイントレベルの3次元アルベドとシェーディング編集のための固有のPAPR
Intrinsic PAPR for Point-level 3D Scene Albedo and Shading Editing ( http://arxiv.org/abs/2407.00500v1 ) ライセンス: Link先を確認 | Alireza Moazeni, Shichong Peng, Ke Li, | (参考訳) ニューラルレンダリングの最近の進歩は、マルチビューRGB画像からの新しいビュー合成において優れている。
しかし、細かなポイントレベルでシーンのシェーディングや色を編集する能力は欠如しており、異なる視点で一貫性を確保している。
本研究では,ポイントレベルの3DシーンアルベドとマルチビューRGB画像からのシェーディング編集の課題に対処する。
NeRFのようなボリューム表現に基づく以前の研究は、ポイントレベルで3D一貫した編集を達成するのに苦労していたが、ポイントベースのニューラルレンダリングの最近の進歩は、この課題を克服することを約束している。
Intrinsic PAPR'は,最近の点ベースニューラルレンダリング技術である Proximity Attention Point Rendering (PAPR) に基づく新しい手法である。
シーンの本質的な分解をモデル化する他の点ベース手法とは異なり、我々の手法は、普遍的に適用されない複雑なシェーディングモデルや単純化された先行モデルに依存しない。
代わりに、シーン分解を直接アルベドとシェーディングコンポーネントにモデル化し、推定精度を向上する。
Intrinsic PAPR は高画質の新規ビューレンダリングと優れた点レベルアルベドとシェーディング編集を実現する。
Recent advancements in neural rendering have excelled at novel view synthesis from multi-view RGB images. However, they often lack the capability to edit the shading or colour of the scene at a detailed point-level, while ensuring consistency across different viewpoints. In this work, we address the challenge of point-level 3D scene albedo and shading editing from multi-view RGB images, focusing on detailed editing at the point-level rather than at a part or global level. While prior works based on volumetric representation such as NeRF struggle with achieving 3D consistent editing at the point level, recent advancements in point-based neural rendering show promise in overcoming this challenge. We introduce ``Intrinsic PAPR'', a novel method based on the recent point-based neural rendering technique Proximity Attention Point Rendering (PAPR). Unlike other point-based methods that model the intrinsic decomposition of the scene, our approach does not rely on complicated shading models or simplistic priors that may not universally apply. Instead, we directly model scene decomposition into albedo and shading components, leading to better estimation accuracy. Comparative evaluations against the latest point-based inverse rendering methods demonstrate that Intrinsic PAPR achieves higher-quality novel view rendering and superior point-level albedo and shading editing. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # 物理埋め込み型データ駆動方式による航空エンジンの性能予測
Aeroengine performance prediction using a physical-embedded data-driven method ( http://arxiv.org/abs/2407.00501v1 ) ライセンス: Link先を確認 | Tong Mo, Shiran Dai, An Fu, Xiaomeng Zhu, Shuxiao Li, | (参考訳) 航空エンジンの性能の正確かつ効率的な予測は、エンジン設計、メンテナンス、最適化の取り組みにおいて最重要となる。
しかし、既存の方法論は、予測精度、計算効率、モデリングの複雑さ、データ依存の最適なバランスをとるのに苦労することが多い。
これらの課題に対処するため、我々は、エンジン性能パラメータのリアルタイム予測を可能にするために、エアエンジンとニューラルネットワークの両方の領域知識を相乗的に組み合わせる戦略を提案する。
航空工学領域の知識を活用して,ネットワーク構造を任意に設計し,内部情報の流れを調節する。
同時に、ニューラルネットワーク領域の専門知識に基づき、4つの異なる特徴融合法を考案し、革新的な損失関数の定式化を導入する。
提案手法の有効性とロバスト性を厳格に評価するために,2つの異なるデータセットにまたがって包括的な検証を行う。
実験の結果,(1)適応損失関数の明らかな利点,(2)パラメータカウントを減らして同等あるいは優れた性能を維持すること,(3)汎用ニューラルネットワークアーキテクチャと比較してデータ依存性を低減できること,(4)我々のモデルは従来のブラックボックス機械学習手法よりも解釈可能であること,などが示された。
Accurate and efficient prediction of aeroengine performance is of paramount importance for engine design, maintenance, and optimization endeavours. However, existing methodologies often struggle to strike an optimal balance among predictive accuracy, computational efficiency, modelling complexity, and data dependency. To address these challenges, we propose a strategy that synergistically combines domain knowledge from both the aeroengine and neural network realms to enable real-time prediction of engine performance parameters. Leveraging aeroengine domain knowledge, we judiciously design the network structure and regulate the internal information flow. Concurrently, drawing upon neural network domain expertise, we devise four distinct feature fusion methods and introduce an innovative loss function formulation. To rigorously evaluate the effectiveness and robustness of our proposed strategy, we conduct comprehensive validation across two distinct datasets. The empirical results demonstrate :(1) the evident advantages of our tailored loss function; (2) our model's ability to maintain equal or superior performance with a reduced parameter count; (3) our model's reduced data dependency compared to generalized neural network architectures; (4)Our model is more interpretable than traditional black box machine learning methods. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # 非定常時系列予測のための深部周波数導出学習
Deep Frequency Derivative Learning for Non-stationary Time Series Forecasting ( http://arxiv.org/abs/2407.00502v1 ) ライセンス: Link先を確認 | Wei Fan, Kun Yi, Hangting Ye, Zhiyuan Ning, Qi Zhang, Ning An, | (参考訳) ほとんどの時系列は静止していないが、時系列予測において分布シフト問題に直面することは避けられない。
既存の解は、時系列分布を調整するために統計測度(通常平均と標準)を操作する。
しかし、これらの操作は、完全な分布情報を明らかにすることができず、さらに正規化における情報利用のボトルネックを招き、予測性能を損なうようなスペクトルのゼロ周波数成分への変換と見なすことができる。
この問題に対処するために、周波数スペクトル全体を用いて時系列を変換し、周波数の観点からデータ分布をフル活用することを提案する。
非定常時系列予測のためのディープ周波数微分学習フレームワークDERITSを提案する。
具体的には、DRITSは、周波数領域から導出される信号によりより定常な周波数表現を得る、新しい可逆変換、すなわち周波数微分変換(FDT)に基づいて構築される。
そこで我々は,適応周波数フィルタリングと学習を行う秩序適応型フーリエ畳み込みネットワークを提案する。
さらに,DRITSをマルチオーダー導出・融合のための並列スタックアーキテクチャとして整理し,予測を行う。
最後に、時系列予測とシフト緩和の両方において一貫した優位性を示す複数のデータセットについて広範な実験を行う。
While most time series are non-stationary, it is inevitable for models to face the distribution shift issue in time series forecasting. Existing solutions manipulate statistical measures (usually mean and std.) to adjust time series distribution. However, these operations can be theoretically seen as the transformation towards zero frequency component of the spectrum which cannot reveal full distribution information and would further lead to information utilization bottleneck in normalization, thus hindering forecasting performance. To address this problem, we propose to utilize the whole frequency spectrum to transform time series to make full use of data distribution from the frequency perspective. We present a deep frequency derivative learning framework, DERITS, for non-stationary time series forecasting. Specifically, DERITS is built upon a novel reversible transformation, namely Frequency Derivative Transformation (FDT) that makes signals derived in the frequency domain to acquire more stationary frequency representations. Then, we propose the Order-adaptive Fourier Convolution Network to conduct adaptive frequency filtering and learning. Furthermore, we organize DERITS as a parallel-stacked architecture for the multi-order derivation and fusion for forecasting. Finally, we conduct extensive experiments on several datasets which show the consistent superiority in both time series forecasting and shift alleviation. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # Dense Vision Tasks のための拡散型ジェネラリストを目指して
Toward a Diffusion-Based Generalist for Dense Vision Tasks ( http://arxiv.org/abs/2407.00503v1 ) ライセンス: Link先を確認 | Yue Fan, Yongqin Xian, Xiaohua Zhai, Alexander Kolesnikov, Muhammad Ferjad Naeem, Bernt Schiele, Federico Tombari, | (参考訳) 多くのコンピュータビジョンタスクを同時に解決できる一般化されたモデルを構築することは興味深い方向性である。
近年の研究では、画像自体が汎用的な視覚知覚のための自然なインタフェースとして利用でき、刺激的な結果が示されている。
本稿では、拡散に基づく視覚一般論について検討し、条件付き画像生成とそれに対する目的付き事前学習拡散モデルとして、様々な種類の密度予測タスクを統一する。
しかし、オフザシェルフ潜在拡散モデルを直接適用すると量子化の問題が発生する。
そこで我々は,画素空間での拡散を行い,高密度視覚タスクのための事前学習されたテキスト・画像拡散モデルを微調整するためのレシピを提案する。
実験では,4種類のタスクに対して評価を行い,他のビジョンジェネラリストと競合する性能を示す。
Building generalized models that can solve many computer vision tasks simultaneously is an intriguing direction. Recent works have shown image itself can be used as a natural interface for general-purpose visual perception and demonstrated inspiring results. In this paper, we explore diffusion-based vision generalists, where we unify different types of dense prediction tasks as conditional image generation and re-purpose pre-trained diffusion models for it. However, directly applying off-the-shelf latent diffusion models leads to a quantization issue. Thus, we propose to perform diffusion in pixel space and provide a recipe for finetuning pre-trained text-to-image diffusion models for dense vision tasks. In experiments, we evaluate our method on four different types of tasks and show competitive performance to the other vision generalists. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # ShapG:Shapley値に基づく新しい特徴重要度手法
ShapG: new feature importance method based on the Shapley value ( http://arxiv.org/abs/2407.00506v1 ) ライセンス: Link先を確認 | Chi Zhao, Jing Liu, Elena Parilina, | (参考訳) 人工知能(AI)の幅広い応用により、AIシステムの決定を説明可能かつ透明にすることが特に重要になっている。
本稿では,特徴量を測定するために,ShapG(Shapley値に基づくグラフ表現)と呼ばれる新しい説明可能な人工知能(XAI)手法を提案する。
ShapGはモデルに依存しないグローバルな説明法である。
最初の段階ではデータセットに基づいて非方向グラフを定義し、ノードは特徴を表現し、エッジは特徴間の相関係数の計算に基づいて追加される。
第2段階では、このグラフ構造を考慮したデータをサンプリングすることにより、近似されたシェープ値を算出する。
ShapGのサンプリングアプローチは、効率よく特徴の重要さを計算し、すなわち計算複雑性を減少させる。
ShapGと既存のXAI法の比較は、2つの調査データセットに対してより正確な説明を提供することを示している。
また, ランニング時間における協調ゲーム理論に基づく他のXAI手法とShapGを比較した結果, ShapGがランニング時間において明らかな優位性を示し, ShapGの効率性がさらに証明された。
さらに、複雑なモデルを説明するためのShapG法の適用性についても広範な実験が実施されている。
ShapGはAIシステムの説明可能性や透明性を向上させる上で重要なツールであり、さまざまな分野で広く利用することができると信じています。
With wide application of Artificial Intelligence (AI), it has become particularly important to make decisions of AI systems explainable and transparent. In this paper, we proposed a new Explainable Artificial Intelligence (XAI) method called ShapG (Explanations based on Shapley value for Graphs) for measuring feature importance. ShapG is a model-agnostic global explanation method. At the first stage, it defines an undirected graph based on the dataset, where nodes represent features and edges are added based on calculation of correlation coefficients between features. At the second stage, it calculates an approximated Shapley value by sampling the data taking into account this graph structure. The sampling approach of ShapG allows to calculate the importance of features efficiently, i.e. to reduce computational complexity. Comparison of ShapG with other existing XAI methods shows that it provides more accurate explanations for two examined datasets. We also compared other XAI methods developed based on cooperative game theory with ShapG in running time, and the results show that ShapG exhibits obvious advantages in its running time, which further proves efficiency of ShapG. In addition, extensive experiments demonstrate a wide range of applicability of the ShapG method for explaining complex models. We find ShapG an important tool in improving explainability and transparency of AI systems and believe it can be widely used in various fields. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # オントロジを活用してデータのバイアスを文書化する
Leveraging Ontologies to Document Bias in Data ( http://arxiv.org/abs/2407.00509v1 ) ライセンス: Link先を確認 | Mayra Russo, Maria-Esther Vidal, | (参考訳) 機械学習(ML)システムは再生可能であり、しばしば望ましくないバイアスを増幅する。
このことは、MLパイプラインの本質的な特性の研究と理解を可能にするプラクティスの下での運用の重要性を強調し、'バイアスに対するあらゆる救済は、その存在を意識することから始まる'という考え方でドキュメントフレームワークの出現を促している。
しかし、検出されたバイアスの観点からこれらのパイプラインを正式に記述できるリソースは、いまだ無意味である。
このギャップを埋めるために、Doc-BiasOオントロジー(Doc-BiasO ontology)という、‘textit{fair-ML} 文学で定義されたバイアスの語彙とそれらの測度を統合化し、関連する用語とそれらの関係を組み込むためのリソースを提示する。
オントロジーエンジニアリングのベストプラクティスを見越して、私たちは、機械学習とAIに関する既存の語彙を再使用し、その研究、開発、規制などに関わるアクター間の知識共有と相互運用性を促進します。
全体として、私たちの主な目的は、AIのあらゆる領域に急速に拡大するにつれて、バイアス研究に関する既存の用語を明確にすることへの貢献であり、データや下流の影響に対するバイアスの解釈を改善することにあります。
Machine Learning (ML) systems are capable of reproducing and often amplifying undesired biases. This puts emphasis on the importance of operating under practices that enable the study and understanding of the intrinsic characteristics of ML pipelines, prompting the emergence of documentation frameworks with the idea that ``any remedy for bias starts with awareness of its existence''. However, a resource that can formally describe these pipelines in terms of biases detected is still amiss. To fill this gap, we present the Doc-BiasO ontology, a resource that aims to create an integrated vocabulary of biases defined in the \textit{fair-ML} literature and their measures, as well as to incorporate relevant terminology and the relationships between them. Overseeing ontology engineering best practices, we re-use existing vocabulary on machine learning and AI, to foster knowledge sharing and interoperability between the actors concerned with its research, development, regulation, among others. Overall, our main objective is to contribute towards clarifying existing terminology on bias research as it rapidly expands to all areas of AI and to improve the interpretation of bias in data and downstream impact. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # 混合密度ニューラルネットワークを用いた確率的ステムバッキング
Stochastic stem bucking using mixture density neural networks ( http://arxiv.org/abs/2407.00510v1 ) ライセンス: Link先を確認 | Simon Schmiedel, | (参考訳) 森林伐採業者による粗末なバッキング決定は、ログから生成された製品に悪影響を及ぼす可能性がある。
収穫者は、まだ測定されていない茎の一部の茎プロファイルの予測に頼らなければならないため、正しい座屈決定を下すことは簡単な作業ではない。
このプロジェクトの目標は、確率的なバッキング手法により、森林収穫者によるバッキング決定を改善することである。
茎の既知の部位に条件付きガウス分布のパラメータを予測できる長短短期記憶(LSTM)ニューラルネットワークを開発した。
すると、バッキング決定は、新しい確率的バッキングアルゴリズムを使って最適化され、ステムから生成するログを選択するために生成されたすべてのステムプロファイルが使用される。
確率的バッキングアルゴリズムは、2つのベンチマークモデルと比較された: 1つ以上の直径測定で予測を条件付けできない多項式モデルと、決定論的LSTMニューラルネットワーク。
いずれのモデルも,カナダ東部に広く分布する4種の針葉樹の茎の形状から評価した。
一般に、最高の座屈決定は確率的LSTMモデルによって行われ、この手法の有用性が示された。
2番目の結果は主に決定論的LSTMモデルと多項式モデルによる最悪の結果から得られ、複数の測定値にステム曲線予測を条件付けることの有用性を裏付けるものである。
Poor bucking decisions made by forest harvesters can have a negative effect on the products that are generated from the logs. Making the right bucking decisions is not an easy task because harvesters must rely on predictions of the stem profile for the part of the stems that is not yet measured. The goal of this project is to improve the bucking decisions made by forest harvesters with a stochastic bucking method. We developed a Long Short-Term Memory (LSTM) neural network that predicted the parameters of a Gaussian distribution conditioned on the known part of the stem, enabling the creation of multiple samples of stem profile predictions for the unknown part of the stem. The bucking decisions could then be optimized using a novel stochastic bucking algorithm which used all the stem profiles generated to choose the logs to generate from the stem. The stochastic bucking algorithm was compared to two benchmark models: A polynomial model that could not condition its predictions on more than one diameter measurement, and a deterministic LSTM neural network. All models were evaluated on stem profiles of four coniferous species prevalent in eastern Canada. In general, the best bucking decisions were taken by the stochastic LSTM models, demonstrating the usefulness of the method. The second-best results were mostly obtained by the deterministic LSTM model and the worst results by the polynomial model, corroborating the usefulness of conditioning the stem curve predictions on multiple measurements. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # インダクティブプログラミングのための超ヒューリスティックとしてのテストケース機能
Test Case Features as Hyper-heuristics for Inductive Programming ( http://arxiv.org/abs/2407.00519v1 ) ライセンス: Link先を確認 | Edward McDaid, Sarah McDaid, | (参考訳) 命令サブセット(英: Instruction subsets)とは、帰納的プログラミング検索空間のサイズを数十桁削減できるヒューリスティックな部分集合である。
異なるサイズの多くの重複部分集合をコンパイルすると、どんな問題に対しても解をコードするために必要な命令の予測として機能する。
現在、このアプローチでは、解が見つかる前に数千のサブセットを探索できる問題があることを意味する、単一の大きなサブセットの族が採用されている。
本稿では,テストケース型シグネチャをハイパーヒューリスティックとして使用して,多数のより小さな命令サブセットの1つを選択する。
テストケースの任意のセットの型シグネチャは、単一のファミリーと小さなファミリーに直接マップされる。
多くのファミリーを持つことで、サブセットをリオーダーして、人間のコードにおける相対的な発生をよりよく反映することが可能になる。
全体として、新しいアプローチは、型シグネチャに応じて、インダクティブプログラミング検索空間の1～3桁のサイズをさらに小さくすることができる。
より高度な型システムを使用することで、より大きく、より一貫した削減が可能になる。
超ヒューリスティックス(英語版)として追加のテストケース機能や、その他の今後の研究の可能性についても概説する。
Instruction subsets are heuristics that can reduce the size of the inductive programming search space by tens of orders of magnitude. Comprising many overlapping subsets of different sizes, they serve as predictions of the instructions required to code a solution for any problem. Currently, this approach employs a single, large family of subsets meaning that some problems can search thousands of subsets before a solution is found. In this paper we introduce the use of test case type signatures as hyper-heuristics to select one of many, smaller families of instruction subsets. The type signature for any set of test cases maps directly to a single family and smaller families mean that fewer subsets need to be considered for most problems. Having many families also permits subsets to be reordered to better reflect their relative occurrence in human code - again reducing the search space size for many problems. Overall the new approach can further reduce the size of the inductive programming search space by between 1 and 3 orders of magnitude, depending on the type signature. Larger and more consistent reductions are possible through the use of more sophisticated type systems. The potential use of additional test case features as hyper-heuristics and some other possible future work is also briefly discussed. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # 身体運動解析のための医療用低背痛リハビリテーションデータセット
A Medical Low-Back Pain Physical Rehabilitation Dataset for Human Body Movement Analysis ( http://arxiv.org/abs/2407.00521v1 ) ライセンス: Link先を確認 | Sao Mai Nguyen, Maxime Devanne, Olivier Remy-Neris, Mathieu Lempereur, André Thepaut, | (参考訳) エクササイズの自動監視とコーチングは、非医療的アプリケーションでは奨励的な結果を示しているが、エラーや限られたユースケースコンテキストといった制限は依然として残っている。
知的チュータリングシステムによる身体リハビリテーションの発達と評価を可能にするため,本論文では,低背痛リハビリテーション演習を行う臨床患者の医療データセットに対処する4つの課題を特定し,提案する。
データセットには、3D Kinectスケルトンの位置と向き、RGBビデオ、2Dスケルトンデータ、正確性を評価するための医用アノテーション、身体部分とタイムパンのエラー分類とローカライゼーションが含まれている。
このデータセットに沿って、データ収集から処理まで、そして最後に小さなベンチマークまで、完全な研究パスを実行します。
本研究では,ガウス混合モデル(GMM)による確率的アプローチと,長短項記憶(LSTM)を用いたディープラーニングアプローチの2つの異なるアプローチについて,データセットの2つのベースライン運動認識アルゴリズムについて検討した。
このデータセットは、費用対効果、携帯性、便利なセンサーを用いて、リハビリテーションプログラムの患者との臨床環境でのリハビリテーションに関連する動きを含み、これらの課題を改善する可能性を示すため、有用である。
While automatic monitoring and coaching of exercises are showing encouraging results in non-medical applications, they still have limitations such as errors and limited use contexts. To allow the development and assessment of physical rehabilitation by an intelligent tutoring system, we identify in this article four challenges to address and propose a medical dataset of clinical patients carrying out low back-pain rehabilitation exercises. The dataset includes 3D Kinect skeleton positions and orientations, RGB videos, 2D skeleton data, and medical annotations to assess the correctness, and error classification and localisation of body part and timespan. Along this dataset, we perform a complete research path, from data collection to processing, and finally a small benchmark. We evaluated on the dataset two baseline movement recognition algorithms, pertaining to two different approaches: the probabilistic approach with a Gaussian Mixture Model (GMM), and the deep learning approach with a Long-Short Term Memory (LSTM). This dataset is valuable because it includes rehabilitation relevant motions in a clinical setting with patients in their rehabilitation program, using a cost-effective, portable, and convenient sensor, and because it shows the potential for improvement on these challenges. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # 高齢者の非侵入型ウェルビーイングモニタリングのためのリアルタイムエネルギー測定-事例研究
Real-Time Energy Measurement for Non-Intrusive Well-Being Monitoring of Elderly People -- a Case Study ( http://arxiv.org/abs/2407.00524v1 ) ライセンス: Link先を確認 | Mateusz Brzozowski, Artur Janicki, | (参考訳) 本稿では,高齢者の健康モニタリングのための非侵襲的手法を実証するケーススタディを提案する。
それは私たちのリアルタイムエネルギー測定システムに基づいており、電気メーターに取り付けられた小さなビーコンを使っています。
対象は67～82歳4名であった。
私たちは彼らのアポックスの電力消費を観察した。
1ヶ月後 参加者の活動のノートを 考慮して分析しました
被験者ごとの日常的利用プロファイルを作成し,異常なエネルギー消費を検出するために異常検出を用いた。
その結果,高齢者の幸福感に関する介護者にとって,リアルタイムエネルギー測定は,不明瞭で全く邪魔にならない情報でありながら,重要な情報をもたらすことが判明した。
This article presents a case study demonstrating a non-intrusive method for the well-being monitoring of elderly people. It is based on our real-time energy measurement system, which uses tiny beacons attached to electricity meters. Four participants aged 67-82 years took part in our study. We observed their electric power consumption for approx. a month, and then we analyzed them, taking into account the participants' notes on their activities. We created typical daily usage profiles for each participant and used anomaly detection to find unusual energy consumption. We found out that real-time energy measurement can give significant insight into someone's daily activities and, consequently, bring invaluable information to caregivers about the well-being of an elderly person, while being discreet and entirely non-intrusive. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # シーケンスデータにおける選択構造の検出と同定
Detecting and Identifying Selection Structure in Sequential Data ( http://arxiv.org/abs/2407.00529v1 ) ライセンス: Link先を確認 | Yujia Zheng, Zeyu Tang, Yiwen Qiu, Bernhard Schölkopf, Kun Zhang, | (参考訳) 我々は,音楽のシーケンスなどの実践的な状況において,潜在目的に基づくデータポイントの選択的包摂が一般的である,と論じる。
この選択過程は統計解析を歪ませることが多いため、従来の研究は主に修正すべきバイアスとみなし、その効果を緩和するための様々な方法を提案する。
しかしながら、このバイアスを制御することは重要である一方で、選択は、私たちが観察するものの基礎となる基本的なメカニズムであるため、隠れた生成プロセスについてより深い洞察を与える機会を提供する。
特に、シーケンシャルデータの選択を見渡すことは、すべての依存に対して普遍的な自己回帰構造を仮定するなど、モデリングにおいて不完全または過剰に複雑化された帰納的バイアスをもたらす可能性がある。
したがって、単にバイアスとして見るのではなく、シーケンシャルデータにおける選択の因果構造を調べ、完全な因果過程を深く掘り下げる。
具体的には、パラメトリックな仮定や介入実験なしに選択構造が識別可能であることを示す。
さらに、選択変数が潜在共同創設者と共存する場合においても、適切な構造条件下での非パラメトリック識別性を確立する。
また,他の種類の依存関係だけでなく,選択構造を検出・識別するアルゴリズムも提案する。
このフレームワークは、合成データと実世界の音楽の両方で実証的に検証されている。
We argue that the selective inclusion of data points based on latent objectives is common in practical situations, such as music sequences. Since this selection process often distorts statistical analysis, previous work primarily views it as a bias to be corrected and proposes various methods to mitigate its effect. However, while controlling this bias is crucial, selection also offers an opportunity to provide a deeper insight into the hidden generation process, as it is a fundamental mechanism underlying what we observe. In particular, overlooking selection in sequential data can lead to an incomplete or overcomplicated inductive bias in modeling, such as assuming a universal autoregressive structure for all dependencies. Therefore, rather than merely viewing it as a bias, we explore the causal structure of selection in sequential data to delve deeper into the complete causal process. Specifically, we show that selection structure is identifiable without any parametric assumptions or interventional experiments. Moreover, even in cases where selection variables coexist with latent confounders, we still establish the nonparametric identifiability under appropriate structural conditions. Meanwhile, we also propose a provably correct algorithm to detect and identify selection structures as well as other types of dependencies. The framework has been validated empirically on both synthetic data and real-world music. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # 音声障害の自動評価のための事前学習音声モデルの解釈
Interpreting Pretrained Speech Models for Automatic Speech Assessment of Voice Disorders ( http://arxiv.org/abs/2407.00531v1 ) ライセンス: Link先を確認 | Hok-Shing Lau, Mark Huntly, Nathon Morgan, Adesua Iyenoma, Biao Zeng, Tim Bashford, | (参考訳) 音声には、いくつかの疾患に臨床的に関連がある情報が含まれており、健康評価に使用される可能性がある。
最近の研究は、ディープラーニングアルゴリズム、特に事前学習された大規模音声モデルを自動音声アセスメントの応用に適用することに関心を示している。
調査されていない問題のひとつは、これらのモデルがどのように入力に基づいて結果を出力するかである。
本研究では,音声障害検出の文脈における2つのAudio Spectrogram Transformerの構成を訓練・比較し,そのモデルが予測を行う際のスペクトログラム領域の計算的関連性であるモデル関連マップを作成するためにアテンションロールアウト法を適用した。
我々はこれらの地図を用いて、モデルが異なる条件下でどのように予測を行うかを分析し、モデルが微調整されると注意の拡散が減少し、モデル注意が特定の音素領域に集中することを示す。
Speech contains information that is clinically relevant to some diseases, which has the potential to be used for health assessment. Recent work shows an interest in applying deep learning algorithms, especially pretrained large speech models to the applications of Automatic Speech Assessment. One question that has not been explored is how these models output the results based on their inputs. In this work, we train and compare two configurations of Audio Spectrogram Transformer in the context of Voice Disorder Detection and apply the attention rollout method to produce model relevance maps, the computed relevance of the spectrogram regions when the model makes predictions. We use these maps to analyse how models make predictions in different conditions and to show that the spread of attention is reduced as a model is finetuned, and the model attention is concentrated on specific phoneme regions. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # ブロックチェーンに基づく分散型署名システム
Blockchain based Decentralized Petition System ( http://arxiv.org/abs/2407.00534v1 ) ライセンス: Link先を確認 | Jagdeep Kaur, Kevin Antony, Nikhil Pujar, Ankit Jha, | (参考訳) 分散されたオンライン請願システムにより、個人またはグループが中央の権限なしに請願を作成し、署名し、共有することができる。
ブロックチェーン技術を使用することで、これらのシステムはブロックチェーン上のすべての署名やアクションを記録し、変更や削除を不可能にすることで、請願プロセスの完全性と透明性を保証する。
これは、請願の進捗を恒久的かつ防腐的に記録するものである。
このようなシステムにより、ユーザーは政府やソーシャルメディアプラットフォームのような伝統的な仲介をバイパスし、より民主的で透明な意思決定を促進することができる。
本稿では,説明責任の欠如,ハッキングの脆弱性,セキュリティ問題など,既存システムの欠点を浮き彫りにする。
提案されているブロックチェーンベースの実装は、これらの課題を克服することを目指している。
中央集権投票システムは、仲介者なしでセキュアで透明な投票プラットフォームを提供する可能性があり、投票者不正、操作、選挙プロセスへの信頼といった問題に対処するため、近年関心を集めている。
本稿では,ブロックチェーン技術を用いた分散投票システムWebアプリケーションを提案し,投票プロセスの整合性とセキュリティを確保する。
このシステムは、中央集権的な当局の必要性を排除しつつ、すべての投票を数える透明で非集中的な意思決定プロセスを提供することを目的としている。
本稿では,システムアーキテクチャ,設計の考察,実装の詳細,および潜在的なメリットと限界について概説する。
最後に、基礎となるアルゴリズムやプロトコルを含むアプリケーションの技術的な側面について、今後の研究の方向性について考察する。
本研究の目的は、民主的プロセスの完全性とアクセシビリティの向上、セキュリティの向上、公正性、透明性、改ざん防止の確保である。
A decentralized online petition system enables individuals or groups to create, sign, and share petitions without a central authority. Using blockchain technology, these systems ensure the integrity and transparency of the petition process by recording every signature or action on the blockchain, making alterations or deletions impossible. This provides a permanent, tamper-proof record of the petition's progress. Such systems allow users to bypass traditional intermediaries like government or social media platforms, fostering more democratic and transparent decision-making. This paper reviews research on petition systems, highlighting the shortcomings of existing systems such as lack of accountability, vulnerability to hacking, and security issues. The proposed blockchain-based implementation aims to overcome these challenges. Decentralized voting systems have garnered interest recently due to their potential to provide secure and transparent voting platforms without intermediaries, addressing issues like voter fraud, manipulation, and trust in the electoral process. We propose a decentralized voting system web application using blockchain technology to ensure the integrity and security of the voting process. This system aims to provide a transparent, decentralized decision-making process that counts every vote while eliminating the need for centralized authorities. The paper presents an overview of the system architecture, design considerations, and implementation details, along with the potential benefits and limitations. Finally, we discuss future research directions, examining the technical aspects of the application, including underlying algorithms and protocols. Our research aims to enhance the integrity and accessibility of democratic processes, improve security, and ensure fairness, transparency, and tamper-proofness. | 翻訳日:2024-07-04 02:46:30 公開日:2024-06-29 |
| # 大動脈狭窄症におけるパーソナライズされた血行動態のAIによるマルチモーダルモデリング
AI-powered multimodal modeling of personalized hemodynamics in aortic stenosis ( http://arxiv.org/abs/2407.00535v1 ) ライセンス: Link先を確認 | Caglar Ozturk, Daniel H. Pak, Luca Rosalia, Debkalpa Goswami, Mary E. Robakowski, Raymond McKay, Christopher T. Nguyen, James S. Duncan, Ellen T. Roche, | (参考訳) 大動脈狭窄症(Aortic stenosis, AS)は、先進国で最も多い弁膜心疾患である。
高忠実度前臨床モデルは、治療革新、早期診断、調整された治療計画を可能にして、AS管理を改善することができる。
しかし、現時点では、専門家主導の長い手動操作を必要とする複雑なワークフローによって制限されている。
本稿では,AS血行動態の加速・民主化のためのAIを用いた計算フレームワークを提案する。
まず、我々の自動メッシュアルゴリズムは、既存の手法よりも高精度で100倍高速な計算およびベンチトップシミュレーションのためのタスク対応ジオメトリを生成できることを実証する。
そして,本手法を流体構造相互作用とソフトロボティクスモデルと組み合わせることで,多彩なAS患者の臨床血行動態測定の幅広い範囲を正確に再カプセル化できることを示す。
これらのアルゴリズムの効率性と信頼性は、ASバイオメカニクス、血液力学、および治療計画のパーソナライズされた高忠実度モデリングのための理想的な補完ツールとなる。
Aortic stenosis (AS) is the most common valvular heart disease in developed countries. High-fidelity preclinical models can improve AS management by enabling therapeutic innovation, early diagnosis, and tailored treatment planning. However, their use is currently limited by complex workflows necessitating lengthy expert-driven manual operations. Here, we propose an AI-powered computational framework for accelerated and democratized patient-specific modeling of AS hemodynamics from computed tomography. First, we demonstrate that our automated meshing algorithms can generate task-ready geometries for both computational and benchtop simulations with higher accuracy and 100 times faster than existing approaches. Then, we show that our approach can be integrated with fluid-structure interaction and soft robotics models to accurately recapitulate a broad spectrum of clinical hemodynamic measurements of diverse AS patients. The efficiency and reliability of these algorithms make them an ideal complementary tool for personalized high-fidelity modeling of AS biomechanics, hemodynamics, and treatment planning. | 翻訳日:2024-07-04 02:36:46 公開日:2024-06-29 |
| # 先行インフォームト潜時拡散を用いた経時的MRIの高速化
Accelerating Longitudinal MRI using Prior Informed Latent Diffusion ( http://arxiv.org/abs/2407.00537v1 ) ライセンス: Link先を確認 | Yonatan Urman, Zachary Shah, Ashwin Kumar, Bruno P. Soares, Kawin Setsompop, | (参考訳) MRIは、電離のない軟部組織像のモダリティとして広く用いられており、患者の存命中に繰り返し使用されることが多い。
しかし、スキャン期間の延長は、可用性とアクセシビリティを制限できる。
本研究は,同一患者の先行スキャンを利用して,スキャン時間を大幅に短縮することを目的としている。
これらの先行スキャンは、典型的には、現在のスキャンとかなりの共有情報を含んでいるため、適切に利用した場合の加速率を高めることができる。
そこで本研究では,データ一貫性のステップと合わせて,訓練された拡散モデルを用いた事前情報再構成手法を提案する。
本手法はラベルのない画像データを用いて訓練が可能で,他の学習手法で必要となる,k空間測定とペア長手スキャンのいずれのデータセットも不要である。
従来提案した手法よりも,事前整合性を過度に損なうことなく事前情報を効果的に活用する方法の方が優れていることを示す。
MRI is a widely used ionization-free soft-tissue imaging modality, often employed repeatedly over a patient's lifetime. However, prolonged scanning durations, among other issues, can limit availability and accessibility. In this work, we aim to substantially reduce scan times by leveraging prior scans of the same patient. These prior scans typically contain considerable shared information with the current scan, thereby enabling higher acceleration rates when appropriately utilized. We propose a prior informed reconstruction method with a trained diffusion model in conjunction with data-consistency steps. Our method can be trained with unlabeled image data, eliminating the need for a dataset of either k-space measurements or paired longitudinal scans as is required of other learning-based methods. We demonstrate superiority of our method over previously suggested approaches in effectively utilizing prior information without over-biasing prior consistency, which we validate on both an open-source dataset of healthy patients as well as several longitudinal cases of clinical interest. | 翻訳日:2024-07-04 02:36:46 公開日:2024-06-29 |
| # 医用イメージングのためのプライバシー保護と信頼できる深層学習
Privacy-Preserving and Trustworthy Deep Learning for Medical Imaging ( http://arxiv.org/abs/2407.00538v1 ) ライセンス: Link先を確認 | Kiarash Sedghighadikolaei, Attila A Yavuz, | (参考訳) 機械学習(ML)による効率的で自動化されたデータ分析へのシフトは、医療システム、特にRadiomicsに大きな影響を与えている。
放射能はMLを利用して医療画像を正確かつ効率的に分析する。
現在の手法は、性能と精度を向上させるためにDeep Learning (DL) に依存している(Deep Radiomics)。
医療画像の感度を考えると、データ生成と収集からモデルトレーニングと推論まで、ディープラジオミクスパイプライン全体のプライバシーを確保することが不可欠である。
したがって、PET(Privacy-Enhancing Technologies)は、Deep Radiomicsにとって重要なツールである。
従来の研究と体系化の取り組みは、PETとその応用を概観するか、主にMLアルゴリズムのためのPETのサブセットに焦点を当てている。
効率、正確性、プライバシーが不可欠であるDeep Radiomicsでは、多くのPETは理論上は適用できるが、特別な最適化やハイブリッド設計なしでは実用的ではない。
さらに、全てのDLモデルは放射能に適しているわけではない。
その結果, PETのディープ・ラジオミクス・パイプラインへの効果的かつ実用的な統合を研究・体系化する専門的な研究が必要である。
本研究は,(1)既存のPETの分類,実践的なハイブリッドPETS構築の提示,および,それらがDeep Radiomicsパイプラインと統合される可能性を示す分類,(2)技術的知見の提供,PETをDeep Radiomicsパイプラインに組み込むための潜在的な課題と手段の説明,(3)研究の方向性の提示,課題の特定,およびDeep RadiomicsパイプラインにおけるPETの強化のためのソリューションの提案による研究ギャップに対処する。
The shift towards efficient and automated data analysis through Machine Learning (ML) has notably impacted healthcare systems, particularly Radiomics. Radiomics leverages ML to analyze medical images accurately and efficiently for precision medicine. Current methods rely on Deep Learning (DL) to improve performance and accuracy (Deep Radiomics). Given the sensitivity of medical images, ensuring privacy throughout the Deep Radiomics pipeline-from data generation and collection to model training and inference-is essential, especially when outsourced. Thus, Privacy-Enhancing Technologies (PETs) are crucial tools for Deep Radiomics. Previous studies and systematization efforts have either broadly overviewed PETs and their applications or mainly focused on subsets of PETs for ML algorithms. In Deep Radiomics, where efficiency, accuracy, and privacy are crucial, many PETs, while theoretically applicable, may not be practical without specialized optimizations or hybrid designs. Additionally, not all DL models are suitable for Radiomics. Consequently, there is a need for specialized studies that investigate and systematize the effective and practical integration of PETs into the Deep Radiomics pipeline. This work addresses this research gap by (1) classifying existing PETs, presenting practical hybrid PETS constructions, and a taxonomy illustrating their potential integration with the Deep Radiomics pipeline, with comparative analyses detailing assumptions, architectural suitability, and security, (2) Offering technical insights, describing potential challenges and means of combining PETs into the Deep Radiomics pipeline, including integration strategies, subtilities, and potential challenges, (3) Proposing potential research directions, identifying challenges, and suggesting solutions to enhance the PETs in Deep Radiomics. | 翻訳日:2024-07-04 02:36:46 公開日:2024-06-29 |
| # 大規模言語モデルに基づく実世界の臨床質問への回答
Answering real-world clinical questions using large language model based systems ( http://arxiv.org/abs/2407.00541v1 ) ライセンス: Link先を確認 | Yen Sia Low, Michael L. Jackson, Rebecca J. Hyde, Robert E. Brown, Neil M. Sanghavi, Julian D. Baldwin, C. William Pike, Jananee Muralidharan, Gavin Hui, Natasha Alexander, Hadeel Hassan, Rahul V. Nene, Morgan Pike, Courtney J. Pokrzywa, Shivam Vedak, Adam Paul Yan, Dong-han Yao, Amy R. Zipursky, Christina Dinh, Philip Ballentine, Dan C. Derieg, Vladimir Polony, Rehan N. Chawdry, Jordan Davies, Brigham B. Hyde, Nigam H. Shah, Saurabh Gombar, | (参考訳) 医療上の決定を導くための証拠は、関連性があり信頼できる文献の欠如や、特定の患者に対する既存の研究の文脈化の難しさによって制限されることが多い。
大規模言語モデル(LLM)は、出版された文献を要約するか、実世界データ(RWD)に基づいた新しい研究を生成することによって、両方の課題に対処する可能性がある。
臨床50問に回答する5つのLCMベースのシステムについて検討し,9名の医師に関連性,信頼性,行動性について検討した。
現状では、汎用LLM(ChatGPT-4、Claude 3 Opus、Gemini Pro 1.5)は、関連性がありエビデンスベースの回答(2%から10%)をほとんど生成しなかった。
対照的に、検索強化生成(RAG)およびエージェントLLMシステムは、関連性およびエビデンスに基づく回答を24%から58%(ChatRWD)の質問に対して生成した。
エージェントのChatRWDだけが他のLSMと比較して新しい質問に答えることができた(65%対0-9%)。
これらの結果から,RAGに基づくエビデンス要約システムと,相乗的に働く新たなエビデンスを創出するシステムにより,患者に対する適切なエビデンスの有効性が向上することが示唆された。
Evidence to guide healthcare decisions is often limited by a lack of relevant and trustworthy literature as well as difficulty in contextualizing existing research for a specific patient. Large language models (LLMs) could potentially address both challenges by either summarizing published literature or generating new studies based on real-world data (RWD). We evaluated the ability of five LLM-based systems in answering 50 clinical questions and had nine independent physicians review the responses for relevance, reliability, and actionability. As it stands, general-purpose LLMs (ChatGPT-4, Claude 3 Opus, Gemini Pro 1.5) rarely produced answers that were deemed relevant and evidence-based (2% - 10%). In contrast, retrieval augmented generation (RAG)-based and agentic LLM systems produced relevant and evidence-based answers for 24% (OpenEvidence) to 58% (ChatRWD) of questions. Only the agentic ChatRWD was able to answer novel questions compared to other LLMs (65% vs. 0-9%). These results suggest that while general-purpose LLMs should not be used as-is, a purpose-built system for evidence summarization based on RAG and one for generating novel evidence working synergistically would improve availability of pertinent evidence for patient care. | 翻訳日:2024-07-04 02:36:46 公開日:2024-06-29 |
| # TFD形式論の枠組みにおける正則ブラックホールの探索
Exploring regular black holes within the framework of the TFD formalism ( http://arxiv.org/abs/2407.00547v1 ) ライセンス: Link先を確認 | Jhonny A. A. Ruiz, A. F. Santos, | (参考訳) 本稿では,重力に非最小結合した大規模スカラー場について考察する。
正則で球面対称な背景、特に正則なブラックホール溶液を仮定すると、エネルギー-運動量テンソルが計算される。
The Thermo Field Dynamics (TFD) formalism and its topological structure, the corresponding Stefan-Boltzmann law and Casimir effect。
通常のブラックホールの結果はシュワルツシルトブラックホールの結果と比較される。
In this paper, a massive scalar field non-minimally coupled with gravity is considered. Assuming a regular and spherically symmetric background, specifically a regular black hole solution, the energy-momentum tensor is calculated. Using the Thermo Field Dynamics (TFD) formalism and its topological structure, the corresponding Stefan-Boltzmann law and Casimir effect are investigated. The results for the regular black hole are compared with those obtained for the Schwarzschild black hole. | 翻訳日:2024-07-04 02:36:46 公開日:2024-06-29 |
| # 非干渉系からの干渉力学因果関係の解読
Deciphering interventional dynamical causality from non-intervention systems ( http://arxiv.org/abs/2407.01621v1 ) ライセンス: Link先を確認 | Jifan Shi, Yang Li, Juan Zhao, Siyang Leng, Kazuyuki Aihara, Luonan Chen, Wei Lin, | (参考訳) 因果性の検出と定量化は、科学、工学、学際研究の分野において焦点となるトピックである。
しかしながら、非干渉システムに関する因果的研究は、多くの注目を集めているが、非常に難しいままである。
この課題に対処するために、そのような非干渉システムに対するインターベンショナル・ダイナミック・コーサリティ(Interventional Dynamical Causality, IntDC)というフレームワークと、その計算基準であるインターベンショナル・エントロピー(Interventional Embedding Entropy, IEE)を提案する。
IEE基準は理論的に数値的に、動的モデルや考慮されたシステムにおける実際の介入の知識を必要とせず、観測的な(非干渉的な)時系列データのみからIntDCの解読を可能にする。
C. elegansの神経コネクトーム,日本の新型コロナウイルス感染ネットワーク,および主要な概日遺伝子を取り巻く規制ネットワークなど,ベンチマークシミュレーションシステムおよび実世界のシステム上でのIEEの精度と堅牢性を示した。
Detecting and quantifying causality is a focal topic in the fields of science, engineering, and interdisciplinary studies. However, causal studies on non-intervention systems attract much attention but remain extremely challenging. To address this challenge, we propose a framework named Interventional Dynamical Causality (IntDC) for such non-intervention systems, along with its computational criterion, Interventional Embedding Entropy (IEE), to quantify causality. The IEE criterion theoretically and numerically enables the deciphering of IntDC solely from observational (non-interventional) time-series data, without requiring any knowledge of dynamical models or real interventions in the considered system. Demonstrations of performance showed the accuracy and robustness of IEE on benchmark simulated systems as well as real-world systems, including the neural connectomes of C. elegans, COVID-19 transmission networks in Japan, and regulatory networks surrounding key circadian genes. | 翻訳日:2024-07-03 20:02:00 公開日:2024-06-29 |
| # 時系列予測における予測遅延の対応:導出正規化を用いた連続GRUアプローチ
Addressing Prediction Delays in Time Series Forecasting: A Continuous GRU Approach with Derivative Regularization ( http://arxiv.org/abs/2407.01622v1 ) ライセンス: Link先を確認 | Sheo Yon Jhin, Seojin Kim, Noseong Park, | (参考訳) 時系列予測は、経済分析、気象学など、様々な分野において重要な分野である。
時系列予測モデルの大多数は平均二乗誤差(MSE)を用いて訓練される。
しかし、このMSEに基づくトレーニングは予測遅延と呼ばれる制限を引き起こす。
予測の遅れは、その予測に先立って、様々な分野、例えば金融や天気予報といった深刻な問題を引き起こす可能性があることを示唆している。
本稿では,従来の時系列予測タスクに対する新たな視点を提案し,予測遅延を軽減するための新しいソリューションを提案する。
本稿では,ニューラル常微分方程式(NODE)に基づく連続時間ゲートリカレントユニット(GRU)を導入する。
我々は、GRUアーキテクチャを連続的に一般化し、時間微分正則化による予測遅延を最小限にする。
提案手法は, MSE, Dynamic Time Warping (DTW) や Time Distortion Index (TDI) などの指標より優れている。
さらに,様々なデータセットにおいて,提案手法の予測遅延の低さを実証した。
Time series forecasting has been an essential field in many different application areas, including economic analysis, meteorology, and so forth. The majority of time series forecasting models are trained using the mean squared error (MSE). However, this training based on MSE causes a limitation known as prediction delay. The prediction delay, which implies the ground-truth precedes the prediction, can cause serious problems in a variety of fields, e.g., finance and weather forecasting -- as a matter of fact, predictions succeeding ground-truth observations are not practically meaningful although their MSEs can be low. This paper proposes a new perspective on traditional time series forecasting tasks and introduces a new solution to mitigate the prediction delay. We introduce a continuous-time gated recurrent unit (GRU) based on the neural ordinary differential equation (NODE) which can supervise explicit time-derivatives. We generalize the GRU architecture in a continuous-time manner and minimize the prediction delay through our time-derivative regularization. Our method outperforms in metrics such as MSE, Dynamic Time Warping (DTW) and Time Distortion Index (TDI). In addition, we demonstrate the low prediction delay of our method in a variety of datasets. | 翻訳日:2024-07-03 20:02:00 公開日:2024-06-29 |
| # 分布回帰アルゴリズムを組み合わせた衛星降水空間予測の不確かさ推定
Uncertainty estimation in satellite precipitation spatial prediction by combining distributional regression algorithms ( http://arxiv.org/abs/2407.01623v1 ) ライセンス: Link先を確認 | Georgia Papacharalampous, Hristos Tyralis, Nikolaos Doulamis, Anastasios Doulamis, | (参考訳) 効率的な意思決定を容易にするため、グリッド化された衛星降水生成物には不確実性推定を含めるべきである。
このような推定を行うために機械学習が提案されている。
しかし、この目的のために既存のアルゴリズムのほとんどは量子レグレッションに依存している。
分布回帰は、断続性をモデル化する能力や、極度の降水を予測するために重要なトレーニングデータを超えて外挿する能力など、量子レグレッションよりも明確な利点を提供する。
本研究では,データマージによって降水データセットを作成するエンジニアリングタスクに対して,分散回帰の概念を導入する。
この概念に基づいて,空間予測だけでなく,一般の予測問題にも有用な新しいアンサンブル学習手法を提案する。
これらの手法は, 位置, スケール, 形状(GAMLSS), スプラインベースGAMLSS, 分布回帰林, およびアンサンブル(量子回帰に基づくスタッキング, 等重平均化)の一般付加モデルを用いて推定した条件付きゼロ調整確率分布を利用する。
特定の問題に対して最も効果的な方法を特定するため、大規模なマルチソース降水データセットを用いてベンチマークと比較した。
スタックは最も成功した戦略として登場した。
3つの具体的な積み重ね手法は、量子レベルによって異なるが、量子スコアリングルールに基づいて最高の性能を達成した。
これは、タスク固有の複数のアルゴリズムの組み合わせが大きな利点をもたらすことを示唆している。
To facilitate effective decision-making, gridded satellite precipitation products should include uncertainty estimates. Machine learning has been proposed for issuing such estimates. However, most existing algorithms for this purpose rely on quantile regression. Distributional regression offers distinct advantages over quantile regression, including the ability to model intermittency as well as a stronger ability to extrapolate beyond the training data, which is critical for predicting extreme precipitation. In this work, we introduce the concept of distributional regression for the engineering task of creating precipitation datasets through data merging. Building upon this concept, we propose new ensemble learning methods that can be valuable not only for spatial prediction but also for prediction problems in general. These methods exploit conditional zero-adjusted probability distributions estimated with generalized additive models for location, scale, and shape (GAMLSS), spline-based GAMLSS and distributional regression forests as well as their ensembles (stacking based on quantile regression, and equal-weight averaging). To identify the most effective methods for our specific problem, we compared them to benchmarks using a large, multi-source precipitation dataset. Stacking emerged as the most successful strategy. Three specific stacking methods achieved the best performance based on the quantile scoring rule, although the ranking of these methods varied across quantile levels. This suggests that a task-specific combination of multiple algorithms could yield significant benefits. | 翻訳日:2024-07-03 20:02:00 公開日:2024-06-29 |
| # オフラインモデルに基づく最適化のための拡散モデルを用いた誘導軌道生成
Guided Trajectory Generation with Diffusion Models for Offline Model-based Optimization ( http://arxiv.org/abs/2407.01624v1 ) ライセンス: Link先を確認 | Taeyoung Yun, Sujin Yun, Jaewoo Lee, Jinkyoo Park, | (参考訳) 複雑で高次元のブラックボックス関数の最適化は、科学や工学の分野では至るところで行われている。
残念ながら、これらの機能のオンライン評価は、ほとんどの場合、時間と安全性の制約により制限されている。
オフラインモデルベース最適化(MBO)では,既存のオフラインデータセットのみを用いてターゲット関数を最大化する設計を提案する。
従来の手法では、この問題に対処するための前方あるいは逆のアプローチが検討されていたが、これらのアプローチは保守主義と高度マルチモーダルマッピングの学習の難しさによって制限されている。
最近、オフラインデータセットから構築された合成軌跡によるソリューション改善のための学習パラダイムが生まれている。
本稿では,高速領域への軌道生成のための条件付き生成モデルを提案する。
まず,一貫した改善方向の局所性バイアスを注入しながら,データセットを用いて高階領域への合成軌道を構築する。
そして,条件拡散モデルを訓練し,それらのスコアに条件付き軌跡を生成する。
最後に、トレーニングされたモデルから複数のトラジェクトリをサンプリングし、データセットを超えて高次の領域を探索し、プロキシ関数で生成されたトラジェクトリの中から高忠実度設計を選択する。
大規模な実験結果から,本手法はデザイン・ベンチとその実用的バリエーションの競争ベースラインよりも優れていることが示された。
コードは texttt{https://github.com/dbsxodud-11/GTG} で公開されている。
Optimizing complex and high-dimensional black-box functions is ubiquitous in science and engineering fields. Unfortunately, the online evaluation of these functions is restricted due to time and safety constraints in most cases. In offline model-based optimization (MBO), we aim to find a design that maximizes the target function using only a pre-existing offline dataset. While prior methods consider forward or inverse approaches to address the problem, these approaches are limited by conservatism and the difficulty of learning highly multi-modal mappings. Recently, there has been an emerging paradigm of learning to improve solutions with synthetic trajectories constructed from the offline dataset. In this paper, we introduce a novel conditional generative modeling approach to produce trajectories toward high-scoring regions. First, we construct synthetic trajectories toward high-scoring regions using the dataset while injecting locality bias for consistent improvement directions. Then, we train a conditional diffusion model to generate trajectories conditioned on their scores. Lastly, we sample multiple trajectories from the trained model with guidance to explore high-scoring regions beyond the dataset and select high-fidelity designs among generated trajectories with the proxy function. Extensive experiment results demonstrate that our method outperforms competitive baselines on Design-Bench and its practical variants. The code is publicly available in \texttt{https://github.com/dbsxodud-11/GTG}. | 翻訳日:2024-07-03 20:02:00 公開日:2024-06-29 |
| # SPARKLE: 直接KG統合によるSPARQL生成の高速化
SPARKLE: Enhancing SPARQL Generation with Direct KG Integration in Decoding ( http://arxiv.org/abs/2407.01626v1 ) ライセンス: Link先を確認 | Jaebok Lee, Hyeonjeong Shin, | (参考訳) 既存のKBQAメソッドは、従来、エンティティリンク、サブグラフ検索、クエリ構造生成といったタスクを含む、多段階の方法論に依存してきた。
しかし、マルチステージアプローチは先行ステップの精度に依存するため、カスケードエラーや推論時間の増加につながる。
エンド・ツー・エンド・モデルの使用を調査する研究はいくつかあるが、精度が低下し、基礎となるデータではサポートされない不正なクエリを生成することが多い。
さらに、これまでのほとんどのアプローチは静的なトレーニングデータに限られており、時間とともに知識基盤の進化する性質を見落としている可能性がある。
これらの課題に対処するため、SPARQLフレームワークであるSPARKLEに、新しいエンドツーエンド自然言語を提示する。
特に、SPARKLEは、デコーディング中に知識ベースの構造を直接活用し、クエリ生成に知識を効果的に統合する。
本研究では,推論中の知識ベースを参照するだけで,実行不可能なクエリ生成の発生を著しく減少させることを示す。
SPARKLEはSimpleQuestions-Wikiの新たな最先端結果とLCQuAD 1.0の最高スコア(金のエンティティを使用しないモデルも含む)を達成し、WebQSPデータセットではわずかに低い結果を得る。
最後に,SPARKLEの高速推論速度と,学習段階と推論段階の知識ベースが異なる場合の適応能力を示す。
Existing KBQA methods have traditionally relied on multi-stage methodologies, involving tasks such as entity linking, subgraph retrieval and query structure generation. However, multi-stage approaches are dependent on the accuracy of preceding steps, leading to cascading errors and increased inference time. Although a few studies have explored the use of end-to-end models, they often suffer from lower accuracy and generate inoperative query that is not supported by the underlying data. Furthermore, most prior approaches are limited to the static training data, potentially overlooking the evolving nature of knowledge bases over time. To address these challenges, we present a novel end-to-end natural language to SPARQL framework, SPARKLE. Notably SPARKLE leverages the structure of knowledge base directly during the decoding, effectively integrating knowledge into the query generation. Our study reveals that simply referencing knowledge base during inference significantly reduces the occurrence of inexecutable query generations. SPARKLE achieves new state-of-the-art results on SimpleQuestions-Wiki and highest F1 score on LCQuAD 1.0 (among models not using gold entities), while getting slightly lower result on the WebQSP dataset. Finally, we demonstrate SPARKLE's fast inference speed and its ability to adapt when the knowledge base differs between the training and inference stages. | 翻訳日:2024-07-03 20:02:00 公開日:2024-06-29 |
| # AIベースの推薦者が人間の行動に与える影響に関する調査--方法論,成果,今後の方向性
A survey on the impact of AI-based recommenders on human behaviours: methodologies, outcomes and future directions ( http://arxiv.org/abs/2407.01630v1 ) ライセンス: Link先を確認 | Luca Pappalardo, Emanuele Ferragina, Salvatore Citraro, Giuliano Cornacchia, Mirco Nanni, Giulio Rossetti, Gizem Gezici, Fosca Giannotti, Margherita Lalli, Daniele Gambetta, Giovanni Mauro, Virginia Morini, Valentina Pansanella, Dino Pedreschi, | (参考訳) リコメンデーションシステムとアシスタント(略してレコメンデーション)は、オンラインプラットフォームにおいてユビキタスであり、私たちの日々の生活のほとんどに影響を与え、アイテムを提案したり、ユーザの好みや要求に基づいたソリューションを提供したりします。
この調査は、ソーシャルメディア、オンライン小売、都市マッピング、生成AIエコシステムという、4つの人間-AIエコシステムにおけるレコメンデーターの影響を分析します。
その対象は、方法論と結果の分類に使用される用語が断片化され、体系化されていない、急速に成長する分野を体系化することである。
定性的な体系的レビューの慣習的なステップに従い、異なる分野から144の論文を集め、その分類学の方法論(経験、シミュレーション、観察、制御)、観察された結果(集中、モデル崩壊、多様性、エコーチャンバー、フィルタバブル、不平等、偏光化、急激化、体積)、そしてそれらの分析レベル(個人、アイテム、モデル、システム)を開発する。
我々は,本調査のすべての知見を体系的に体系的に検討し,今後の研究への可能性も強調した。
この調査は、異なるAIエコシステムに関心のある学者や実践者、リコメンダの計測可能な成果をよりよく理解したい政策立案者や機関利害関係者、そしてレコメンダのインパクトを体系的に把握したい技術系企業を対象としている。
Recommendation systems and assistants (in short, recommenders) are ubiquitous in online platforms and influence most actions of our day-to-day lives, suggesting items or providing solutions based on users' preferences or requests. This survey analyses the impact of recommenders in four human-AI ecosystems: social media, online retail, urban mapping and generative AI ecosystems. Its scope is to systematise a fast-growing field in which terminologies employed to classify methodologies and outcomes are fragmented and unsystematic. We follow the customary steps of qualitative systematic review, gathering 144 articles from different disciplines to develop a parsimonious taxonomy of: methodologies employed (empirical, simulation, observational, controlled), outcomes observed (concentration, model collapse, diversity, echo chamber, filter bubble, inequality, polarisation, radicalisation, volume), and their level of analysis (individual, item, model, and systemic). We systematically discuss all findings of our survey substantively and methodologically, highlighting also potential avenues for future research. This survey is addressed to scholars and practitioners interested in different human-AI ecosystems, policymakers and institutional stakeholders who want to understand better the measurable outcomes of recommenders, and tech companies who wish to obtain a systematic view of the impact of their recommenders. | 翻訳日:2024-07-03 20:02:00 公開日:2024-06-29 |
| # 量子計測結果の射影率と値再現性
Intersubjectivity and value reproducibility of outcomes of quantum measurements ( http://arxiv.org/abs/1911.10893v5 ) ライセンス: Link先を確認 | Masanao Ozawa, | (参考訳) それぞれの測定は結果として1つの値を決定するが、量子力学は確率的にのみ予測する。
コチェン=スペクターの定理とベルの不等式は、現実主義的見解を否定すると考えられているが、観測可能度を測定することは、それが持つ価値を確かめることではなく、個人的意味を持つ結果を生み出すことを意味するという懐疑的な見解を好む。
しかし、この見解を裏付ける正確な分析は分かっていない。
ここでは、量子力学的解析がこの見解を下方修正することを示す。
2人の観測者が同時に同じ観測可能度を測ると、それらが常に同じ結果が得られるのか、確率分布が同じであるのか、という疑問が浮き彫りになるが、結果は無関係である。
第2の見解を広く支持するのとは対照的に、量子力学は第1のケースのみが起こると予測する。
さらに,観測可能な観測値と測定後の測定値との間に時間的な絡み合いが成立し,異なる観測値間の空間的な絡み合いが生じることを示す。
また、我々の結論はいわゆる「一般化された」可観測物の測定にまで拡張できないことを示し、量子力学の基礎における可観測物の概念を再考する必要性を示唆している。
Every measurement determines a single value as its outcome, and yet quantum mechanics predicts it only probabilistically. The Kochen-Specker theorem and Bell's inequality are often considered to reject a realist view but favor a skeptical view that measuring an observable does not mean ascertaining the value that it has, but producing the outcome, having only a personal meaning. However, precise analysis supporting this view is unknown. Here, we show that a quantum mechanical analysis turns down this view. Supposing that two observers simultaneously measure the same observable, we can well pose the question as to whether they always obtain the same outcome, or whether the probability distributions are the same, but the outcomes are uncorrelated. Contrary to the widespread view in favor of the second, we shall show that quantum mechanics predicts that only the first case occurs. We further show that any measurement establishes a time-like entanglement between the observable to be measured and the meter after the measurement, which causes the space-like entanglement between the meters of different observers. We also show that our conclusion cannot be extended to measurements of so-called `generalized' observables, suggesting a demand for reconsidering the notion of observables in foundations of quantum mechanics. | 翻訳日:2024-07-02 18:47:18 公開日:2024-06-29 |
| # 分割レストスクエア
Partitioned Least Squares ( http://arxiv.org/abs/2006.16202v2 ) ライセンス: Link先を確認 | Roberto Esposito, Mattia Cerrato, Marco Locatelli, | (参考訳) 本稿では, 線形最小二乗モデルの変種として, 実験者が入力特徴を変数群に分割し, 最終的な結果に類似して寄与することを提案する。
アウトプットにより、実践者はグループ内の各グループと各変数の重要性を評価することができる。
我々は,新たな定式化が凸性ではなく,最小二乗法に基づく非コンパクト法と,最小値が最適解であることが保証された指数関数数を用いた問題の修正に基づく厳密な方法の2つの方法を提案する。
正確な方法の正しさを正式に示し、また、正解が最小二乗解の交互に必要となる時間(分割数が小さいと仮定した場合)により良い結果をもたらすことを示す2つの解を比較する。
完全性のために,分割数が大きすぎる場合の正確な方法の代わりに,代替分岐と有界アルゴリズムも提供し,本論文で導入した最適化問題のNP完全性の証明を行う。
In this paper we propose a variant of the linear least squares model allowing practitioners to partition the input features into groups of variables that they require to contribute similarly to the final result. The output allows practitioners to assess the importance of each group and of each variable in the group. We formally show that the new formulation is not convex and provide two alternative methods to deal with the problem: one non-exact method based on an alternating least squares approach; and one exact method based on a reformulation of the problem using an exponential number of sub-problems whose minimum is guaranteed to be the optimal solution. We formally show the correctness of the exact method and also compare the two solutions showing that the exact solution provides better results in a fraction of the time required by the alternating least squares solution (assuming that the number of partitions is small). For the sake of completeness, we also provide an alternative branch and bound algorithm that can be used in place of the exact method when the number of partitions is too large, and a proof of NP-completeness of the optimization problem introduced in this paper. | 翻訳日:2024-07-02 18:47:18 公開日:2024-06-29 |
| # 雑音量子コンピュータの性能向上
Efficiently improving the performance of noisy quantum computers ( http://arxiv.org/abs/2201.10672v4 ) ライセンス: Link先を確認 | Samuele Ferracin, Akel Hashim, Jean-Loup Ville, Ravi Naik, Arnaud Carignan-Dugas, Hammam Qassim, Alexis Morvan, David I. Santiago, Irfan Siddiqi, Joel J. Wallman, | (参考訳) 量子優位性を達成するために短期量子コンピュータを使用するには、現在利用可能なノイズの多い量子デバイスの性能を改善するための効率的な戦略が必要である。
我々は、ゲートのノイズサイクルからなる量子回路の性能を大幅に向上させる「ノイズレス出力補間」と「パウリエラーキャンセラ」という2つの効率的なエラー軽減プロトコルを開発し、実験的に検証する。
確率的誤差キャンセルや雑音増幅などの一般的な緩和手法と効率的なノイズ再構成手法を組み合わせることで,非局所的およびゲート依存プロセスを含む既存の緩和プロトコルの前提を満たさない幅広いノイズ処理を緩和することができる。
我々は、Advanced Quantum Testbedの4ビット超伝導プロセッサ上で、我々のプロトコルをテストする。
構成回路とランダム回路の両方の性能が大幅に改善され、未緩和出力よりも最大8,6\%の変動距離が向上する。
本実験は,現行ハードウェアプラットフォームにおけるプロトコルの有効性と実用性を実証するものである。
Using near-term quantum computers to achieve a quantum advantage requires efficient strategies to improve the performance of the noisy quantum devices presently available. We develop and experimentally validate two efficient error mitigation protocols named "Noiseless Output Extrapolation" and "Pauli Error Cancellation" that can drastically enhance the performance of quantum circuits composed of noisy cycles of gates. By combining popular mitigation strategies such as probabilistic error cancellation and noise amplification with efficient noise reconstruction methods, our protocols can mitigate a wide range of noise processes that do not satisfy the assumptions underlying existing mitigation protocols, including non-local and gate-dependent processes. We test our protocols on a four-qubit superconducting processor at the Advanced Quantum Testbed. We observe significant improvements in the performance of both structured and random circuits, with up to $86\%$ improvement in variation distance over the unmitigated outputs. Our experiments demonstrate the effectiveness of our protocols, as well as their practicality for current hardware platforms. | 翻訳日:2024-07-02 18:47:18 公開日:2024-06-29 |
| # カテゴリー別再パラメータ化トリックによる後方翻訳のエンドツーエンドトレーニング
End-to-End Training for Back-Translation with Categorical Reparameterization Trick ( http://arxiv.org/abs/2202.08465v4 ) ライセンス: Link先を確認 | DongNyeong Heo, Heeyoul Choi, | (参考訳) Back-translation(BT)は、ニューラルネットワーク翻訳(NMT)における効果的な半教師付き学習フレームワークである。
事前学習されたNMTモデルは単言語文を翻訳し、他のNMTモデルのトレーニングのための合成バイリンガル文ペアを作る。
2つのNMTモデルを推論モデルと生成モデルとして理解し, 生成モデルの主流フレームワークである変分オートエンコーダ(VAE)のトレーニング手法を適用した。
しかし、翻訳文の離散性は、勾配情報が2つのNMTモデル間で流れるのを防ぐ。
本稿では,NMTモデルが識別可能な文を生成し,VAEのトレーニングフレームワークがエンドツーエンドで動作できるように,分類的パラメータ化トリック(CRT)を提案する。
WMTベンチマークで実施したBT実験は,分類変数の再パラメータ化手法であるGumbel-softmax法と比較して,提案したCRTの優位性を示す。
さらに、複数のWMTベンチマークデータセットを用いて行った実験により、提案したエンドツーエンドトレーニングフレームワークがBLEUスコアの点で有効であることを示す。
コードはWebで入手できる。
Back-translation (BT) is an effective semi-supervised learning framework in neural machine translation (NMT). A pre-trained NMT model translates monolingual sentences and makes synthetic bilingual sentence pairs for the training of the other NMT model, and vice versa. Understanding the two NMT models as inference and generation models, respectively, the training method of variational auto-encoder (VAE) was applied in previous works, which is a mainstream framework of generative models. However, the discrete property of translated sentences prevents gradient information from flowing between the two NMT models. In this paper, we propose the categorical reparameterization trick (CRT) that makes NMT models generate differentiable sentences so that the VAE's training framework can work in an end-to-end fashion. Our BT experiment conducted on a WMT benchmark dataset demonstrates the superiority of our proposed CRT compared to the Gumbel-softmax trick, which is a popular reparameterization method for categorical variable. Moreover, our experiments conducted on multiple WMT benchmark datasets demonstrate that our proposed end-to-end training framework is effective in terms of BLEU scores not only compared to its counterpart baseline which is not trained in an end-to-end fashion, but also compared to other previous BT works. The code is available at the web. | 翻訳日:2024-07-02 18:47:18 公開日:2024-06-29 |
| # 2段階コントラスト学習による単語翻訳の改善
Improving Word Translation via Two-Stage Contrastive Learning ( http://arxiv.org/abs/2203.08307v4 ) ライセンス: Link先を確認 | Yaoyiran Li, Fangyu Liu, Nigel Collier, Anna Korhonen, Ivan Vulić, | (参考訳) 単語翻訳またはバイリンガル語彙誘導(BLI)は、異なる言語間の語彙的ギャップを埋めることを目的とした重要な言語間タスクである。
本研究では,BLIタスクのための頑健で効果的な2段階のコントラスト学習フレームワークを提案する。
ステージC1では,静的単語埋め込み(WEs)間の標準言語間線形写像を対照的な学習目的により改良することを提案する。
ステージC2では、BLI指向のmBERTのコントラスト微調整を行い、単語翻訳能力を解放する。
また, 'C2-tuned' mBERT から誘導される静的 WE がStage C1 から得られる静的 WE を補完することを示す。
多様な言語のための標準BLIデータセットと異なる実験環境に関する総合的な実験は、我々のフレームワークによって実現された大きな成果を示している。
今回の比較では,Stage C1のBLIメソッドは,すべての最先端のBLIメソッドに対して,すでに大幅に向上していますが,さらに強力な改善は,フル2ステージフレームワークで達成されています。
Word translation or bilingual lexicon induction (BLI) is a key cross-lingual task, aiming to bridge the lexical gap between different languages. In this work, we propose a robust and effective two-stage contrastive learning framework for the BLI task. At Stage C1, we propose to refine standard cross-lingual linear maps between static word embeddings (WEs) via a contrastive learning objective; we also show how to integrate it into the self-learning procedure for even more refined cross-lingual maps. In Stage C2, we conduct BLI-oriented contrastive fine-tuning of mBERT, unlocking its word translation capability. We also show that static WEs induced from the `C2-tuned' mBERT complement static WEs from Stage C1. Comprehensive experiments on standard BLI datasets for diverse languages and different experimental setups demonstrate substantial gains achieved by our framework. While the BLI method from Stage C1 already yields substantial gains over all state-of-the-art BLI methods in our comparison, even stronger improvements are met with the full two-stage framework: e.g., we report gains for 112/112 BLI setups, spanning 28 language pairs. | 翻訳日:2024-07-02 18:47:18 公開日:2024-06-29 |
| # ユニット・コミット・エコノミクスの改善に向けて--再生可能エネルギー・リザーブ・予測のためのアドオン・タイラー (特集 ユニット・コミット・エコノミクス)
Towards Improving Unit Commitment Economics: An Add-On Tailor for Renewable Energy and Reserve Predictions ( http://arxiv.org/abs/2208.13065v3 ) ライセンス: Link先を確認 | Xianbang Chen, Yikui Liu, Lei Wu, | (参考訳) 一般的に、日頭単位コミットメント(UC)は、予測を最適化するプロセスで行われ、再生可能エネルギー源(RES)の可用性とシステム予備要件の予測から始まり、その予測に基づいて、UCモデルを最適化して経済活動計画を決定する。
実際、プロセス内の予測は生です。
言い換えれば、もしこの予測が、レゾリューションとリザーブ要件の実現に対する経済活動計画の策定を支援するようにさらに調整されているなら、UC経済は大きな利益をもたらすだろう。
そこで本稿では,予測列最適化プロセスのアドオンとして展開されたUCのRES保存予測のコスト指向の調整手法を提案する。
RES-and-Reserveテーラーは、2レベル混合整数プログラミングモデルの解法により訓練される:上層は、誘導操作コストに基づいてテーラーを訓練し、下層は、調整された予測を付与し、システム操作プロセスを模倣し、誘導動作コストを上層にフィードバックし、最後に、上層は、フィードバックコストに応じてトレーニング品質を評価する。
このトレーニングを通じて、小売業者は生の予測をコスト指向の予測にカスタマイズすることを学ぶ。
さらに、このテーラーを既存の予測最適化プロセスにアドオンとして組み込むことで、UC経済を改善できる。
最後に、提案手法は、従来の二項緩和、ニューラルネットワークベース、確率的、ロバストな手法と比較される。
Generally, day-ahead unit commitment (UC) is conducted in a predict-then-optimize process: it starts by predicting the renewable energy source (RES) availability and system reserve requirements; given the predictions, the UC model is then optimized to determine the economic operation plans. In fact, predictions within the process are raw. In other words, if the predictions are further tailored to assist UC in making the economic operation plans against realizations of the RES and reserve requirements, UC economics will benefit significantly. To this end, this paper presents a cost-oriented tailor of RES-and-reserve predictions for UC, deployed as an add-on to the predict-then-optimize process. The RES-and-reserve tailor is trained by solving a bi-level mixed-integer programming model: the upper level trains the tailor based on its induced operating cost; the lower level, given tailored predictions, mimics the system operation process and feeds the induced operating cost back to the upper level; finally, the upper level evaluates the training quality according to the fed-back cost. Through this training, the tailor learns to customize the raw predictions into cost-oriented predictions. Moreover, the tailor can be embedded into the existing predict-then-optimize process as an add-on, improving the UC economics. Lastly, the presented method is compared to traditional, binary-relaxation, neural network-based, stochastic, and robust methods. | 翻訳日:2024-07-02 18:41:09 公開日:2024-06-29 |
| # メタラーニングによる記号モデル非依存損失関数の学習
Learning Symbolic Model-Agnostic Loss Functions via Meta-Learning ( http://arxiv.org/abs/2209.08907v3 ) ライセンス: Link先を確認 | Christian Raymond, Qi Chen, Bing Xue, Mengjie Zhang, | (参考訳) 本稿では,学習したモデルの性能を著しく向上する損失関数の学習を目的とした,損失関数学習の話題を新たに展開する。
具体的には,ハイブリッド型ニューロシンボリックサーチ手法を用いて,モデルに依存しない損失関数を学習するためのメタラーニングフレームワークを提案する。
このフレームワークはまず進化に基づく手法を用いて原始的な数学的操作の空間を探索し、記号的損失関数の集合を見つける。
次に、学習した損失関数のセットをパラメータ化し、エンドツーエンドの勾配に基づくトレーニング手順によって最適化する。
提案フレームワークの汎用性は,多種多様な教師付き学習課題に対して実証的に検証される。
提案手法により発見されたメタ学習損失関数は,多種多様なニューラルネットワークアーキテクチャやデータセット上でのクロスエントロピー損失と最先端の損失関数学習法の両方より優れていた。
In this paper, we develop upon the emerging topic of loss function learning, which aims to learn loss functions that significantly improve the performance of the models trained under them. Specifically, we propose a new meta-learning framework for learning model-agnostic loss functions via a hybrid neuro-symbolic search approach. The framework first uses evolution-based methods to search the space of primitive mathematical operations to find a set of symbolic loss functions. Second, the set of learned loss functions are subsequently parameterized and optimized via an end-to-end gradient-based training procedure. The versatility of the proposed framework is empirically validated on a diverse set of supervised learning tasks. Results show that the meta-learned loss functions discovered by the newly proposed method outperform both the cross-entropy loss and state-of-the-art loss function learning methods on a diverse range of neural network architectures and datasets. | 翻訳日:2024-07-02 18:41:09 公開日:2024-06-29 |
| # 包装・被覆制約を伴う文脈帯域:回帰によるモジュララグランジアンアプローチ
Contextual Bandits with Packing and Covering Constraints: A Modular Lagrangian Approach via Regression ( http://arxiv.org/abs/2211.07484v5 ) ライセンス: Link先を確認 | Aleksandrs Slivkins, Xingyu Zhou, Karthik Abinav Sankararaman, Dylan J. Foster, | (参考訳) 本稿では,線形制約付きコンテキスト帯域(CBwLC)について考察する。これは,アルゴリズムが全消費の線形制約を受ける複数のリソースを消費するコンテキスト帯域の変種である。
この問題はknapsacks (CBwK) を用いてコンテキスト的帯域幅を一般化し、制約のパッケージ化とカバー、および正および負のリソース消費を可能にする。
回帰オラクルに基づくCBwLC(CBwK)の最初のアルゴリズムを提案する。
このアルゴリズムは単純で、計算効率が良く、統計的に最適である。
さらに,確率的環境を超えたCBwLC(CBwK)について,初めて消滅・回復保証を行う。
我々は、比較するより弱い(そして間違いなくより公平な)ベンチマークを特定することで、事前の作業から強い不可視性の結果を横取りします。
我々のアルゴリズムは、CBwKのためのラグランジアンベースのテクニックであるLagrangeBwK(Immorlica et al , FOCS 2019)と、文脈的盗賊のための回帰ベースのテクニックであるSquareCB(Foster and Rakhlin, ICML 2020)に基づいて構築されている。
我々の分析は、両方の技術の本質的なモジュラリティを活用している。
We consider contextual bandits with linear constraints (CBwLC), a variant of contextual bandits in which the algorithm consumes multiple resources subject to linear constraints on total consumption. This problem generalizes contextual bandits with knapsacks (CBwK), allowing for packing and covering constraints, as well as positive and negative resource consumption. We provide the first algorithm for CBwLC (or CBwK) that is based on regression oracles. The algorithm is simple, computationally efficient, and statistically optimal under mild assumptions. Further, we provide the first vanishing-regret guarantees for CBwLC (or CBwK) that extend beyond the stochastic environment. We side-step strong impossibility results from prior work by identifying a weaker (and, arguably, fairer) benchmark to compare against. Our algorithm builds on LagrangeBwK (Immorlica et al., FOCS 2019), a Lagrangian-based technique for CBwK, and SquareCB (Foster and Rakhlin, ICML 2020), a regression-based technique for contextual bandits. Our analysis leverages the inherent modularity of both techniques. | 翻訳日:2024-07-02 18:41:09 公開日:2024-06-29 |
| # 無限次元作用素群の固有値とシンプレクティック固有値の順序関係
An Order Relation between Eigenvalues and Symplectic Eigenvalues of a Class of Infinite-Dimensional Operators ( http://arxiv.org/abs/2212.03900v3 ) ライセンス: Link先を確認 | Tiju Cherian John, V. B. Kiran Kumar, Anmary Tonny, | (参考訳) 本稿では,「無限次元シンプレクティックスペクトル論」の方向性に関するいくつかの結果を得る。
無限次元作用素の特殊クラスの固有値とシンプレクティック固有値の間の不等式を証明する。
T$ を、ある $\alpha > 0$ に対して $T - \alpha I$ がコンパクトであるような作用素とする。
注意:$\{{\lambda_j^R}^\downarrow(T)\}$、$T$の固有値の集合を$\alpha$の右辺に厳密に配置し、$\{{\lambda_j^L}^\uparrow(T)\}$を$T$の固有値の集合を$\alpha$の左辺に厳密に配置する。
さらに、${d_j^R}^\downarrow(T)\}$は$T$のシンプレクティック固有値の右辺が$\alpha$、${d_j^L}^\uparrow(T)\}$は$T$のシンプレクティック固有値の左辺が$\alpha$の右辺が$\alpha$であることを示す(この配置はシンプレクティック固有値の唯一の累積点が$\alpha$であることを示すことができる)。
次に、${d_j^R}^\downarrow(T) \leq {\lambda_j^R}^\downarrow(T) \quad j = 1,2, \cdots, s_r$$$および$$${\lambda_j^L}^\uparrow(T) \leq {d_j^L}^\uparrow(T) \quad j = 1,2, \cdots, s_l,$ ここで$s_r$と$s_l$はそれぞれ$Tのシンプレクティック固有値の数を表す。
これは Bhatia と Jain (J) によって得られる有限次元の結果を一般化する。
数学。
Phys
56, 112201 (2015)。
ガウス共分散作用素のクラス(GCO)と正の絶対ノルムの演算子((\mathcal{A}\mathcal{N})_+$演算子)は、我々が考慮する作用素の集合の特別な場合として現れる。
In this article, we obtain some results in the direction of ``infinite dimensional symplectic spectral theory". We prove an inequality between the eigenvalues and symplectic eigenvalues of a special class of infinite dimensional operators. Let $T$ be an operator such that $T - \alpha I$ is compact for some $\alpha > 0$. Denote by $\{{\lambda_j^R}^\downarrow(T)\}$, the set of eigenvalues of $T$ lying strictly to the right side of $\alpha$ arranged in the decreasing order and let $\{{\lambda_j^L}^\uparrow(T)\}$ denote the set of eigenvalues of $T$ lying strictly to the left side of $\alpha$ arranged in the increasing order. Furthermore, let $\{{d_j^R}^\downarrow(T)\}$ denote the symplectic eigenvalues of $T$ lying strictly to the right of $\alpha$ arranged in decreasing order and $\{{d_j^L}^\uparrow(T)\}$ denote the set of symplectic eigenvalues of $T$ lying strictly to the left of $\alpha$ arranged in increasing order, respectively (such an arrangement is possible as it will be shown that the only possible accumulation point for the symplectic eigenvalues is $\alpha$). Then we show that $${d_j^R}^\downarrow(T) \leq {\lambda_j^R}^\downarrow(T), \quad j = 1,2, \cdots, s_r$$ and $${\lambda_j^L}^\uparrow(T) \leq {d_j^L}^\uparrow(T), \quad j = 1,2, \cdots, s_l,$$ where $s_r$ and $s_l$ denote the number of symplectic eigenvalues of $T$ strictly to the right and left of $\alpha$, respectively. This generalizes a finite dimensional result obtained by Bhatia and Jain (J. Math. Phys. 56, 112201 (2015)). The class of Gaussian Covariance Operators (GCO) and positive Absolutely Norm attaining Operators ($(\mathcal{A}\mathcal{N})_+$ operators) appear as special cases of the set of operators we consider. | 翻訳日:2024-07-02 18:29:26 公開日:2024-06-29 |
| # 時間反転破壊材料におけるホール効果の非線形電磁応答
Nonlinear electromagnetic response for Hall effect in time-reversal breaking materials ( http://arxiv.org/abs/2302.02819v2 ) ライセンス: Link先を確認 | Anwei Zhang, Jun-Won Rhim, | (参考訳) 時間反転対称性を損なう物質はホール応答を持つことが知られている。
ここでは、従来の電流に加えて、平面内および垂直磁場に対する2次応答における時間反転破壊材料に新しいタイプの非線形ホール電流が生じることを示す。
このようなホール応答は電磁場の振動によって生成され、ベリー曲率とバンド速度に付随する新しい双極子から生じる量子起源を持つ。
このホール効果を検出するために,LaAlO3/LaNiO3/LaAlO3量子井戸の大規模ディラックモデルを用いることが実証された。
我々の研究は、新しい種類の非線形電磁応答を提案することによって、時間反転破壊材料におけるホール効果の理論を広げる。
It is known that materials with broken time-reversal symmetry can have Hall response. Here we show that in addition to the conventional currents, a new type of nonlinear Hall current can occur in the time-reversal breaking materials within the second-order response to in-plane electric and vertical magnetic fields. Such a Hall response is generated by the oscillation of the electromagnetic field and has a quantum origin arising from a novel dipole associated with the Berry curvature and band velocity. We demonstrate that the massive Dirac model of LaAlO3/LaNiO3/LaAlO3 quantum well can be used to detect this Hall effect. Our work widens the theory of the Hall effect in the time-reversal breaking materials by proposing a new kind of nonlinear electromagnetic response. | 翻訳日:2024-07-02 18:29:26 公開日:2024-06-29 |
| # 慣性測定装置を用いた車両振動からの学習位置
Learning Position From Vehicle Vibration Using an Inertial Measurement Unit ( http://arxiv.org/abs/2303.03942v2 ) ライセンス: Link先を確認 | Barak Or, Nimrod Segol, Areej Eweida, Maxim Freydin, | (参考訳) 本稿では,グローバルナビゲーション衛星システム(GNSS)に依存しない車両位置決め手法を提案する。
従来のGNSSアプローチは特定の環境での干渉に弱いため、都市キャニオンやフライオーバーや低受信エリアなどの状況では信頼性が低い。
本研究では,慣性計測ユニット(IMU)センサで得られた加速度計およびジャイロスコープ測定から道路信号の学習に基づく車両位置決め手法を提案する。
本手法では,道路面の微妙な変化に応答してIMUが車両の振動を検出できるという特徴を,各経路をセグメントに分割する。
この研究は、IMU測定から道路セグメントを学習するための2つの異なるデータ駆動手法を提示する。
1つの方法は畳み込みニューラルネットワークに基づくもので、もう1つは手作りの特徴に適用されたアンサンブルランダムフォレストに基づくものである。
さらに,学習道路セグメントを用いて車両の位置をリアルタイムで推定するアルゴリズムを提案する。
アプローチは2つの位置決めタスクに適用された。
(i)密集市街地の6[km]ルート沿いの車
(i)道路面と舗装面を組み合わせた1[km]経路上のeスクータ。
提案手法の位置と地上の真理との間の誤差は, 車両の約50[m], 電動スクーターの約30[m]であった。
IMU測定の時間積分に基づく解と比較して、提案手法はeスクータの5倍以上の誤差と自動車の20倍の誤差を持つ。
This paper presents a novel approach to vehicle positioning that operates without reliance on the global navigation satellite system (GNSS). Traditional GNSS approaches are vulnerable to interference in certain environments, rendering them unreliable in situations such as urban canyons, under flyovers, or in low reception areas. This study proposes a vehicle positioning method based on learning the road signature from accelerometer and gyroscope measurements obtained by an inertial measurement unit (IMU) sensor. In our approach, the route is divided into segments, each with a distinct signature that the IMU can detect through the vibrations of a vehicle in response to subtle changes in the road surface. The study presents two different data-driven methods for learning the road segment from IMU measurements. One method is based on convolutional neural networks and the other on ensemble random forest applied to handcrafted features. Additionally, the authors present an algorithm to deduce the position of a vehicle in real-time using the learned road segment. The approach was applied in two positioning tasks: (i) a car along a 6[km] route in a dense urban area; (ii) an e-scooter on a 1[km] route that combined road and pavement surfaces. The mean error between the proposed method's position and the ground truth was approximately 50[m] for the car and 30[m] for the e-scooter. Compared to a solution based on time integration of the IMU measurements, the proposed approach has a mean error of more than 5 times better for e-scooters and 20 times better for cars. | 翻訳日:2024-07-02 18:19:41 公開日:2024-06-29 |
| # OptBA: 医療用テキスト分類の改善のためのハチアルゴリズムによるハイパーパラメータの最適化
OptBA: Optimizing Hyperparameters with the Bees Algorithm for Improved Medical Text Classification ( http://arxiv.org/abs/2303.08021v3 ) ライセンス: Link先を確認 | Mai A. Shaaban, Mariam Kashkash, Maryam Alghfeli, Adham Ibrahim, | (参考訳) ディープラーニングの分野での大きな課題の1つは、最適なモデルハイパーパラメータを得ることである。
最適なハイパーパラメーターの探索は、通常、医療のような現実世界の問題に対する解決策の進歩を妨げる。
従来の解決法は提案されているが、それでも局所最適化では行き詰まることがある。
このハードルを克服するため,近年の有望な群知能アルゴリズムであるビーズアルゴリズムを利用して,ディープラーニングモデルのハイパーパラメータを自動的に微調整するOpsBAを提案する。
本稿では,初期ハイパーパラメータが特定の基準で反復的に調整される医療用テキストを用いて,病気の分類精度を最大化することを目的とする。
実験の結果,約1.4%の精度向上が認められた。
この結果は、ハイパーパラメータ最適化の重要な問題に対処する上で、提案するメカニズムの有効性と、医療の進歩的ソリューションに対する潜在的な影響を強調している。
コードは \url{https://github.com/Mai-CS/OptBA} で公開されている。
One of the main challenges in the field of deep learning is obtaining the optimal model hyperparameters. The search for optimal hyperparameters usually hinders the progress of solutions to real-world problems such as healthcare. Previous solutions have been proposed, but they can still get stuck in local optima. To overcome this hurdle, we propose OptBA to automatically fine-tune the hyperparameters of deep learning models by leveraging the Bees Algorithm, which is a recent promising swarm intelligence algorithm. In this paper, the optimization problem of OptBA is to maximize the accuracy in classifying ailments using medical text, where initial hyperparameters are iteratively adjusted by specific criteria. Experimental results demonstrate a noteworthy enhancement in accuracy with approximately 1.4%. This outcome highlights the effectiveness of the proposed mechanism in addressing the critical issue of hyperparameter optimization and its potential impact on advancing solutions for healthcare. The code is available publicly at \url{https://github.com/Mai-CS/OptBA}. | 翻訳日:2024-07-02 18:19:41 公開日:2024-06-29 |
| # コントラスト的特徴再構成を用いたプログレッシブ・プロンプト学習
Progressive Visual Prompt Learning with Contrastive Feature Re-formation ( http://arxiv.org/abs/2304.08386v2 ) ライセンス: Link先を確認 | Chen Xu, Yuhan Zhu, Haocheng Shen, Fengyuan Shi, Boheng Chen, Yixuan Liao, Xiaoxin Chen, Limin Wang, | (参考訳) プロンプト学習は、下流タスクに視覚言語(V-L)モデルを適用するための微調整の代替として設計されている。
以前の作品は主にテキストプロンプトに焦点を当て、視覚的プロンプトはV-Lモデルに限られていた。
既存の視覚的プロンプト法は、中途半端なパフォーマンスまたは不安定なトレーニングプロセスに耐え、視覚的プロンプト学習の難しさを示している。
本稿では,異なるレイヤのプロンプト間の相互作用を強化するために,プログレッシブ・ビジュアル・プロンプト(ProVP)構造を提案する。
さらに重要なことは、当社のProVPが画像の埋め込みを深層に効果的に伝播し、インスタンス適応的なプロンプトメソッドと部分的に似た振る舞いをすることです。
一般化の劣化を軽減するため,修正されたCLIP視覚特徴分布から引き起こされる視覚特徴の重大なずれを防止するために,新たなコントラスト的特徴再構成を提案する。
両手法を組み合わせることで,11の画像ベンチマークデータからProVP-Ref(ProVP-Ref)が評価され,少数撮影とベース・ツー・ノーベル設定の両方で7/11の最先端結果が得られる。
我々の知る限り、我々はV-Lモデルにおける視覚的プロンプトの、下流タスクにおける従来のプロンプトベースの手法よりも優れた性能を示す最初の人物である。
一方、私たちのProVP-Refは、適応し、一般化する最善の能力を示します。
Prompt learning has been designed as an alternative to fine-tuning for adapting Vision-language (V-L) models to the downstream tasks. Previous works mainly focus on text prompt while visual prompt works are limited for V-L models. The existing visual prompt methods endure either mediocre performance or unstable training process, indicating the difficulty of visual prompt learning. In this paper, we propose a new Progressive Visual Prompt (ProVP) structure to strengthen the interactions among prompts of different layers. More importantly, our ProVP could effectively propagate the image embeddings to deep layers and behave partially similar to an instance adaptive prompt method. To alleviate generalization deterioration, we further propose a new contrastive feature re-formation, which prevents the serious deviation of the prompted visual feature from the fixed CLIP visual feature distribution. Combining both, our method (ProVP-Ref) is evaluated on 11 image benchmark datasets and achieves 7/11 state-of-theart results on both few-shot and base-to-novel settings. To the best of our knowledge, we are the first to demonstrate the superior performance of visual prompts in V-L models to previous prompt-based methods in downstream tasks. Meanwhile, it implies that our ProVP-Ref shows the best capability to adapt and to generalize. | 翻訳日:2024-07-02 18:19:41 公開日:2024-06-29 |
| # ブラックボックスシステムの故障確率推定のためのベイズ安全検証
Bayesian Safety Validation for Failure Probability Estimation of Black-Box Systems ( http://arxiv.org/abs/2305.02449v2 ) ライセンス: Link先を確認 | Robert J. Moss, Mykel J. Kochenderfer, Maxime Gariel, Arthur Dubois, | (参考訳) 失敗の確率を推定することは、安全クリティカルなシステムの認証において重要なステップである。
高次元の入力空間、リスクの高いテストシナリオ、計算コストの高いシミュレータによって生じる課題のために、効率的な推定法が必要とされることが多い。
この研究は、ベイズ最適化問題としてブラックボックス安全性検証の問題を補足し、確率的代理モデルに反復的に適合して失敗を効率的に予測する手法を提案する。
このアルゴリズムは、障害を探索し、最もよく似た障害を計算し、重要サンプリングを用いてオペレーティングシステム上の障害確率を推定するように設計されている。
本稿では,設計空間を網羅して不確実性を低減し,解析的に導出された障害境界を最適化し,予測された障害領域をサンプリングする3つの獲得関数を提案する。
その結果、ベイズ安全検証アプローチは、サンプルの桁数を桁違いに減らして、より正確な失敗確率を推定し、様々な安全性検証指標でうまく機能することを示した。
本稿では,3つのテスト問題,確率的意思決定システム,ニューラルネットワークに基づく滑走路検出システムについて実演する。
この作業はオープンソースとして公開されている(https://github.com/sisl/BayesianSafetyValidation.jl)。
Estimating the probability of failure is an important step in the certification of safety-critical systems. Efficient estimation methods are often needed due to the challenges posed by high-dimensional input spaces, risky test scenarios, and computationally expensive simulators. This work frames the problem of black-box safety validation as a Bayesian optimization problem and introduces a method that iteratively fits a probabilistic surrogate model to efficiently predict failures. The algorithm is designed to search for failures, compute the most-likely failure, and estimate the failure probability over an operating domain using importance sampling. We introduce three acquisition functions that aim to reduce uncertainty by covering the design space, optimize the analytically derived failure boundaries, and sample the predicted failure regions. Results show this Bayesian safety validation approach provides a more accurate estimate of failure probability with orders of magnitude fewer samples and performs well across various safety validation metrics. We demonstrate this approach on three test problems, a stochastic decision making system, and a neural network-based runway detection system. This work is open sourced (https://github.com/sisl/BayesianSafetyValidation.jl) and currently being used to supplement the FAA certification process of the machine learning components for an autonomous cargo aircraft. | 翻訳日:2024-07-02 18:19:41 公開日:2024-06-29 |
| # 協力の機械心理学:GPTモデルは、経済ゲームにおける利他主義、協力、競争性、利己性を促進することができるか?
The Machine Psychology of Cooperation: Can GPT models operationalise prompts for altruism, cooperation, competitiveness and selfishness in economic games? ( http://arxiv.org/abs/2305.07970v2 ) ライセンス: Link先を確認 | Steve Phelps, Yvan I. Russell, | (参考訳) GPT-3.5大言語モデル(LLM)の2つの社会的ジレンマにおいて,協調的,競争的,利他的,利他的,利他的行動の自然言語記述を運用する能力について検討した。
そこで本研究では,被験者を対象とした実験心理学研究と同じようなプロトコルを用いて,課題環境を記述するためのプロンプトを用いた。
我々は,協力的,競争的な姿勢の異なる模擬ペルソナを作成するために,我々のプロンプトの一部を操作することで,我々の研究課題を検証した。
次に,各社会ジレンマにおけるシミュラクラスの協力レベルを評価し,異なるパートナー条件の影響を考慮に入れた。
この結果から,LLM が様々な協調姿勢の自然言語記述を,特にワンショットゲームにおいて,適切な作業行動の記述に翻訳できることを示す。
繰り返しゲームにおける協調的シミュラクラの条件相似性に類似した振る舞いの証拠がいくつかあり、後期バージョンでは利他的行動の証拠がある。
本研究は,チャットボットを仲介者やファシリテーターとして利用したり,公益交渉を行うようなタスク環境において,LLMチャットボットを活用できる可能性を持っている。
We investigated the capability of the GPT-3.5 large language model (LLM) to operationalize natural language descriptions of cooperative, competitive, altruistic, and self-interested behavior in two social dilemmas: the repeated Prisoners Dilemma and the one-shot Dictator Game. Using a within-subject experimental design, we used a prompt to describe the task environment using a similar protocol to that used in experimental psychology studies with human subjects. We tested our research question by manipulating the part of our prompt which was used to create a simulated persona with different cooperative and competitive stances. We then assessed the resulting simulacras' level of cooperation in each social dilemma, taking into account the effect of different partner conditions for the repeated game. Our results provide evidence that LLMs can, to some extent, translate natural language descriptions of different cooperative stances into corresponding descriptions of appropriate task behaviour, particularly in the one-shot game. There is some evidence of behaviour resembling conditional reciprocity for the cooperative simulacra in the repeated game, and for the later version of the model there is evidence of altruistic behaviour. Our study has potential implications for using LLM chatbots in task environments that involve cooperation, e.g. using chatbots as mediators and facilitators in public-goods negotiations. | 翻訳日:2024-07-02 18:09:56 公開日:2024-06-29 |
| # 停止するタイミングを知る:信頼性保証付き遅延適応スパイクニューラルネットワーク分類器
Knowing When to Stop: Delay-Adaptive Spiking Neural Network Classifiers with Reliability Guarantees ( http://arxiv.org/abs/2305.11322v4 ) ライセンス: Link先を確認 | Jiechen Chen, Sangwoo Park, Osvaldo Simeone, | (参考訳) スパイキングニューラルネットワーク(SNN)は、内部イベント駆動型ニューラルネットワークを通じて時系列データを処理する。
SNNのエネルギー消費は、入力プレゼンテーションの途中でニューロン間で交換されるスパイクの数に依存する。
通常、入力シーケンス全体が処理された後に決定が生成される。
これにより、入力間でかなり均一なレイテンシとエネルギー消費レベルが得られる。
しかし、最近の研究で明らかになったように、SNNモデルが十分に 'confident'' である場合、各例の難易度に遅延とエネルギー消費を適応させることで、SNNは早期決定を下すことができる。
既存の技術は信頼性保証を提供していないヒューリスティックな信頼度測定に基づいており、早すぎる可能性がある。
本稿では,事前学習したSNN分類器をラップすることで,入力依存の停止時に発生する決定に対して信頼性が保証される新しい遅延適応SNNベースの推論手法を提案する。
このアプローチはSpikeCPと呼ばれ、コンフォメーション予測(CP)からツールを活用する。
基盤となるSNNと比較して、最小限の複雑さの増加が伴うため、追加のしきい値設定と実行時のカウント操作しか必要としない。
SpikeCPはまた、遅延パフォーマンスを目標とするCP対応トレーニングフェーズを統合するように拡張されている。
Bonferroni から Simes への代替信頼度補正スキームに基づく CP の変数を探索し,MNIST-DVS データセット,DVS128 Gesture データセット,CIFAR-10 データセットを用いて広範な実験を行った。
Spiking neural networks (SNNs) process time-series data via internal event-driven neural dynamics. The energy consumption of an SNN depends on the number of spikes exchanged between neurons over the course of the input presentation. Typically, decisions are produced after the entire input sequence has been processed. This results in latency and energy consumption levels that are fairly uniform across inputs. However, as explored in recent work, SNNs can produce an early decision when the SNN model is sufficiently ``confident'', adapting delay and energy consumption to the difficulty of each example. Existing techniques are based on heuristic measures of confidence that do not provide reliability guarantees, potentially exiting too early. In this paper, we introduce a novel delay-adaptive SNN-based inference methodology that, wrapping around any pre-trained SNN classifier, provides guaranteed reliability for the decisions produced at input-dependent stopping times. The approach, dubbed SpikeCP, leverages tools from conformal prediction (CP). It entails minimal complexity increase as compared to the underlying SNN, requiring only additional thresholding and counting operations at run time. SpikeCP is also extended to integrate a CP-aware training phase that targets delay performance. Variants of CP based on alternative confidence correction schemes, from Bonferroni to Simes, are explored, and extensive experiments are described using the MNIST-DVS data set, DVS128 Gesture dataset, and CIFAR-10 dataset. | 翻訳日:2024-07-02 18:09:56 公開日:2024-06-29 |
| # A/Bテストにおけるネットワーク干渉評価のための2部機械学習手法
A Two-Part Machine Learning Approach to Characterizing Network Interference in A/B Testing ( http://arxiv.org/abs/2308.09790v2 ) ライセンス: Link先を確認 | Yuan Yuan, Kristen M. Altenburger, | (参考訳) 一般に「A/Bテスト」と呼ばれる制御実験の信頼性は、ネットワーク干渉によって損なわれ、個々のユニットの結果は他のユニットとの相互作用に影響される。
この領域における重要な課題は、複雑なソーシャルネットワーク構造に対する説明の欠如と、ネットワーク干渉を適切に特徴づけることの難しさである。
これらの課題に対処するために,機械学習に基づく手法を提案する。
ネットワーク上でのA/Bテストの根底にあるネットワーク干渉パターンを特徴付けるために、透明な機械学習モデルを用いた「因果ネットワークモチーフ」を導入する。
提案手法の性能は,Instagram上での合成実験と大規模テストの両方のシミュレーションによって実証されている。
提案手法は,設計に基づくクラスタランダム化や従来の分析に基づく近傍露光マッピングなど,従来の手法よりも優れていることを示す。
私たちのアプローチは、A/Bテスト実践者のネットワーク干渉に対処するための、包括的で自動化されたソリューションを提供します。
これにより、マーケティングの有効性や製品カスタマイズといった分野で戦略的ビジネス上の決定を下すのに役立つ。
The reliability of controlled experiments, commonly referred to as "A/B tests," is often compromised by network interference, where the outcomes of individual units are influenced by interactions with others. Significant challenges in this domain include the lack of accounting for complex social network structures and the difficulty in suitably characterizing network interference. To address these challenges, we propose a machine learning-based method. We introduce "causal network motifs" and utilize transparent machine learning models to characterize network interference patterns underlying an A/B test on networks. Our method's performance has been demonstrated through simulations on both a synthetic experiment and a large-scale test on Instagram. Our experiments show that our approach outperforms conventional methods such as design-based cluster randomization and conventional analysis-based neighborhood exposure mapping. Our approach provides a comprehensive and automated solution to address network interference for A/B testing practitioners. This aids in informing strategic business decisions in areas such as marketing effectiveness and product customization. | 翻訳日:2024-07-02 18:00:11 公開日:2024-06-29 |
| # PanopticNDT: 効率的かつロバストなパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパ
PanopticNDT: Efficient and Robust Panoptic Mapping ( http://arxiv.org/abs/2309.13635v2 ) ライセンス: Link先を確認 | Daniel Seichter, Benedict Stephan, Söhnke Benedikt Fischedick, Steffen Müller, Leonard Rabes, Horst-Michael Gross, | (参考訳) モバイルロボットの応用シナリオが複雑で困難になりつつある中、シーン理解はますます重要になっている。
屋内環境で自律的に動作するはずの移動ロボットは、どの物体が存在するのか、どこにあるのか、空間的範囲は何か、どのように到達できるかといった正確な知識を持つ必要があり、つまり自由空間に関する情報も重要である。
パノプティカルマッピングはそのような情報を提供する強力な手段である。
しかし,空間解像度の高い3次元パノプティカルマップの構築は,計算能力に制限があるため,移動ロボットでは困難である。
本稿では, 占有率正規分布変換(NDT)に基づく, 効率的かつ堅牢なパノプティカルマッピング手法であるPanopticNDTを提案する。
我々はHypersimとScanNetV2の公開データセットに対するアプローチを評価した。
その結果,本手法は,移動ロボット上でのリアルタイムなパノプティクスマッピングを実現しつつ,他の最先端手法よりも高精細度でパノプティクス情報を表現できることが判明した。
最後に,PanopticNDTの実世界の応用性を,国内応用における定性的な結果で証明する。
As the application scenarios of mobile robots are getting more complex and challenging, scene understanding becomes increasingly crucial. A mobile robot that is supposed to operate autonomously in indoor environments must have precise knowledge about what objects are present, where they are, what their spatial extent is, and how they can be reached; i.e., information about free space is also crucial. Panoptic mapping is a powerful instrument providing such information. However, building 3D panoptic maps with high spatial resolution is challenging on mobile robots, given their limited computing capabilities. In this paper, we propose PanopticNDT - an efficient and robust panoptic mapping approach based on occupancy normal distribution transform (NDT) mapping. We evaluate our approach on the publicly available datasets Hypersim and ScanNetV2. The results reveal that our approach can represent panoptic information at a higher level of detail than other state-of-the-art approaches while enabling real-time panoptic mapping on mobile robots. Finally, we prove the real-world applicability of PanopticNDT with qualitative results in a domestic application. | 翻訳日:2024-07-02 17:50:16 公開日:2024-06-29 |
| # CO-ASnet : アクティブセンサネットワークを用いたブロックチェーン技術に基づくスマートコントラクトアーキテクチャ設計
CO-ASnet :A Smart Contract Architecture Design based on Blockchain Technology with Active Sensor Networks ( http://arxiv.org/abs/2310.05070v2 ) ライセンス: Link先を確認 | Feng Liu, Jie Yang, Kun-peng Xu, Cang-long Pu, Jiayin Qi, | (参考訳) 世論指導者の影響は社会財政の様々な側面に影響を与える。
ブロックチェーン上の資産を実現し、コンプライアンスを遵守する規制スキームを採用する上で、世論指導者の影響力の効用を分析するには、検討と熟考する価値がある。
マスクがソーシャルメディアにドジコインの購入を呼び掛けたことを例として、この論文は、世論指導者がICO(初期貨幣取引)を使用して影響力を行使する現象を実証的に調査するために、イベントスタディを用いた。
その結果、世論のリーダーはICOを使って、彼らのソーシャルネットワークにおける金銭とデータトラフィックによるトークン資産の価格に影響を及ぼすことができた。
過剰なリターンを得ることができ、影響実現の閉ループが加速されるように、実現のコストを削減できる。
この現象と影響の結果に基づいて、我々は、リスク評価戦略とトークン発行の早期警告対策を構築的に提供する、安全かつ適用可能な分散規制スキームを設計するために、ChainLink Oracle with Active Sensor Networks(CO-ASnet)を使用します。
ブロックチェーン発行における世論指導者の影響は、広く注目され、この論文は、規制当局や企業がブロックチェーンの金融製品開発とガバナンスの境界を探求するための模範的な参考となる。
The influence of opinion leaders impacts different aspects of social finance. How to analyse the utility of opinion leaders' influence in realizing assets on the blockchain and adopt a compliant regulatory scheme is worth exploring and pondering. Taking Musk's call on social media to buy Dogecoin as an example, this paper uses an event study to empirically investigate the phenomenon in which opinion leaders use ICOs (initial coin offerings) to exert influence. The results show that opinion leaders can use ICOs to influence the price of token assets with money and data traffic in their social network. They can obtain excess returns and reduce the cost of realization so that the closed loop of influence realization will be accelerated. Based on this phenomenon and the results of its impact, we use the ChainLink Oracle with Active Sensor Networks(CO-ASnet) to design a safe and applicable decentralized regulatory scheme that can constructively provide risk assessment strategies and early warning measures for token issuance. The influence realization of opinion leaders in blockchain issuance is bound to receive widespread attention, and this paper will provide an exemplary reference for regulators and enterprises to explore the boundaries of blockchain financial product development and governance. | 翻訳日:2024-07-02 17:50:16 公開日:2024-06-29 |
| # 解離アルゴリズムを用いた量子状態トモグラフィ
Quantum state tomography with disentanglement algorithm ( http://arxiv.org/abs/2310.06273v4 ) ライセンス: Link先を確認 | Juan Yao, | (参考訳) 本研究では, 量子状態再構成プロセスについて, ディコンタングルメントアルゴリズムに基づく検討を行った。
変分量子回路を用いて、量子状態を計算ゼロ状態の積に分解する。
ゼロ状態の逆の進化は、量子状態を全体相まで再構成する。
キュービットを1つずつ連続的に切り離すことで、必要な測定量を1つのキュービット測定で削減する。
乱数状態の再構成に関する我々の提案による実証は、変分量子回路が解離過程によって最適化されるときに提示される。
実験的な実装を容易にするため,離散的な量子ゲートを限定した量子回路設計のための強化学習も導入した。
我々の手法は普遍的であり、量子状態に特定のアンサッツや制約を課さない。
In this work, we report on a novel quantum state reconstruction process based on the disentanglement algorithm. Using variational quantum circuits, we disentangle the quantum state to a product of computational zero states. Inverse evolution of the zero states reconstructs the quantum state up to an overall phase. By sequentially disentangling the qubit one by one, we reduce the required measurements with only single qubit measurement. Demonstrations with our proposal for the reconstruction of the random states are presented where variational quantum circuit is optimized by disentangling process. To facilitate experimental implementation, we also employ reinforcement learning for quantum circuit design with limited discrete quantum gates. Our method is universal and imposes no specific ansatz or constrain on the quantum state. | 翻訳日:2024-07-02 17:50:16 公開日:2024-06-29 |
| # Fast-DiM: 高速拡散モルフを目指して
Fast-DiM: Towards Fast Diffusion Morphs ( http://arxiv.org/abs/2310.09484v3 ) ライセンス: Link先を確認 | Zander W. Blasingame, Chen Liu, | (参考訳) 拡散モルフ (Diffusion Morphs, DiM) は, 高品質な顔形態を生成するための最新技術である。
我々は,NFEの少ない類似品質のモーメントを生成できる新しいDIMパイプラインであるFast-DiMを提案する。
本研究では、確率フローODEの解法に使用されるODEソルバと、顔形態の生成に与える影響について検討する。
さらに、時間経過とともに確率フローODEを解くことにより、拡散モデルの潜在空間に画像を符号化する別の方法を用いる。
MMPMR (Mated Morph Presentation Match Rate) は 1.6 % しか低下せず, 符号化過程において NFE を 85% 以上削減できることを示した。
同様に, 試料中のNFEを最大0.23%のMMPMRで半減し, 半減できることを示した。
Diffusion Morphs (DiM) are a recent state-of-the-art method for creating high quality face morphs; however, they require a high number of network function evaluations (NFE) to create the morphs. We propose a new DiM pipeline, Fast-DiM, which can create morphs of a similar quality but with fewer NFE. We investigate the ODE solvers used to solve the Probability Flow ODE and the impact they have on the the creation of face morphs. Additionally, we employ an alternative method for encoding images into the latent space of the Diffusion model by solving the Probability Flow ODE as time runs forwards. Our experiments show that we can reduce the NFE by upwards of 85% in the encoding process while experiencing only 1.6\% reduction in Mated Morph Presentation Match Rate (MMPMR). Likewise, we showed we could cut NFE, in the sampling process, in half with only a maximal reduction of 0.23% in MMPMR. | 翻訳日:2024-07-02 17:50:16 公開日:2024-06-29 |
| # グラフニューラルネットワークサロゲートモデルに対する解釈可能な微調整と誤り表現
Interpretable Fine-Tuning and Error Indication for Graph Neural Network Surrogate Models ( http://arxiv.org/abs/2311.07548v3 ) ライセンス: Link先を確認 | Shivam Barwey, Hojin Kim, Romit Maulik, | (参考訳) データ駆動サロゲートモデリングは、グラフニューラルネットワーク(GNN)の出現により、近年、データメッシュベースの表現を直接操作する能力が高まっている。
本研究の目的は、非構造化メッシュベースの流体力学モデリングに適用可能な、GNNの解釈可能な微調整戦略を導入することである。
最終結果は、ベースラインの予測能力を保ちながら予測タスクに本質的に関連付けられているサブグラフに対応する物理空間内の領域を分離する強化された微調整モデルである。
これらの構造は、細調整されたGNNによって同定され、フォワードパスで適応的に生成され、ベースラインモデルアーキテクチャ、最適化目標、既知の問題固有物理の間の説明可能なリンクとして機能する。
さらに、正規化手順を通じて、微調整されたGNNを使用して、予測される予測エラーの大多数に対応するグラフノードを推論時に識別し、ベースラインモデルに新たな解釈可能なエラータグ機能を追加することもできる。
高レイノルズ数での後方方向のステップを流れる流れから導出される非構造流れ場データを用いて実証を行い、傾斜や壁面上の立方体構成の幾何学的外挿を実証した。
Data-driven surrogate modeling has surged in capability in recent years with the emergence of graph neural networks (GNNs), which can operate directly on mesh-based representations of data. The goal of this work is to introduce an interpretable fine-tuning strategy for GNNs, with application to unstructured mesh-based fluid dynamics modeling. The end result is an enhanced fine-tuned model that isolates regions in physical space, corresponding to sub-graphs, that are intrinsically linked to the forecasting task while retaining the predictive capability of the baseline. These structures, identified by the fine-tuned GNNs, are adaptively produced in the forward pass and serve as explainable links between the baseline model architecture, the optimization goal, and known problem-specific physics. Additionally, through a regularization procedure, the fine-tuned GNNs can also be used to identify, during inference, graph nodes that correspond to a majority of the anticipated forecasting error, adding a novel interpretable error-tagging capability to baseline models. Demonstrations are performed using unstructured flow field data sourced from flow over a backward-facing step at high Reynolds numbers, with geometry extrapolations demonstrated for ramp and wall-mounted cube configurations. | 翻訳日:2024-07-02 17:30:47 公開日:2024-06-29 |
| # 大規模言語モデルはどのようにして真に構築されるのか?
How Well Do Large Language Models Truly Ground? ( http://arxiv.org/abs/2311.09069v2 ) ライセンス: Link先を確認 | Hyunji Lee, Sejune Joo, Chaeeun Kim, Joel Jang, Doyoung Kim, Kyoung-Woon On, Minjoon Seo, | (参考訳) 幻覚やLLM(Large Language Models)における制御の欠如といった問題を解消するために、知識強化モデルとして知られる入力として与えられる外部コンテキストに基づいて応答を生成するのが一般的な方法である。
しかし、以前の研究はしばしば「接地」を単に正しい答えを持つだけであると定義しており、これは応答全体の信頼性を保証するものではない。
そこで本研究では,(1)提供された文脈から必要な知識を十分に活用し,(2)その知識の限界内に留まっている場合,モデルが真に基礎を成すという,より厳密なグラウンド定義を提案する。
定義の下でモデル機能を評価するために,新しいデータセットとグラウンド化メトリックを導入する。
異なる大きさの25のLLMを対象に実験を行い,基礎性能に影響を与える要因について考察した。
本研究は,より信頼性が高く制御可能なLLMアプリケーションに向けた改良領域を提案するとともに,基礎機能の改善方法の理解を深めることに寄与する。
To reduce issues like hallucinations and lack of control in Large Language Models (LLMs), a common method is to generate responses by grounding on external contexts given as input, known as knowledge-augmented models. However, previous research often narrowly defines "grounding" as just having the correct answer, which does not ensure the reliability of the entire response. To overcome this, we propose a stricter definition of grounding: a model is truly grounded if it (1) fully utilizes the necessary knowledge from the provided context, and (2) stays within the limits of that knowledge. We introduce a new dataset and a grounding metric to evaluate model capability under the definition. We perform experiments across 25 LLMs of different sizes and training methods and provide insights into factors that influence grounding performance. Our findings contribute to a better understanding of how to improve grounding capabilities and suggest an area of improvement toward more reliable and controllable LLM applications. | 翻訳日:2024-07-02 17:30:47 公開日:2024-06-29 |
| # Universal NER:ゴールドスタンダードの多言語名前付きエンティティ認識ベンチマーク
Universal NER: A Gold-Standard Multilingual Named Entity Recognition Benchmark ( http://arxiv.org/abs/2311.09122v3 ) ライセンス: Link先を確認 | Stephen Mayhew, Terra Blevins, Shuheng Liu, Marek Šuppa, Hila Gonen, Joseph Marvin Imperial, Börje F. Karlsson, Peiqin Lin, Nikola Ljubešić, LJ Miranda, Barbara Plank, Arij Riabi, Yuval Pinter, | (参考訳) オープンなコミュニティ主導プロジェクトであるUniversal NER(UNER)を紹介し,多くの言語でゴールドスタンダードなNERベンチマークを開発する。
UNERの包括的な目標は、多言語NER研究を容易にし、標準化するための高品質で言語横断的なアノテーションを提供することである。
UNER v1には、12の異なる言語にまたがる言語間一貫性のあるスキーマで、名前付きエンティティで注釈付けされた18のデータセットが含まれている。
本稿では、UNERのデータセット作成と構成について詳述し、言語内と言語間の両方の学習環境において、初期モデルベースラインを提供する。
データ、コード、および適合したモデルを一般に公開しています。
We introduce Universal NER (UNER), an open, community-driven project to develop gold-standard NER benchmarks in many languages. The overarching goal of UNER is to provide high-quality, cross-lingually consistent annotations to facilitate and standardize multilingual NER research. UNER v1 contains 18 datasets annotated with named entities in a cross-lingual consistent schema across 12 diverse languages. In this paper, we detail the dataset creation and composition of UNER; we also provide initial modeling baselines on both in-language and cross-lingual learning settings. We release the data, code, and fitted models to the public. | 翻訳日:2024-07-02 17:30:47 公開日:2024-06-29 |
| # 非調和ポテンシャル変調による連続系の量子制御
Quantum control of continuous systems via nonharmonic potential modulation ( http://arxiv.org/abs/2311.16819v2 ) ライセンス: Link先を確認 | Piotr T. Grochowski, Hannes Pichler, Cindy A. Regal, Oriol Romero-Isart, | (参考訳) 非調和ポテンシャルに制限された1つの連続変数自由度の状態の準備と操作に関する理論的提案を提案する。
Fock, Gottesman-Kitaev-Preskill, multi-legged-cat, および立方相状態を含む非ガウス状態の生成と, 選択された2層部分空間における任意のユニタリの実装を最適に制御した位置と深さの変調を利用することで, 非ガウス状態の生成を実証する。
さらに, 単発直交状態判別, アルゴリズム冷却, 非線形進化の補正のためのプロトコルを提案する。
この制御方式の雑音に対する頑健さを解析する。
提示された全てのプロトコルは、有効な非調和ポテンシャルランドスケープの正確な変調のみに依存しているため、光ツイーザーや格子内の単一粒子の運動や回路量子力学における電流を含む連続変数系のいくつかの実験に関係している。
We present a theoretical proposal for preparing and manipulating a state of a single continuous-variable degree of freedom confined to a nonharmonic potential. By utilizing optimally controlled modulation of the potential's position and depth, we demonstrate the generation of non-Gaussian states, including Fock, Gottesman-Kitaev-Preskill, multi-legged-cat, and cubic-phase states, as well as the implementation of arbitrary unitaries within a selected two-level subspace. Additionally, we propose protocols for single-shot orthogonal state discrimination, algorithmic cooling, and correcting for nonlinear evolution. We analyze the robustness of this control scheme against noise. Since all the presented protocols rely solely on the precise modulation of the effective nonharmonic potential landscape, they are relevant to several experiments with continuous-variable systems, including the motion of a single particle in an optical tweezer or lattice, or current in circuit quantum electrodynamics. | 翻訳日:2024-07-02 15:37:58 公開日:2024-06-29 |
| # モニターされたクリフォード+T回路における動的マジック遷移
Dynamical Magic Transitions in Monitored Clifford+T Circuits ( http://arxiv.org/abs/2312.00132v3 ) ライセンス: Link先を確認 | Mircea Bejan, Campbell McLauchlan, Benjamin Béri, | (参考訳) 高エンタングリング量子力学の古典的なシミュレーションは、一般に難しいと推測されている。
したがって、最近発見された高エンタングリングと低エンタングメントダイナミクスの間の測定誘起遷移は、古典的シミュラビリティにおける相転移である。
ここでは、エンタングルメント以外のシミュレーション可能性遷移について研究する: 高絡み合いの力学(例えば、可積分系やクリフォード回路)は古典的にシミュレートし易いため、量子リソースの微妙な形式である「魔法」を必要とし、計算の硬さを達成するために、マジックの力学が測定とどのように競合するかを問う。
得られた「力学マジック遷移」は、Tゲートでドープされたランダム監視されたクリフォード回路(マジックを注入する)に焦点をあてる。
我々は,この遷移を駆動するメカニズムとして,動的「安定化剤精製」,すなわち安定化剤状態の重畳の崩壊を同定する。
魔法と絡み合いの遷移が一致する場合も見出され、また、非常に(量的な)絡み合いの段階で魔法とシミュラビリティの遷移がある場合もあります。
結果の確立には、相互に通勤する測定対象のマジック状態レジスタに力学の量子的性質を蒸留するパウリ計算を用いる。
我々は、安定化器のパーフィケーションを「魔法の断片化」にリンクし、これらの測定を解離したO(1)重みブロックに分割し、これを元の回路における魔法の拡散と関連づける。
The classical simulation of highly-entangling quantum dynamics is conjectured to be generically hard. Thus, recently discovered measurement-induced transitions between highly entangling and low-entanglement dynamics are phase transitions in classical simulability. Here, we study simulability transitions beyond entanglement: noting that some highly-entangling dynamics (e.g., integrable systems or Clifford circuits) are easy to classically simulate, thus requiring "magic"--a subtle form of quantum resource--to achieve computational hardness, we ask how the dynamics of magic competes with measurements. We study the resulting "dynamical magic transitions" focusing on random monitored Clifford circuits doped by T gates (injecting magic). We identify dynamical "stabilizer-purification"--the collapse of a superposition of stabilizer states by measurements--as the mechanism driving this transition. We find cases where transitions in magic and entanglement coincide, but also others with a magic and simulability transition in a highly (volume-law) entangled phase. In establishing our results, we use Pauli-based computation, a scheme distilling the quantum essence of the dynamics to a magic state register subject to mutually commuting measurements. We link stabilizer-purification to "magic fragmentation" wherein these measurements separate into disjoint, O(1)-weight blocks, and relate this to the spread of magic in the original circuit becoming arrested. | 翻訳日:2024-07-02 15:37:58 公開日:2024-06-29 |
| # PneumoLLM : 重度言語モデルによる肺炎の診断
PneumoLLM: Harnessing the Power of Large Language Model for Pneumoconiosis Diagnosis ( http://arxiv.org/abs/2312.03490v3 ) ライセンス: Link先を確認 | Meiyue Song, Zhihua Yu, Jiaxin Wang, Jiarui Wang, Yuting Lu, Baicun Li, Xiaoxu Wang, Qinghua Huang, Zhijun Li, Nikolaos I. Kanellakis, Jiangfeng Liu, Jing Wang, Binglu Wang, Juntao Yang, | (参考訳) 従来のプレトレーニングとファインタニングのパラダイムは、十分なデータを持つ一般的な疾患に対して有効であるが、肺炎のようなデータスカースな職業疾患を診断する上での課題に直面している。
近年,大規模言語モデル (LLM) は対話における複数のタスクの実行において前例のない能力を示し,診断の機会をもたらしている。
一般的な戦略は、視覚言語によるアライメントと診断にアダプタ層を使用することである。
しかし、このアプローチはテキストブランチと対話ヘッドで広範囲に学習可能なパラメータの最適化を必要とすることが多く、特に限られたトレーニングデータにおいてLLMの有効性を低下させる可能性がある。
本研究では,テキストブランチを廃止し,対話ヘッドを分類ヘッドに置き換えることで,革新を行う。
本手法では, 学習可能なパラメータが少ない診断において, LLMを効果的に活用する手法を提案する。
さらに、詳細な画像情報の保持と正確な診断に向けての進行のバランスをとるために、文脈的マルチトークンエンジンを導入する。
このエンジンは、適応的に診断トークンを生成することに特化している。
また,画像トークンから診断トークンへ一方向で情報を出力する情報発信モジュールを提案する。
総合的な実験により,提案手法の優越性と提案モジュールの有効性が検証された。
私たちのコードはhttps://github.com/CodeMonsterPHD/PneumoLLM/tree/mainで確認できます。
The conventional pretraining-and-finetuning paradigm, while effective for common diseases with ample data, faces challenges in diagnosing data-scarce occupational diseases like pneumoconiosis. Recently, large language models (LLMs) have exhibits unprecedented ability when conducting multiple tasks in dialogue, bringing opportunities to diagnosis. A common strategy might involve using adapter layers for vision-language alignment and diagnosis in a dialogic manner. Yet, this approach often requires optimization of extensive learnable parameters in the text branch and the dialogue head, potentially diminishing the LLMs' efficacy, especially with limited training data. In our work, we innovate by eliminating the text branch and substituting the dialogue head with a classification head. This approach presents a more effective method for harnessing LLMs in diagnosis with fewer learnable parameters. Furthermore, to balance the retention of detailed image information with progression towards accurate diagnosis, we introduce the contextual multi-token engine. This engine is specialized in adaptively generating diagnostic tokens. Additionally, we propose the information emitter module, which unidirectionally emits information from image tokens to diagnosis tokens. Comprehensive experiments validate the superiority of our methods and the effectiveness of proposed modules. Our codes can be found at https://github.com/CodeMonsterPHD/PneumoLLM/tree/main. | 翻訳日:2024-07-02 15:37:58 公開日:2024-06-29 |
| # 大規模言語モデルのための自己監督的位置ずれ
Self-Supervised Position Debiasing for Large Language Models ( http://arxiv.org/abs/2401.01218v3 ) ライセンス: Link先を確認 | Zhongkun Liu, Zheng Chen, Mengqi Zhang, Zhaochun Ren, Pengjie Ren, Zhumin Chen, | (参考訳) ファインチューニングは、大規模言語モデル(LLM)のドメイン性能を改善する効果的な手法であることが示されている。
しかし、LLMは予測のためのデータセットバイアスとショートカットに適合し、世代パフォーマンスが低下する可能性がある。
以前の研究では、LSMは位置バイアスを示す傾向があり、すなわち、入力の先頭または端に位置する情報、または入力内の特定の位置の手がかりを活用することが証明されている。
既存のLCMの脱バイアス法では、外的バイアス知識や注釈付き非バイアスサンプルが必要であり、実際の位置の脱バイアスや非実用性に欠ける。
本研究では,LSMの位置バイアスを軽減するために,自己監督型位置偏差検出(SOD)フレームワークを提案する。
SODは、事前訓練されたLLMからの教師なしの応答を利用して、外部の知識に頼らずにデバイアスを発生させる。
教師なし応答の質を向上させるために,これらの応答を誘発する目的アライメント(OAM)モジュールを提案する。
8つのデータセットと5つのタスクの実験により、SODは3つのタイプの位置バイアスを緩和する既存の手法より一貫して優れていることが示された。
さらに、SODは偏りのあるサンプルに小さな性能を犠牲にしてこれを達成し、これは一般的かつ効果的である。
結果の再現性を促進するため、すべてのメソッドとデータセットのコードをhttps://github.com/LZKSKY/SODで共有する。
Fine-tuning has been demonstrated to be an effective method to improve the domain performance of large language models (LLMs). However, LLMs might fit the dataset bias and shortcuts for prediction, leading to poor generation performance. Previous works have proven that LLMs are prone to exhibit position bias, i.e., leveraging information positioned at the beginning or end, or specific positional cues within the input. Existing debiasing methods for LLMs require external bias knowledge or annotated non-biased samples, which is lacking for position debiasing and impractical in reality. In this work, we propose a self-supervised position debiasing (SOD) framework to mitigate position bias for LLMs. SOD leverages unsupervised responses from pre-trained LLMs for debiasing without relying on any external knowledge. To improve the quality of unsupervised responses, we propose an objective alignment (OAM) module to prune these responses. Experiments on eight datasets and five tasks show that SOD consistently outperforms existing methods in mitigating three types of position biases. Besides, SOD achieves this by sacrificing only a small performance on biased samples, which is general and effective. To facilitate the reproducibility of the results, we share the code of all methods and datasets on https://github.com/LZKSKY/SOD. | 翻訳日:2024-07-02 15:28:10 公開日:2024-06-29 |
| # より良い多言語推論のための質問翻訳訓練
Question Translation Training for Better Multilingual Reasoning ( http://arxiv.org/abs/2401.07817v3 ) ライセンス: Link先を確認 | Wenhao Zhu, Shujian Huang, Fei Yuan, Shuaijie She, Jiajun Chen, Alexandra Birch, | (参考訳) 大規模言語モデルは推論タスクにおいて魅力的なパフォーマンスを示すが、英語以外の言語ではより悪いパフォーマンスを示す傾向がある。
彼らのトレーニングデータは、主に英語のテキストとインストラクションで構成されていることを考えると、これは驚くにあたらない。
典型的な解決策は、命令データを興味のあるすべての言語に翻訳し、結果の多言語データをトレーニングすることである。
このアプローチは高いコストを発生させるだけでなく、数学的連鎖の非標準フォーマットのため、低翻訳データをもたらす。
本稿では,X- English parallel question dataを微調整することで,推論する質問を英語に翻訳するモデルを訓練する。
このようにして、LLMの多言語推論能力を解き放つために、英語の命令データを最大限に活用するドメイン内言語アライメントを実行する。
LLaMA2-13Bの実験結果から、MGSMとMSVAMPの多言語推論ベンチマークで10言語で平均11.3%と16.1%の精度が向上した。
プロジェクトは、https://github.com/NJUNLP/QAlign.comから入手できる。
Large language models show compelling performance on reasoning tasks but they tend to perform much worse in languages other than English. This is unsurprising given that their training data largely consists of English text and instructions. A typical solution is to translate instruction data into all languages of interest, and then train on the resulting multilingual data, which is called translate-training. This approach not only incurs high cost, but also results in poorly translated data due to the non-standard formatting of mathematical chain-of-thought. In this paper, we explore the benefits of question alignment, where we train the model to translate reasoning questions into English by finetuning on X-English parallel question data. In this way we perform targeted, in-domain language alignment which makes best use of English instruction data to unlock the LLMs' multilingual reasoning abilities. Experimental results on LLaMA2-13B show that question alignment leads to consistent improvements over the translate-training approach: an average improvement of 11.3% and 16.1% accuracy across ten languages on the MGSM and MSVAMP multilingual reasoning benchmarks. The project will be available at: https://github.com/NJUNLP/QAlign. | 翻訳日:2024-07-02 15:28:10 公開日:2024-06-29 |
| # 大規模言語モデルが進化的アルゴリズムを満たすとき
When large language models meet evolutionary algorithms ( http://arxiv.org/abs/2401.10510v2 ) ライセンス: Link先を確認 | Wang Chao, Jiaxuan Zhao, Licheng Jiao, Lingling Li, Fang Liu, Shuyuan Yang, | (参考訳) 事前訓練された大規模言語モデル(LLM)は、創造的な自然言語を生成する強力な能力を持つ。
進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。
本論文は,テキスト生成と進化の共通的な集合性と方向性によって,トークン表現と個人表現,位置エンコーディングとフィットネスシェーピング,位置埋め込みと選択,トランスフォーマーブロックと再生,モデルトレーニングとパラメータ適応という,複数の1対1のキー特性を含むLLMとEAの並列性を示す。
これらの並列性を調べることで、進化的微調整とLLM強化EAに着目し、既存の学際研究を分析する。
これらの洞察から、LCMとEAの統合を進める上で価値のある今後の方向性が示され、その過程で重要な課題が浮かび上がっています。
これらの並列性は、LSMの背後にある進化のメカニズムを明らかにするだけでなく、生物学的生物に近づいたり超えたりする進化した人工エージェントの開発を促進する。
Pre-trained large language models (LLMs) have powerful capabilities for generating creative natural text. Evolutionary algorithms (EAs) can discover diverse solutions to complex real-world problems. Motivated by the common collective and directionality of text generation and evolution, this paper illustrates the parallels between LLMs and EAs, which includes multiple one-to-one key characteristics: token representation and individual representation, position encoding and fitness shaping, position embedding and selection, Transformers block and reproduction, and model training and parameter adaptation. By examining these parallels, we analyze existing interdisciplinary research, with a specific focus on evolutionary fine-tuning and LLM-enhanced EAs. Drawing from these insights, valuable future directions are presented for advancing the integration of LLMs and EAs, while highlighting key challenges along the way. These parallels not only reveal the evolution mechanism behind LLMs but also facilitate the development of evolved artificial agents that approach or surpass biological organisms. | 翻訳日:2024-07-02 15:28:10 公開日:2024-06-29 |
| # 記録レベルの個人化差分プライバシーを用いたクロスサイロフェデレーション学習
Cross-silo Federated Learning with Record-level Personalized Differential Privacy ( http://arxiv.org/abs/2401.16251v3 ) ライセンス: Link先を確認 | Junxu Liu, Jian Lou, Li Xiong, Jinfei Liu, Xiaofeng Meng, | (参考訳) 差分プライバシによって強化されたフェデレーション学習(FL)は、トレーニングプロセス中にクライアントのコントリビューションを保護することによって、クライアント側データのプライバシ保護を改善するための一般的なアプローチとして現れている。
既存のソリューションは通常、すべてのレコードに対して均一なプライバシ予算を仮定し、各レコードのプライバシ要件を満たすには不十分な、ワンサイズのすべてのソリューションを提供する。
本稿では,記録レベル差分プライバシーを持つクロスサイロFLの非チャージ領域について検討する。
クライアントレベルの一様サンプリングと一様でないレコードレベルのサンプリングを併用した2段階のハイブリッドサンプリング手法を用いて,プライバシー要件を満たす新しいフレームワーク「textit{rPDP-FL}」を考案した。
パーソナライズされたプライバシー予算の$\varepsilon$を考慮すれば、レコードごとのサンプリング確率を$q$で決定する方法が重要で非自明な問題である。
我々は、$q$と$\varepsilon$の間の非線形相関に関する重要な洞察を解明し、この問題に取り組むためのエレガントな数学的モデルを導出する、多目的なソリューションである「textit{Simulation-CurveFitting}」を紹介した。
評価の結果,プライバシ保護のパーソナライズを考慮しないベースラインに対して,我々のソリューションが大きなパフォーマンス向上をもたらすことが示された。
Federated learning (FL) enhanced by differential privacy has emerged as a popular approach to better safeguard the privacy of client-side data by protecting clients' contributions during the training process. Existing solutions typically assume a uniform privacy budget for all records and provide one-size-fits-all solutions that may not be adequate to meet each record's privacy requirement. In this paper, we explore the uncharted territory of cross-silo FL with record-level personalized differential privacy. We devise a novel framework named \textit{rPDP-FL}, employing a two-stage hybrid sampling scheme with both uniform client-level sampling and non-uniform record-level sampling to accommodate varying privacy requirements. A critical and non-trivial problem is how to determine the ideal per-record sampling probability $q$ given the personalized privacy budget $\varepsilon$. We introduce a versatile solution named \textit{Simulation-CurveFitting}, allowing us to uncover a significant insight into the nonlinear correlation between $q$ and $\varepsilon$ and derive an elegant mathematical model to tackle the problem. Our evaluation demonstrates that our solution can provide significant performance gains over the baselines that do not consider personalized privacy preservation. | 翻訳日:2024-07-02 15:18:25 公開日:2024-06-29 |
| # macro-at-$k$メトリクスを用いた複数ラベル分類のための一貫性アルゴリズム
Consistent algorithms for multi-label classification with macro-at-$k$ metrics ( http://arxiv.org/abs/2401.16594v3 ) ライセンス: Link先を確認 | Erik Schultheis, Wojciech Kotłowski, Marek Wydmuch, Rohit Babbar, Strom Borman, Krzysztof Dembczyński, | (参考訳) 本稿では,マルチラベル分類における複雑な性能指標の最適化について,集団ユーティリティ・フレームワークを用いて検討する。
主に、それぞれのラベルに個別に適用されるバイナリ分類ユーティリティの合計に線形に分解可能なメトリクスに焦点を合わせ、各インスタンスに対して正確に$k$ラベルが予測される追加の要件を設けます。
これらの"macro-at-k$"メトリクスは、長い尾ラベルを持つ極端な分類問題に対して望ましい性質を持っている。
残念なことに、at-k$制約は、他の独立したバイナリ分類タスクを結合するので、標準的なマクロバグよりもはるかに難しい最適化問題に繋がる。
この問題を統計的に研究し、最適な分類器の存在と形態を証明し、Frank-Wolfe法に基づく統計的に一貫した実践的な学習アルゴリズムを提案する。
興味深いことに、本研究の主な成果は、ラベルの混乱行列の非線形関数である、より一般的なメトリクスに関するものである。
実証的な結果は,提案手法の競争性能を示す証拠となる。
We consider the optimization of complex performance metrics in multi-label classification under the population utility framework. We mainly focus on metrics linearly decomposable into a sum of binary classification utilities applied separately to each label with an additional requirement of exactly $k$ labels predicted for each instance. These "macro-at-$k$" metrics possess desired properties for extreme classification problems with long tail labels. Unfortunately, the at-$k$ constraint couples the otherwise independent binary classification tasks, leading to a much more challenging optimization problem than standard macro-averages. We provide a statistical framework to study this problem, prove the existence and the form of the optimal classifier, and propose a statistically consistent and practical learning algorithm based on the Frank-Wolfe method. Interestingly, our main results concern even more general metrics being non-linear functions of label-wise confusion matrices. Empirical results provide evidence for the competitive performance of the proposed approach. | 翻訳日:2024-07-02 15:18:25 公開日:2024-06-29 |
| # 量子力学における確率について
On probabilities in quantum mechanics ( http://arxiv.org/abs/2401.17717v5 ) ライセンス: Link先を確認 | Inge S. Helland, | (参考訳) これは、量子力学の解釈に関する議論、一方のアンドレイ・クレンニコフと他方のブレイク・ステーシーとR\"ディガー・シャックの間での議論に関連するある概念を明確にしようとする試みである。
この議論の中心は量子確率の概念である。
私はまずQBist派で確率の概念を取り上げ、量子確率を計算するためのBorn公式について独自の議論をします。
その関係において、量子論の基礎と解釈への私のアプローチのいくつかの結果もスケッチします。
最終的な発言をする前に、QB主義に関する一般的な見解を代替解釈の可能性として論じます。
This is an attempt to clarify certain concepts related to a debate on the interpretation of quantum mechanics, a debate between Andrei Khrennikov on the one side and Blake Stacey and R\"udiger Schack on the other side. Central to this debate is the notion of quantum probabilities. I first take up the probability concept in the QBist school, and then give my own arguments for the Born formula for calculating quantum probabilities. In that connection I also sketch some consequences of my approach towards the foundation and interpretation of quantum theory. I discuss my general views on QBism as a possible alternative interpretation before I give some final remarks. | 翻訳日:2024-07-02 15:18:25 公開日:2024-06-29 |
| # 時間依存コンバウンディングを用いた因果生存解析のための柔軟なベイズ型g-formula
A flexible Bayesian g-formula for causal survival analyses with time-dependent confounding ( http://arxiv.org/abs/2402.02306v2 ) ライセンス: Link先を確認 | Xinyuan Chen, Liangyuan Hu, Fan Li, | (参考訳) 時系列観察研究における因果解析の一般的な目的は、仮説的介入のシナリオの下で因果的生存曲線を推定することである。
g-formulaはこの解析に特に有用なツールである。
従来のパラメトリックなg-formulaアプローチを強化するために,ベイジアン加法回帰木(BART)をモデル不特定性によるバイアスの軽減を目的とした,より適応性の高いベイジアンg-formula推定器を開発した。
具体的には,離散生存データに対するより一般的なg-formulaのクラスを導入し,縦バランススコアを組み込むことにより,次元減少の有効な方法となり,時間変化のある共同創設者の列を扱う上で重要であることを示す。
これらの時間的バランススコアの最小限の定式化は、静的か動的かにかかわらず、治療体制の性質に関係している。
各治療法について,BARTフレームワークを基盤とした後部サンプリングアルゴリズムを提案する。
本研究は,Yale New Haven Health System (YNHHS) の電子健康記録から得られたデータを用いて,提案手法の実証的性能を実証するためのシミュレーション研究を行った。
In longitudinal observational studies with a time-to-event outcome, a common objective in causal analysis is to estimate the causal survival curve under hypothetical intervention scenarios within the study cohort. The g-formula is a particularly useful tool for this analysis. To enhance the traditional parametric g-formula approach, we developed a more adaptable Bayesian g-formula estimator, which incorporates the Bayesian additive regression trees (BART) in the modeling of the time-evolving generative components, aiming to mitigate bias due to model misspecification. Specifically, we introduce a more general class of g-formulas for discrete survival data that can incorporate the longitudinal balancing scores, which serve as an effective method for dimension reduction and are vital when dealing with an expanding array of time-varying confounders. The minimum sufficient formulation of these longitudinal balancing scores is linked to the nature of treatment regimes, whether static or dynamic. For each type of treatment regime, we provide posterior sampling algorithms grounded in the BART framework. We have conducted simulation studies to illustrate the empirical performance of the proposed method and further demonstrate its practical utility using data from the Yale New Haven Health System's (YNHHS) electronic health records. | 翻訳日:2024-07-02 15:18:25 公開日:2024-06-29 |
| # Pruner: テンソルプログラムチューニングを高速化するための投機的探索メカニズム
Pruner: A Speculative Exploration Mechanism to Accelerate Tensor Program Tuning ( http://arxiv.org/abs/2402.02361v2 ) ライセンス: Link先を確認 | Liang Qiao, Jun Shi, Xiaoyu Hao, Xi Fang, Minfan Zhao, Ziqi Zhu, Junshi Chen, Hong An, Bing Li, Honghui Yuan, Xinyang Wang, Xulong Tang, | (参考訳) 深層ニューラルネットワークの効率的な展開には,テンソルプログラムチューニングが不可欠である。
検索ベースのアプローチは、特定のハードウェアの高性能プログラムを自動的に見つけるためのスケーラビリティと有効性を示している。
しかし、探索過程はしばしば非効率であり、正確な学習コストモデルによって導かれる探索機構により、最適なプログラムを見つけるのに数時間や数日を要した。
一方、あるプラットフォームでトレーニングされた学習コストモデルは、他のプラットフォームにシームレスに適応することができません。
本研究では,PrunerとMoA-Prunerを提案する。
Prunerは"Draft-then-Verify"パラダイムを用いて探索プロセスを高速化する投機的探索機構である。
複雑な学習コストモデルを適用する代わりに、Pruner氏は、ナイーブシンボルアナライザ(ドラフトモデル)を導入して、小規模の投機的候補をドラフトし、学習コストモデルによって最適な候補を特定する。
MoA-PrunerがMomentum Online Adaptationを導入した。
これらのテクニックをAnsorに組み込んで、3つのGPUベースのプラットフォームで広範な実験を行う。
その結果、オンラインのコストモデルチューニングシナリオでは、Pruner と MoA-Pruner は平均速度が Ansor よりも2.6 \times$ と4.82 \times$ を達成できることがわかった。
オフラインチューニングのシナリオでは、Pruner は TenSet と TLP と比較して平均 4.75 \times$ と 4.05\times$ を達成できる。
コードはhttps://github.com/qiaolian9/Pruner.comで公開されている。
Tensor program tuning is essential for the efficient deployment of deep neural networks. Search-based approaches have demonstrated scalability and effectiveness in automatically finding high-performance programs for specific hardware. However, the search process is often inefficient, taking hours or even days to discover optimal programs due to the exploration mechanisms guided by an accurate but slow learned cost model. Meanwhile, the learned cost model trained on one platform cannot seamlessly adapt online to another, which we call cross-platform online unawareness. In this work, we propose Pruner and MoA-Pruner. Pruner is a speculative exploration mechanism that accelerates the search process using a "Draft-then-Verify" paradigm. Instead of applying the complex learned cost model to all explored candidates, Pruner drafts small-scale speculative candidates by introducing a naive symbol analyzer (draft model), then identifies the best candidates by the learned cost model. MoA-Pruner introduces Momentum online Adaptation to address the cross-platform online unawareness. We incorporate these techniques into the Ansor and conduct extensive experiments on three GPU-based platforms. Results show that in online cost model tuning scenarios, Pruner and MoA-Pruner can achieve an average speedup of $2.6 \times$ and $4.82 \times$ compared to Ansor. In offline tuning scenarios, Pruner can achieve an average speedup of $4.75 \times$ and $4.05\times$ compared to TenSet and TLP, respectively. The code is available at https://github.com/qiaolian9/Pruner. | 翻訳日:2024-07-02 15:18:25 公開日:2024-06-29 |
| # グラフ削減に関する包括的調査:スペース化, 粗化, 凝縮
A Comprehensive Survey on Graph Reduction: Sparsification, Coarsening, and Condensation ( http://arxiv.org/abs/2402.03358v4 ) ライセンス: Link先を確認 | Mohammad Hashemi, Shengbo Gong, Juntong Ni, Wenqi Fan, B. Aditya Prakash, Wei Jin, | (参考訳) 多くの現実世界のデータセットは自然にグラフとして表現することができ、幅広い領域にまたがる。
しかし、グラフデータセットの複雑さとサイズが増大すると、分析と計算に大きな課題が生じる。
これに対し、グラフの縮小(グラフの要約)は、重要な性質を保ちながら、大きなグラフを単純化するために顕著な存在となった。
本研究では,グラフスペーシング,グラフ粗大化,グラフ凝縮など,グラフ縮小手法の包括的理解を目指す。
具体的には、これらの手法の統一的な定義を確立し、それらが対処する課題を分類するために階層的な分類を導入します。
そこで本研究では,これらの手法の技術的詳細を体系的にレビューし,様々なシナリオにまたがる実践的応用を強調した。
さらに,グラフ削減手法の継続的な有効性を確保するための重要な研究の方向性を概説するとともに,<url{https://github.com/Emory-Melody/awesome-graph-reduction} の総合的な論文リストを提供する。
この調査が文学のギャップを埋め、この将来性のある分野の進歩を促進することを願っている。
Many real-world datasets can be naturally represented as graphs, spanning a wide range of domains. However, the increasing complexity and size of graph datasets present significant challenges for analysis and computation. In response, graph reduction, or graph summarization, has gained prominence for simplifying large graphs while preserving essential properties. In this survey, we aim to provide a comprehensive understanding of graph reduction methods, including graph sparsification, graph coarsening, and graph condensation. Specifically, we establish a unified definition for these methods and introduce a hierarchical taxonomy to categorize the challenges they address. Our survey then systematically reviews the technical details of these methods and emphasizes their practical applications across diverse scenarios. Furthermore, we outline critical research directions to ensure the continued effectiveness of graph reduction techniques, as well as provide a comprehensive paper list at \url{https://github.com/Emory-Melody/awesome-graph-reduction}. We hope this survey will bridge literature gaps and propel the advancement of this promising field. | 翻訳日:2024-07-02 15:18:25 公開日:2024-06-29 |
| # TIC:LLMと論理表現を用いた正確な「計画書」の翻訳-推論-コンパイル
TIC: Translate-Infer-Compile for accurate "text to plan" using LLMs and Logical Representations ( http://arxiv.org/abs/2402.06608v2 ) ライセンス: Link先を確認 | Sudhir Agarwal, Anu Sreepathy, | (参考訳) 本研究では,自然言語計画タスク要求の計画作成の問題について検討する。
一方、LLMは自然言語処理に優れるが、計画ではうまく機能しない。
一方、古典的な計画ツールは計画作業に長けているが、計画ドメイン定義言語(PDDL)のような構造化言語での入力を必要とする。
課題要求のPDDL表現(task PDDL)を生成するのにLLMを用い,計画の計算に古典的プランナーを用いることにより,両手法の強みを生かした。
LLMを使ってタスクPDDLを直接生成する従来のアプローチとは異なり、我々のアプローチは1つから成り立っている。
(a)翻訳:自然言語タスク記述の論理的に解釈可能な中間表現を生成するためにのみLLMを使用する。
(b)推論:論理推論器(現在Answer Set Programmingsolvr)を用いて中間表現から追加の論理依存情報を得る、及び
(c)コンパイル: ベースからターゲットタスクPDDLを生成し、情報を推測する。
中間表現のみを出力するためにLLMを用いると、LLMの誤差が大幅に減少する。
その結果,少なくとも1つのLCMに対して,評価データセットの7領域すべてに対して,タスクPDDL生成の高精度化を実現した。
We study the problem of generating plans for given natural language planning task requests. On one hand, LLMs excel at natural language processing but do not perform well on planning. On the other hand, classical planning tools excel at planning tasks but require input in a structured language such as the Planning Domain Definition Language (PDDL). We leverage the strengths of both the techniques by using an LLM for generating the PDDL representation (task PDDL) of planning task requests followed by using a classical planner for computing a plan. Unlike previous approaches that use LLMs for generating task PDDLs directly, our approach comprises of (a) translate: using an LLM only for generating a logically interpretable intermediate representation of natural language task description, (b) infer: deriving additional logically dependent information from the intermediate representation using a logic reasoner (currently, Answer Set Programming solver), and (c) compile: generating the target task PDDL from the base and inferred information. We observe that using an LLM to only output the intermediate representation significantly reduces LLM errors. Consequently, TIC approach achieves, for at least one LLM, high accuracy on task PDDL generation for all seven domains of our evaluation dataset. | 翻訳日:2024-07-02 15:08:40 公開日:2024-06-29 |
| # 野生におけるプライバシ・インパクトアセスメント:スコーピングのレビュー
Privacy Impact Assessments in the Wild: A Scoping Review ( http://arxiv.org/abs/2402.11193v2 ) ライセンス: Link先を確認 | Leonardo Horn Iwaya, Ala Sarah Alaqra, Marit Hansen, Simone Fischer-Hübner, | (参考訳) プライバシ・インパクト・アセスメント(PIAs)は、プロジェクトやシステムのプライバシ・インパクトを評価するための体系的なプロセスを提供する。
プライバシエンジニアリング戦略として、PIAは設計によるプライバシの主なアプローチのひとつとして認識され、脅威とコントロールの早期識別をサポートする。
しかし、その取り込みや実効性に関する実証的な証拠はいまだに不足している。
文献・研究の現状をよりよく理解するために,本論文では,PRISMAガイドラインに則って,PIAの「野生」に関する総合的なScR(Scoping Review)を提供する。
その結果、このScRは45の研究を含み、既存の知識の体系を広範囲に合成し、研究と出版のタイプを分類し、一次研究の方法論的品質を評価し、PIAの実証的な側面と否定的な側面を概説する研究が報告されている。
このScRはまた、重要な研究ギャップ(例えば、矛盾する結果からの証拠ギャップと研究設計の欠陥からの方法論的ギャップ)、将来の研究経路、そして、研究者、実践者、政策立案者に対して、PIAフレームワークを開発し、評価することの意味を明らかにしている。
結論として、このトピックについて、質的かつ定量的に、より重要な研究の必要性は依然として大きい。
質的研究の批判的評価 (n=28) により, 方法論的品質の欠如が明らかとなり, 4つの定量的研究しか確認されず, 現在の一次研究は未熟であることが示唆された。
それでも、PIAは経験的プライバシエンジニアリングの幅広い分野において顕著なサブ領域と見なされ、よりエビデンスベースのプラクティスへのさらなる研究を保証している。
Privacy Impact Assessments (PIAs) offer a systematic process for assessing the privacy impacts of a project or system. As a privacy engineering strategy, PIAs are heralded as one of the main approaches to privacy by design, supporting the early identification of threats and controls. However, there is still a shortage of empirical evidence on their uptake and proven effectiveness in practice. To better understand the current state of literature and research, this paper provides a comprehensive Scoping Review (ScR) on the topic of PIAs "in the wild", following the well-established Preferred Reporting Items for Systematic reviews and Meta-Analyses (PRISMA) guidelines. As a result, this ScR includes 45 studies, providing an extensive synthesis of the existing body of knowledge, classifying types of research and publications, appraising the methodological quality of primary research, and summarising the positive and negative aspects of PIAs in practice, as reported by studies. This ScR also identifies significant research gaps (e.g., evidence gaps from contradictory results and methodological gaps from research design deficiencies), future research pathways, and implications for researchers, practitioners, and policymakers developing and evaluating PIA frameworks. As we conclude, there is still a significant need for more primary research on the topic, both qualitative and quantitative. A critical appraisal of qualitative studies (n=28) revealed deficiencies in the methodological quality, and only four quantitative studies were identified, suggesting that current primary research remains incipient. Nonetheless, PIAs can be regarded as a prominent sub-area in the broader field of Empirical Privacy Engineering, warranting further research toward more evidence-based practices. | 翻訳日:2024-07-02 15:08:40 公開日:2024-06-29 |
| # LangGPT: LLMの構造化再利用可能なプロンプト設計フレームワークをプログラミング言語から再考
LangGPT: Rethinking Structured Reusable Prompt Design Framework for LLMs from the Programming Language ( http://arxiv.org/abs/2402.16929v2 ) ライセンス: Link先を確認 | Ming Wang, Yuanzhong Liu, Xiaoyu Liang, Songlian Li, Yijie Huang, Xiaoming Zhang, Sijia Shen, Chaofeng Guan, Daling Wang, Shi Feng, Huaiwen Zhang, Yifei Zhang, Minghui Zheng, Chi Zhang, | (参考訳) LLMは様々な領域にまたがって高い性能を示してきた。
それでも、LLMを十分に指導するための高品質なプロンプトの定式化は、非AI専門家にとって課題となる。
プロンプトエンジニアリングにおける既存の研究は、幾らか分散した最適化原則と設計が経験的に依存したプロンプトオプティマイザを示唆している。
残念ながら、これらの取り組みには構造化された設計テンプレートがなく、高い学習コストがかかり、再利用性が低い。
また、プロンプトの反復更新には影響しない。
再利用可能なプログラミング言語の構造化に着想を得て,LangGPTを提案する。
LangGPTは簡単に学習できる規範構造を持ち、マイグレーションと再利用のために拡張された構造を提供する。
実験によりLangGPTはLLMの性能を大幅に向上させることが示された。
さらに,LangGPTはLLMを高次応答に導くことを示す。
さらに,オンラインコミュニティにおけるユーザ調査を通じて,LangGPTの使いやすさと再利用性について分析した。
LLMs have demonstrated commendable performance across diverse domains. Nevertheless, formulating high-quality prompts to instruct LLMs proficiently poses a challenge for non-AI experts. Existing research in prompt engineering suggests somewhat scattered optimization principles and designs empirically dependent prompt optimizers. Unfortunately, these endeavors lack a structured design template, incurring high learning costs and resulting in low reusability. In addition, it is not conducive to the iterative updating of prompts. Inspired by structured reusable programming languages, we propose LangGPT, a dual-layer prompt design framework as the programming language for LLMs. LangGPT has an easy-to-learn normative structure and provides an extended structure for migration and reuse. Experiments illustrate that LangGPT significantly enhances the performance of LLMs. Moreover, the case study shows that LangGPT leads LLMs to generate higher-quality responses. Furthermore, we analyzed the ease of use and reusability of LangGPT through a user survey in our online community. | 翻訳日:2024-07-02 14:58:55 公開日:2024-06-29 |
| # 拡張フローマッチング:一般化連続性方程式を用いた条件付き生成法
Extended Flow Matching: a Method of Conditional Generation with Generalized Continuity Equation ( http://arxiv.org/abs/2402.18839v5 ) ライセンス: Link先を確認 | Noboru Isobe, Masanori Koyama, Jinzhe Zhang, Kohei Hayashi, Kenji Fukumizu, | (参考訳) 条件生成の課題は生成モデルの最も重要な応用の1つであり、フローベースモデルに基づく多くの手法が開発されている。
しかし、現在使われているフローベースモデルの多くは、条件分布の生成方法に明示的な帰納バイアスを導入するために構築されていない。
これは例えば、スタイル転送のタスクにおいて予期せぬ振舞いを引き起こす可能性がある。
本研究では,条件空間から分布空間への連続写像に対応する「行列場」を学習するフローマッチングの直接拡張である拡張フローマッチング(EFM)を導入する。
本研究では,行列場を通した条件生成に誘導バイアスを導入し,ディリクレエネルギーや分布の感度を最小化することを目的としたEMMのバージョンであるMMOT-EFMを用いて,この事実を実証する。
条件生成におけるEMFの競争性を支持する実験結果とともに,本理論を提示する。
The task of conditional generation is one of the most important applications of generative models, and numerous methods have been developed to date based on the celebrated flow-based models. However, many flow-based models in use today are not built to allow one to introduce an explicit inductive bias to how the conditional distribution to be generated changes with respect to conditions. This can result in unexpected behavior in the task of style transfer, for example. In this research, we introduce extended flow matching (EFM), a direct extension of flow matching that learns a ``matrix field'' corresponding to the continuous map from the space of conditions to the space of distributions. We show that we can introduce inductive bias to the conditional generation through the matrix field and demonstrate this fact with MMOT-EFM, a version of EFM that aims to minimize the Dirichlet energy or the sensitivity of the distribution with respect to conditions. We will present our theory along with experimental results that support the competitiveness of EFM in conditional generation. | 翻訳日:2024-07-02 14:58:55 公開日:2024-06-29 |
| # 鏡ライブラリー:低次元のディープニューラルネットは反射特性を持つ凸ラッソモデルである
A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features ( http://arxiv.org/abs/2403.01046v3 ) ライセンス: Link先を確認 | Emi Zeger, Yifei Wang, Aaron Mishkin, Tolga Ergen, Emmanuel Candès, Mert Pilanci, | (参考訳) 1次元データ上でニューラルネットワークをトレーニングすることは、凸ラッソ問題を固定的、明示的に定義された特徴の辞書行列で解くのと等価であることを示す。
特定の辞書はアクティベーションと深さに依存する。
本稿では,2層および3層ネットワークの分割線形活性化と,符号アクティベーションと任意の深さを持つ矩形および木質ネットワークについて考察する。
興味深いことに、絶対値と対称性を持つReLUネットワークにおいて、第3のレイヤは、自分自身に関するトレーニングデータのリフレクションを表す機能を生成する。
Lasso表現は、グローバルに最適なネットワークとソリューションランドスケープに洞察を与える。
We prove that training neural networks on 1-D data is equivalent to solving a convex Lasso problem with a fixed, explicitly defined dictionary matrix of features. The specific dictionary depends on the activation and depth. We consider 2 and 3-layer networks with piecewise linear activations, and rectangular and tree networks with sign activation and arbitrary depth. Interestingly in absolute value and symmetrized ReLU networks, a third layer creates features that represent reflections of training data about themselves. The Lasso representation sheds insight to globally optimal networks and the solution landscape. | 翻訳日:2024-07-02 14:58:55 公開日:2024-06-29 |
| # 誘電体共振器チェーンにおける量子クライントンネルの観察
Observation of Quantized Klein Tunneling in a Dielectric Resonator Chain ( http://arxiv.org/abs/2403.02047v2 ) ライセンス: Link先を確認 | Rui-Jie Zhang, Xiao-Zhen Peng, Ri-Zhen Yang, Rui-Hua Ni, Yong-Yin Hu, Hong-Ya Xu, Liang Huang, | (参考訳) 誘電体マイクロ波共振器のダイマーチェーンにより実装された有界ディラック系における量子化クライントンネルの最初の実験的観察について述べる。
異なる粒子とホール波動関数からハイブリダイズされた異常な量子化レベルと対応するスピノル状態の両方を測定する。
すべての観測は、ディラック方程式のヒッシャート・アントレスト予測と定量的に一致している。
この結果は,境界ディラック系におけるクライントンネルの粒子-ホール物理の実現と理解に重要な一歩を踏み出し,粒子-ホールハイブリダイゼーションスピノル波の操り方にも光を当てた。
We present the first experimental observation of quantized Klein tunneling in a bounded Dirac system, implemented by a dimer chain of dielectric microwave resonators. Both the unusual quantized levels and corresponding spinor states hybridized from distinct particle and hole wavefunctions are measured. All observations are in quantitative agreement with the hitherto-untested prediction of Dirac equation. Our results make an important step to realize and understand the particle-hole physics of Klein tunneling in bounded Dirac systems, and also shed light on potential applications for manipulating particle-hole hybridized spinor waves. | 翻訳日:2024-07-02 14:58:55 公開日:2024-06-29 |
| # Challenging Forgets: マシンアンラーニングにおける最悪のツールセットの展開
Challenging Forgets: Unveiling the Worst-Case Forget Sets in Machine Unlearning ( http://arxiv.org/abs/2403.07362v3 ) ライセンス: Link先を確認 | Chongyu Fan, Jiancheng Liu, Alfred Hero, Sijia Liu, | (参考訳) 信頼できる機械学習(ML)コミュニティは、トレーニング後のデータポイントを選択的に'アンラーニング'できるモデルの必要性をますます認識している。
これにより、選択したデータポイントがモデルのパフォーマンスに与える影響を排除し、モデルの実用性を維持しながら、機械学習後の問題(MU)が発生する。
データ影響消去のための様々なMU手法にもかかわらず、評価はランダムなデータを忘れることに重点を置いており、未学習のパフォーマンスの真正性を評価するためにどのサブセットを選択するべきかという重要な調査を無視している。
この問題に対処するために,対立的な視点からMUの新たな評価アングルを導入する。
我々は、影響消去の最も重要な課題である、つまり最悪のケースの忘れセットをピンポイントするデータサブセットを特定することを提案する。
両レベル最適化の原則を用いることで、最悪ケースシナリオをエミュレートする上で、上位最適化レベルの未学習課題を増幅すると同時に、標準トレーニングとアンラーニングを低レベルのレベルで同時に実施し、データ影響の消去とモデルユーティリティのバランスを達成する。
本提案では,MUの弾力性と有効性を最悪のケースで評価する。
さまざまなデータセット(CIFAR-10、100、CelebA、Tiny ImageNet、ImageNetなど)とモデル(画像分類器と生成モデルの両方を含む)にわたる広範な実験を通じて、既存の(近似的な)未学習戦略におけるクリティカルな長所と短所を明らかにする。
本研究は,MUの複雑な課題を解明し,より正確で堅牢な未学習アルゴリズムの開発を導くものである。
コードはhttps://github.com/OPTML-Group/Unlearn-WorstCaseで入手できる。
The trustworthy machine learning (ML) community is increasingly recognizing the crucial need for models capable of selectively 'unlearning' data points after training. This leads to the problem of machine unlearning (MU), aiming to eliminate the influence of chosen data points on model performance, while still maintaining the model's utility post-unlearning. Despite various MU methods for data influence erasure, evaluations have largely focused on random data forgetting, ignoring the vital inquiry into which subset should be chosen to truly gauge the authenticity of unlearning performance. To tackle this issue, we introduce a new evaluative angle for MU from an adversarial viewpoint. We propose identifying the data subset that presents the most significant challenge for influence erasure, i.e., pinpointing the worst-case forget set. Utilizing a bi-level optimization principle, we amplify unlearning challenges at the upper optimization level to emulate worst-case scenarios, while simultaneously engaging in standard training and unlearning at the lower level, achieving a balance between data influence erasure and model utility. Our proposal offers a worst-case evaluation of MU's resilience and effectiveness. Through extensive experiments across different datasets (including CIFAR-10, 100, CelebA, Tiny ImageNet, and ImageNet) and models (including both image classifiers and generative models), we expose critical pros and cons in existing (approximate) unlearning strategies. Our results illuminate the complex challenges of MU in practice, guiding the future development of more accurate and robust unlearning algorithms. The code is available at https://github.com/OPTML-Group/Unlearn-WorstCase. | 翻訳日:2024-07-02 14:49:11 公開日:2024-06-29 |
| # 状態空間モデルにおける正規化に基づく効率的な連続学習
Regularization-Based Efficient Continual Learning in Deep State-Space Models ( http://arxiv.org/abs/2403.10123v2 ) ライセンス: Link先を確認 | Yuanhang Zhang, Zhidi Lin, Yiyong Sun, Feng Yin, Carsten Fritsche, | (参考訳) 近年,動的システムに強力なモデリング能力を持つDSSM(Deep State-space Model)が普及している。
しかし、既存のDSSMの作業はシングルタスクのモデリングに限られており、フォアパスされたタスクを再考する際には、過去のタスクデータで再トレーニングする必要がある。
この制限に対処するために,大惨な忘れをすることなく,進化するタスクに適応できる連続学習DSSM(CLDSSM)を提案する。
提案するCLDSSMは、主流正規化に基づく連続学習(CL)手法を統合し、複数の動的システムのモデリングに一定の計算とメモリコストで効率的な更新を実現する。
また,各CLDSSMに適用したCL手法の包括的コスト解析を行い,実世界のデータセットを用いた実験によるCLDSSMの有効性を実証する。
その結果、様々な競合するCL手法は異なるメリットを示すが、提案されたCLDSSMは破滅的な忘れを効果的に解決し、新しいタスクへの迅速かつ正確なパラメータ転送を可能にするという点で、従来のDSSMよりも一貫して優れていた。
Deep state-space models (DSSMs) have gained popularity in recent years due to their potent modeling capacity for dynamic systems. However, existing DSSM works are limited to single-task modeling, which requires retraining with historical task data upon revisiting a forepassed task. To address this limitation, we propose continual learning DSSMs (CLDSSMs), which are capable of adapting to evolving tasks without catastrophic forgetting. Our proposed CLDSSMs integrate mainstream regularization-based continual learning (CL) methods, ensuring efficient updates with constant computational and memory costs for modeling multiple dynamic systems. We also conduct a comprehensive cost analysis of each CL method applied to the respective CLDSSMs, and demonstrate the efficacy of CLDSSMs through experiments on real-world datasets. The results corroborate that while various competing CL methods exhibit different merits, the proposed CLDSSMs consistently outperform traditional DSSMs in terms of effectively addressing catastrophic forgetting, enabling swift and accurate parameter transfer to new tasks. | 翻訳日:2024-07-02 14:49:11 公開日:2024-06-29 |
| # VMRNN: 効率的な時空間予測のためのビジョンマンバとLSTMの統合
VMRNN: Integrating Vision Mamba and LSTM for Efficient and Accurate Spatiotemporal Forecasting ( http://arxiv.org/abs/2403.16536v3 ) ライセンス: Link先を確認 | Yujin Tang, Peijie Dong, Zhenheng Tang, Xiaowen Chu, Junwei Liang, | (参考訳) CNN や ViT を時空間予測用の RNN と組み合わせることで,時間的・空間的ダイナミクスを予測できる無矛盾の結果が得られた。
しかし、広範にグローバルな情報をモデリングすることは依然として困難な課題であり、CNNは狭い受容領域によって制限されており、ViTは注意機構の計算的要求に苦慮している。
最近のマンバをベースとしたアーキテクチャの出現は、高効率と精度で確立されたビジョンモデルを超え、時空間予測に適した革新的なアーキテクチャを開発する動機となった、非常に長いシーケンスモデリング能力に熱中している。
本稿では,視覚マンバブロックの強みをLSTMと統合した新しいリカレントユニットであるVMRNNセルを提案する。
時空間予測処理を効果的に行うため,VMRNNセルを中心としたネットワークを構築した。
提案手法は, モデルサイズを小さく保ちながら, 様々なタスクにおける競争力を確保できることを示す。
私たちのコードはhttps://github.com/yyyujintang/VMRNN-PyTorchで公開されています。
Combining CNNs or ViTs, with RNNs for spatiotemporal forecasting, has yielded unparalleled results in predicting temporal and spatial dynamics. However, modeling extensive global information remains a formidable challenge; CNNs are limited by their narrow receptive fields, and ViTs struggle with the intensive computational demands of their attention mechanisms. The emergence of recent Mamba-based architectures has been met with enthusiasm for their exceptional long-sequence modeling capabilities, surpassing established vision models in efficiency and accuracy, which motivates us to develop an innovative architecture tailored for spatiotemporal forecasting. In this paper, we propose the VMRNN cell, a new recurrent unit that integrates the strengths of Vision Mamba blocks with LSTM. We construct a network centered on VMRNN cells to tackle spatiotemporal prediction tasks effectively. Our extensive evaluations show that our proposed approach secures competitive results on a variety of tasks while maintaining a smaller model size. Our code is available at https://github.com/yyyujintang/VMRNN-PyTorch. | 翻訳日:2024-07-02 14:49:11 公開日:2024-06-29 |
| # TWIN-GPT:大規模言語モデルによる治験用デジタルツイン
TWIN-GPT: Digital Twins for Clinical Trials via Large Language Model ( http://arxiv.org/abs/2404.01273v2 ) ライセンス: Link先を確認 | Yue Wang, Tianfan Fu, Yinlong Xu, Zihan Ma, Hongxia Xu, Yingzhou Lu, Bang Du, Honghao Gao, Jian Wu, | (参考訳) 臨床試験は、医学研究と新しい治療法の開発に不可欠である。
しかし、臨床試験では何千人もの参加者が参加し、数年かけて完了し、プロセス中に失敗する確率が高い。
近年, 現実のシナリオをシミュレートし, 患者の安全性を大幅に向上させ, 開発を迅速化し, コストを削減し, 医療の幅広い科学的知識に貢献する可能性を持つ仮想臨床試験への関心が高まっている。
既存の研究はしばしば、臨床試験の結果を予測するために電子健康記録(EHR)を活用することに焦点を当てている。
しかし、限られた臨床試験結果データで訓練された既存のアプローチは、正確な予測を行うのにしばしば苦労する。
いくつかの研究は、モデル開発を増強するためのEHRの生成を試みたが、個々の患者プロファイルの生成をパーソナライズするには至らなかった。
近年,医学的問題に対処する上で,包括的臨床知識が有用であることが証明され,大規模言語モデルの出現によって新たな可能性が高まっている。
本稿では,TWIN-GPTと呼ばれる大規模言語モデルに基づくディジタル双対生成手法を提案する。
TWIN-GPTは、限られたデータによって医療情報のデータセットを相互に関連付けることができ、異なる患者に対して独自のデジタル双生児を生成することにより、個々の患者特性を保存できる。
総合的な実験により、TWIN-GPTによるデジタル双生児の使用は、様々な従来の予測手法を超越して臨床試験結果の予測を促進することが示されている。
Clinical trials are indispensable for medical research and the development of new treatments. However, clinical trials often involve thousands of participants and can span several years to complete, with a high probability of failure during the process. Recently, there has been a burgeoning interest in virtual clinical trials, which simulate real-world scenarios and hold the potential to significantly enhance patient safety, expedite development, reduce costs, and contribute to the broader scientific knowledge in healthcare. Existing research often focuses on leveraging electronic health records (EHRs) to support clinical trial outcome prediction. Yet, trained with limited clinical trial outcome data, existing approaches frequently struggle to perform accurate predictions. Some research has attempted to generate EHRs to augment model development but has fallen short in personalizing the generation for individual patient profiles. Recently, the emergence of large language models has illuminated new possibilities, as their embedded comprehensive clinical knowledge has proven beneficial in addressing medical issues. In this paper, we propose a large language model-based digital twin creation approach, called TWIN-GPT. TWIN-GPT can establish cross-dataset associations of medical information given limited data, generating unique personalized digital twins for different patients, thereby preserving individual patient characteristics. Comprehensive experiments show that using digital twins created by TWIN-GPT can boost the clinical trial outcome prediction, exceeding various previous prediction approaches. | 翻訳日:2024-07-02 14:39:26 公開日:2024-06-29 |
| # オンライン性差別を測るポラリゼーションのホロリスティック指標
A Holistic Indicator of Polarization to Measure Online Sexism ( http://arxiv.org/abs/2404.02205v2 ) ライセンス: Link先を確認 | Vahid Ghafouri, Jose Such, Guillermo Suarez-Tangil, | (参考訳) ソーシャルネットワークにおけるマノアとフェミニストの議論のオンライン傾向は、オンラインコミュニティにおける性差別のレベルを包括的に測定する必要がある。
この指標は、オンラインコミュニティ(例えば、サブレディット)や計算社会科学者の政策立案者やモデレーターにとって重要であり、性差別の度合いに基づいてモデレーション戦略を見直したり、異なるプラットフォームやコミュニティの時間的性差別とリアルタイムな出来事を比較し、社会科学的洞察を推測するために重要である。
本稿では,男女同一性に着目した毒性の総合的な指標を提供するモデルを構築した。
対象者に対して特に有毒なコメントを注釈するなど,対象者レベルでの有毒なコメントのアノテーションを必要とする従来の教師付きNLP法にも拘わらず,我々の指標では,対象者に対する有毒なコメントを自動的に検出するために,教師付きNLPを用いて有毒なコメントの存在を検知し,教師なしの単語埋め込み関連試験を行い,対象者を自動的に検出する。
我々は,性別に対する毒性(性差別)のレベルを検出するために,性別談話コミュニティ(例えば,r/TheRedPill,r/MGTOW,r/FemaleDatingStrategy)に適用する。
その結果、我々の枠組みは、コミュニティにおける性差別のレベルを正確に、一貫して(93%の相関関係)測定していることがわかった。
最終的に、我々のフレームワークが将来どのように一般化され、汎用目標に向けた毒性(例えば、感情、ユーモア)以外の品質を計測し、異なる種類の分極の指標となるかについて議論する。
The online trend of the manosphere and feminist discourse on social networks requires a holistic measure of the level of sexism in an online community. This indicator is important for policymakers and moderators of online communities (e.g., subreddits) and computational social scientists, either to revise moderation strategies based on the degree of sexism or to match and compare the temporal sexism across different platforms and communities with real-time events and infer social scientific insights. In this paper, we build a model that can provide a comparable holistic indicator of toxicity targeted toward male and female identity and male and female individuals. Despite previous supervised NLP methods that require annotation of toxic comments at the target level (e.g. annotating comments that are specifically toxic toward women) to detect targeted toxic comments, our indicator uses supervised NLP to detect the presence of toxicity and unsupervised word embedding association test to detect the target automatically. We apply our model to gender discourse communities (e.g., r/TheRedPill, r/MGTOW, r/FemaleDatingStrategy) to detect the level of toxicity toward genders (i.e., sexism). Our results show that our framework accurately and consistently (93% correlation) measures the level of sexism in a community. We finally discuss how our framework can be generalized in the future to measure qualities other than toxicity (e.g. sentiment, humor) toward general-purpose targets and turn into an indicator of different sorts of polarizations. | 翻訳日:2024-07-02 14:29:42 公開日:2024-06-29 |
| # 衛星ネットワーク用大規模言語モデルを用いたAIエージェントの試作
Generative AI Agents with Large Language Model for Satellite Networks via a Mixture of Experts Transmission ( http://arxiv.org/abs/2404.09134v2 ) ライセンス: Link先を確認 | Ruichen Zhang, Hongyang Du, Yinqiu Liu, Dusit Niyato, Jiawen Kang, Zehui Xiong, Abbas Jamalipour, Dong In Kim, | (参考訳) 6Gグローバル通信の必要性に応えて、衛星通信ネットワークが鍵となるソリューションとして登場した。
しかし,衛星通信ネットワークの大規模開発は複雑なシステムモデルによって制約されている。
さらに,衛星とユーザ間の通信干渉は通信性能に深刻な影響を及ぼす。
これらの問題を解決するため、モデル定式化のための生成人工知能(AI)エージェントを開発し、その後、専門家(MoE)アプローチを併用して送信戦略を設計する。
具体的には、大規模言語モデル(LLM)を活用して対話型モデリングパラダイムを構築し、検索強化世代(RAG)を利用して、数学的モデリングをサポートする衛星専門家の知識を抽出する。
その後、複数の特殊コンポーネントの専門知識を統合することにより、定式化問題を解くためのMoE-proximal Policy Optimization (PPO)アプローチを提案する。
各専門家は、自身のネットワークを通じて特別なトレーニングを通じて最適化変数を最適化し、ゲーティングネットワークを介してそれらを集約して共同最適化を行うことができる。
シミュレーション結果は,問題定式化のための生成剤の精度と有効性を検証する。
さらに,定式化問題を解く上で,他のベンチマークよりもMoE-ppoアプローチの方が優れていることが確認された。
様々なカスタマイズされたモデリング問題に対するMoE-PPOの適応性も実証されている。
In response to the needs of 6G global communications, satellite communication networks have emerged as a key solution. However, the large-scale development of satellite communication networks is constrained by the complex system models, whose modeling is challenging for massive users. Moreover, transmission interference between satellites and users seriously affects communication performance. To solve these problems, this paper develops generative artificial intelligence (AI) agents for model formulation and then applies a mixture of experts (MoE) approach to design transmission strategies. Specifically, we leverage large language models (LLMs) to build an interactive modeling paradigm and utilize retrieval-augmented generation (RAG) to extract satellite expert knowledge that supports mathematical modeling. Afterward, by integrating the expertise of multiple specialized components, we propose an MoE-proximal policy optimization (PPO) approach to solve the formulated problem. Each expert can optimize the optimization variables at which it excels through specialized training through its own network and then aggregates them through the gating network to perform joint optimization. The simulation results validate the accuracy and effectiveness of employing a generative agent for problem formulation. Furthermore, the superiority of the proposed MoE-ppo approach over other benchmarks is confirmed in solving the formulated problem. The adaptability of MoE-PPO to various customized modeling problems has also been demonstrated. | 翻訳日:2024-07-02 14:29:42 公開日:2024-06-29 |
| # グローバルデジタル民主主義によるグローバルデジタルプラットフォーム構築のための草の根アーキテクチャ
A Grassroots Architecture to Supplant Global Digital Platforms by a Global Digital Democracy ( http://arxiv.org/abs/2404.13468v5 ) ライセンス: Link先を確認 | Ehud Shapiro, | (参考訳) 我々は、地域デジタルコミュニティの社会的、経済的、市民的、政治的ニーズ、およびそれらの連合を支援するために設計された、草の根と呼ばれるグローバルデジタルプラットフォームに対するアーキテクチャ上の代替案を提示する。
Grassrootsプラットフォームは、地域コミュニティにグローバルデジタルプラットフォームに代わるものを提供し、メンバーのスマートフォンでのみ運用し、ネットワーク自体以外のグローバルリソースを禁止します。
このような共同体は、初期資本や外部クレジットなしでデジタル経済を形成し、主権的な民主主義と連邦を行使し、最終的にはグローバルなデジタル民主主義の草の根を形成する。
We present an architectural alternative to global digital platforms termed grassroots, designed to serve the social, economic, civic, and political needs of local digital communities, as well as their federation. Grassroots platforms may offer local communities an alternative to global digital platforms while operating solely on the smartphones of their members, forsaking any global resources other than the network itself. Such communities may form digital economies without initial capital or external credit, exercise sovereign democratic governance, and federate, ultimately resulting in the grassroots formation of a global digital democracy. | 翻訳日:2024-07-02 14:29:42 公開日:2024-06-29 |
| # 暗号通貨規制のグローバルトレンド:概観
Global Trends in Cryptocurrency Regulation: An Overview ( http://arxiv.org/abs/2404.15895v2 ) ライセンス: Link先を確認 | Xihan Xiong, Junliang Luo, | (参考訳) 暗号通貨は重要な資産クラスへと発展し、様々な利点を提供している。
しかし、市場ボラティリティや違法行為における誤用の可能性など、重大なリスクも生じている。
これらのリスクは、消費者の保護、市場の整合性、金融安定を確保するための包括的な規制枠組みの緊急の必要性を浮き彫りにしている。
しかし、暗号通貨規制の世界的な状況は依然として複雑であり、各国の規制枠組みが大幅に変化していることが特徴である。
本研究の目的は,様々な管轄区域の規制環境を調査することで,これらの違いを解明することである。
まず、規制の課題と考察を議論し、その後、国際規制のスタンス、アプローチ、措置の比較分析を行う。
我々の研究は、暗号通貨規制におけるグローバルなトレンドの理解を高めるための実践的な洞察を提供してくれることを願っている。
Cryptocurrencies have evolved into an important asset class, providing a variety of benefits. However, they also present significant risks, such as market volatility and the potential for misuse in illegal activities. These risks underline the urgent need for a comprehensive regulatory framework to ensure consumer protection, market integrity, and financial stability. Yet, the global landscape of cryptocurrency regulation remains complex, marked by substantial variations in regulatory frameworks among different countries. This paper aims to study these differences by investigating the regulatory landscapes across various jurisdictions. We first discuss regulatory challenges and considerations, and then conduct a comparative analysis of international regulatory stances, approaches, and measures. We hope our study offers practical insights to enhance the understanding of global trends in cryptocurrency regulation. | 翻訳日:2024-07-02 14:29:42 公開日:2024-06-29 |
| # LLMの不確かさ推定と定量化: 簡単な監視手法
Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach ( http://arxiv.org/abs/2404.15993v3 ) ライセンス: Link先を確認 | Linyu Liu, Yu Pan, Xiaocheng Li, Guanting Chen, | (参考訳) 本稿では,LLMにおける不確実性推定と校正の問題について検討する。
まず LLM の不確実性推定問題を定式化し,ラベル付きデータセットを利用して LLM の応答の不確かさを推定する教師付きアプローチを提案する。
定式化に基づいて,LLM の不確実性推定と標準ML モデルとの差を説明し,LLM の隠れニューロンが不確実性情報を含んでいる理由を説明する。
提案手法は, 各種タスク間の不確実性評価を高めるために隠れアクティベーションを利用する利点を示し, アウト・オブ・ディストリビューション・セッティングにおけるロバストな転送可能性を示す。
我々は不確実性推定タスクを不確実性校正タスクと区別し、より良い不確実性推定モードがより良い校正性能をもたらすことを示す。
さらに,ブラックボックス,グレイボックス,ホワイトボックスなど,モデルアクセシビリティの異なるレベルに適応し,実装が容易である。
In this paper, we study the problem of uncertainty estimation and calibration for LLMs. We first formulate the uncertainty estimation problem for LLMs and then propose a supervised approach that takes advantage of the labeled datasets and estimates the uncertainty of the LLMs' responses. Based on the formulation, we illustrate the difference between the uncertainty estimation for LLMs and that for standard ML models and explain why the hidden neurons of the LLMs may contain uncertainty information. Our designed approach demonstrates the benefits of utilizing hidden activations to enhance uncertainty estimation across various tasks and shows robust transferability in out-of-distribution settings. We distinguish the uncertainty estimation task from the uncertainty calibration task and show that a better uncertainty estimation mode leads to a better calibration performance. Furthermore, our method is easy to implement and adaptable to different levels of model accessibility including black box, grey box, and white box. | 翻訳日:2024-07-02 14:19:57 公開日:2024-06-29 |
| # スマートコントラクトのための静的アプリケーションセキュリティテスト(SAST)ツール
Static Application Security Testing (SAST) Tools for Smart Contracts: How Far Are We? ( http://arxiv.org/abs/2404.18186v3 ) ライセンス: Link先を確認 | Kaixuan Li, Yue Xue, Sen Chen, Han Liu, Kairan Sun, Ming Hu, Haijun Wang, Yang Liu, Yixiang Chen, | (参考訳) 近年,スマートコントラクトセキュリティの重要性が高まっている。
この問題に対処するため、スマートコントラクトの脆弱性を検出するために、多数の静的アプリケーションセキュリティテスト(SAST)ツールが提案されている。
しかし、これらのツールを客観的に比較して有効性を決定することは依然として困難である。
既存の研究は、分類学とベンチマークが、粗大で時代遅れの可能性のある脆弱性タイプだけをカバーしているため、しばしば不足している。
本稿では、スマートコントラクトのための45のユニークな脆弱性タイプを含む最新のきめ細かい分類法を提案することにより、このギャップを埋める。
ベースラインとして、40の異なるタイプをカバーし、さまざまなコード特性、脆弱性パターン、アプリケーションシナリオを含む広範なベンチマークを開発しています。
このベンチマークでは,788のスマートコントラクトファイルと10,394の脆弱性を含む8つのSASTツールを評価した。
以上の結果から,既存のSASTツールはベンチマークで約50%の脆弱性の検出に失敗し,10%を超える精度で偽陽性に陥ることが判明した。
また,複数ツールの結果を組み合わせることで,36.77ポイントのフラグアップを犠牲にして,偽陰性率を効果的に低減できることがわかった。
それでも多くの脆弱性、特にAccess ControlとReentrancy以外の脆弱性は未検出のままである。
私たちはついに、ツール開発、強化、評価、開発者、研究者、実践者のための選択に関するガイダンスを提供したいと思っています。
In recent years, the importance of smart contract security has been heightened by the increasing number of attacks against them. To address this issue, a multitude of static application security testing (SAST) tools have been proposed for detecting vulnerabilities in smart contracts. However, objectively comparing these tools to determine their effectiveness remains challenging. Existing studies often fall short due to the taxonomies and benchmarks only covering a coarse and potentially outdated set of vulnerability types, which leads to evaluations that are not entirely comprehensive and may display bias. In this paper, we fill this gap by proposing an up-to-date and fine-grained taxonomy that includes 45 unique vulnerability types for smart contracts. Taking it as a baseline, we develop an extensive benchmark that covers 40 distinct types and includes a diverse range of code characteristics, vulnerability patterns, and application scenarios. Based on them, we evaluated 8 SAST tools using this benchmark, which comprises 788 smart contract files and 10,394 vulnerabilities. Our results reveal that the existing SAST tools fail to detect around 50% of vulnerabilities in our benchmark and suffer from high false positives, with precision not surpassing 10%. We also discover that by combining the results of multiple tools, the false negative rate can be reduced effectively, at the expense of flagging 36.77 percentage points more functions. Nevertheless, many vulnerabilities, especially those beyond Access Control and Reentrancy vulnerabilities, remain undetected. We finally highlight the valuable insights from our study, hoping to provide guidance on tool development, enhancement, evaluation, and selection for developers, researchers, and practitioners. | 翻訳日:2024-07-02 14:19:57 公開日:2024-06-29 |
| # 医用画像分割のための予測精度に基づく能動学習
Predictive Accuracy-Based Active Learning for Medical Image Segmentation ( http://arxiv.org/abs/2405.00452v2 ) ライセンス: Link先を確認 | Jun Shi, Shulan Ruan, Ziqi Zhu, Minfan Zhao, Hong An, Xudong Xue, Bing Yan, | (参考訳) アクティブ・ラーニングは、アノテートデータに対する深層学習に基づくセグメンテーション手法の高依存性と、医用画像の高価なピクセルレベルのアノテーションコストとの矛盾を緩和するための有効な解決策と考えられている。
しかし、既存の手法の多くは信頼性の低い不確実性評価と多様性と情報のバランスの取れない難しさに悩まされ、セグメンテーションタスクのパフォーマンスは低下した。
そこで本研究では,医用画像セグメンテーションのための効果的な予測精度に基づく能動学習手法を提案する。
具体的には、PAALは主に精度予測器(AP)と軽量ポーリング戦略(WPS)から構成される。
前者は、予測後確率で対象モデルに対してラベル付けされていないサンプルのセグメンテーション精度を正確に予測できる付属学習モジュールである。
後者は、予測精度と特徴表現を組み合わせた効率的なハイブリッドクエリ方式を提供し、得られたサンプルの不確かさと多様性を確保することを目的としている。
複数のデータセットに対する大規模な実験の結果は、PAALの優位性を示している。
PAALは全注釈データに匹敵する精度を達成し、アノテーションのコストを約50%から80%削減し、臨床応用において有意義な可能性を示唆している。
コードはhttps://github.com/shijun18/PAAL-MedSegで入手できる。
Active learning is considered a viable solution to alleviate the contradiction between the high dependency of deep learning-based segmentation methods on annotated data and the expensive pixel-level annotation cost of medical images. However, most existing methods suffer from unreliable uncertainty assessment and the struggle to balance diversity and informativeness, leading to poor performance in segmentation tasks. In response, we propose an efficient Predictive Accuracy-based Active Learning (PAAL) method for medical image segmentation, first introducing predictive accuracy to define uncertainty. Specifically, PAAL mainly consists of an Accuracy Predictor (AP) and a Weighted Polling Strategy (WPS). The former is an attached learnable module that can accurately predict the segmentation accuracy of unlabeled samples relative to the target model with the predicted posterior probability. The latter provides an efficient hybrid querying scheme by combining predicted accuracy and feature representation, aiming to ensure the uncertainty and diversity of the acquired samples. Extensive experiment results on multiple datasets demonstrate the superiority of PAAL. PAAL achieves comparable accuracy to fully annotated data while reducing annotation costs by approximately 50% to 80%, showcasing significant potential in clinical applications. The code is available at https://github.com/shijun18/PAAL-MedSeg. | 翻訳日:2024-07-02 14:19:57 公開日:2024-06-29 |
| # 因果K平均クラスタリング
Causal K-Means Clustering ( http://arxiv.org/abs/2405.03083v2 ) ライセンス: Link先を確認 | Kwangho Kim, Jisu Kim, Edward H. Kennedy, | (参考訳) 因果効果は、しばしば人口の要約によって特徴づけられる。
これらは、サブグループ間で不均一な治療効果があるときに不完全な画像を与えるかもしれない。
サブグループ構造は一般に不明であるため、集団効果よりもサブグループ効果の同定と評価が困難である。
この問題に対する新しい解決策を提案する: Causal k-Means Clusteringは、広く使われているk-means Clusteringアルゴリズムを利用して、未知の部分群構造を明らかにする。
我々の問題は、クラスタ化すべき変数が未知の偽関数であるため、従来のクラスタリング設定とは大きく異なる。
本稿では,既製のアルゴリズムを用いて簡易かつ容易に実装可能なプラグイン推定器を提案し,その収束率について検討する。
また、非パラメトリック効率理論と二重機械学習に基づく新しいバイアス補正推定器を開発し、この推定器が大規模非パラメトリックモデルにおいて高速なルート-n速度と漸近正規性を達成することを示す。
提案手法は,複数の治療レベルを有する近代的な結果研究に特に有用である。
さらに,我々のフレームワークは,部分的に観察された結果や未知の機能など,一般的な擬似アウトカムによるクラスタリングに拡張可能である。
最後に, シミュレーションによる有限標本特性の探索を行い, 青年期物質乱用に対する治療プログラムの研究において提案手法について述べる。
Causal effects are often characterized with population summaries. These might provide an incomplete picture when there are heterogeneous treatment effects across subgroups. Since the subgroup structure is typically unknown, it is more challenging to identify and evaluate subgroup effects than population effects. We propose a new solution to this problem: Causal k-Means Clustering, which harnesses the widely-used k-means clustering algorithm to uncover the unknown subgroup structure. Our problem differs significantly from the conventional clustering setup since the variables to be clustered are unknown counterfactual functions. We present a plug-in estimator which is simple and readily implementable using off-the-shelf algorithms, and study its rate of convergence. We also develop a new bias-corrected estimator based on nonparametric efficiency theory and double machine learning, and show that this estimator achieves fast root-n rates and asymptotic normality in large nonparametric models. Our proposed methods are especially useful for modern outcome-wide studies with multiple treatment levels. Further, our framework is extensible to clustering with generic pseudo-outcomes, such as partially observed outcomes or otherwise unknown functions. Finally, we explore finite sample properties via simulation, and illustrate the proposed methods in a study of treatment programs for adolescent substance abuse. | 翻訳日:2024-07-02 14:10:11 公開日:2024-06-29 |
| # XAMPLER: 言語間インコンテキストの事例を検索する学習
XAMPLER: Learning to Retrieve Cross-Lingual In-Context Examples ( http://arxiv.org/abs/2405.05116v2 ) ライセンス: Link先を確認 | Peiqin Lin, André F. T. Martins, Hinrich Schütze, | (参考訳) 近年の研究では、入力クエリに適合した関連するインコンテキストの例を検索できるオフザシェルフや微調整のレトリバーを活用することで、英語のインコンテキスト学習が向上している。
しかしながら、これらの手法を他の言語、特に低リソースに適応させることは、言語横断レトリバーと注釈付きデータの不足により、課題を提起する。
そこで本稿では,XAMPLER: Cross-Lingual Example Retrievalを提案する。
XAMPLERはまず、多言語小言語モデルGlot500に基づくレトリバーを訓練し、多言語大言語モデルの予測から構築された正および負の英語例、すなわちMALA500を用いて学習する。
検索器の言語間能力を活用して、ターゲット言語のテキスト内学習の例として、英語のサンプルを直接検索することができる。
176言語を用いた多言語テキスト分類ベンチマークSIB200の実験により、XAMPLERは言語間のテキスト内学習性能を大幅に改善することが示された。
私たちのコードは \url{https://github.com/cisnlp/XAMPLER} で利用可能です。
Recent studies indicate that leveraging off-the-shelf or fine-tuned retrievers, capable of retrieving relevant in-context examples tailored to the input query, enhances few-shot in-context learning of English. However, adapting these methods to other languages, especially low-resource ones, poses challenges due to the scarcity of cross-lingual retrievers and annotated data. Thus, we introduce XAMPLER: Cross-Lingual Example Retrieval, a method tailored to tackle the challenge of cross-lingual in-context learning using only annotated English data. XAMPLER first trains a retriever based on Glot500, a multilingual small language model, using positive and negative English examples constructed from the predictions of a multilingual large language model, i.e., MaLA500. Leveraging the cross-lingual capacity of the retriever, it can directly retrieve English examples as few-shot examples for in-context learning of target languages. Experiments on the multilingual text classification benchmark SIB200 with 176 languages show that XAMPLER substantially improves the in-context learning performance across languages. Our code is available at \url{https://github.com/cisnlp/XAMPLER}. | 翻訳日:2024-07-02 14:10:11 公開日:2024-06-29 |
| # ファシリテート機能とトポロジー軽量化:不正アカウント検出のためのEthereumトランザクショングラフ圧縮法
Facilitating Feature and Topology Lightweighting: An Ethereum Transaction Graph Compression Method for Malicious Account Detection ( http://arxiv.org/abs/2405.08278v2 ) ライセンス: Link先を確認 | Xuanze Chen, Chenkai Hu, Shengbo Gong, Chengxiang Jin, Jiajun Zhou, Shanqing Yu, Qi Xuan, | (参考訳) Ethereumは暗号通貨の主要なグローバルプラットフォームのひとつとなり、金融エコシステムの多様化を促進する上で重要な役割を担っている。
しかし、規制の相対的な遅れによりEthereumの悪意ある活動が急増し、セキュリティへの資金提供が深刻な脅威となっている。
既存の規制手法は通常、機能エンジニアリングや大規模トランザクショングラフマイニングを通じて悪意のあるアカウントを検出する。
しかし、大量のトランザクションデータと悪意のある攻撃により、これらの手法は、データ処理と異常検出の間、非効率性とロバスト性に悩まされる。
そこで本研究では,TGC4Ethと呼ばれるEthereumトランザクショングラフ圧縮手法を提案し,トランザクショングラフの特徴とトポロジを軽量化することにより,悪意のあるアカウント検出を支援する。
特徴レベルでは,特徴回避攻撃に対する検出モデルのロバスト性を改善するために,低重要度に基づくトランザクション特徴を選択し,トポロジレベルでは,トランザクショングラフの構造を圧縮する集中処理と粗大化処理を採用し,検出モデルのデータ処理と推論効率を両立させる。
TGC4Ethは、トランザクショングラフの接続性を維持しながら、既存の検出モデルの計算効率を大幅に向上することを示した。
さらに、TGC4Ethは既存の検出モデルで安定した性能を維持し、機能回避攻撃に対して高い堅牢性を示すことができる。
Ethereum has become one of the primary global platforms for cryptocurrency, playing an important role in promoting the diversification of the financial ecosystem. However, the relative lag in regulation has led to a proliferation of malicious activities in Ethereum, posing a serious threat to fund security. Existing regulatory methods usually detect malicious accounts through feature engineering or large-scale transaction graph mining. However, due to the immense scale of transaction data and malicious attacks, these methods suffer from inefficiency and low robustness during data processing and anomaly detection. In this regard, we propose an Ethereum Transaction Graph Compression method named TGC4Eth, which assists malicious account detection by lightweighting both features and topology of the transaction graph. At the feature level, we select transaction features based on their low importance to improve the robustness of the subsequent detection models against feature evasion attacks; at the topology level, we employ focusing and coarsening processes to compress the structure of the transaction graph, thereby improving both data processing and inference efficiency of detection models. Extensive experiments demonstrate that TGC4Eth significantly improves the computational efficiency of existing detection models while preserving the connectivity of the transaction graph. Furthermore, TGC4Eth enables existing detection models to maintain stable performance and exhibit high robustness against feature evasion attacks. | 翻訳日:2024-07-02 14:00:18 公開日:2024-06-29 |
| # 知識編集の観点からの大規模言語モデルバイアス軽減
Large Language Model Bias Mitigation from the Perspective of Knowledge Editing ( http://arxiv.org/abs/2405.09341v2 ) ライセンス: Link先を確認 | Ruizhe Chen, Yichen Li, Zikai Xiao, Zuozhu Liu, | (参考訳) 既存のデバイアス法は、必然的に不合理または望ましくない予測を、異なる社会グループ間で同等に評価され、個々の事実を放棄し、既存の知識を改変する。
本稿では,まず,既存および追加構築されたデータセットを活用するバイアス緩和ベンチマークBiasKEを構築し,公正性,特異性,一般化の相補的指標を用いて,バイアス低減性能を体系的に評価する。
一方,個々人のバイアス知識を微調整することで,編集可能な公平性を実現するための,新しい脱バイアス手法であるFairness Stamp(FAST)を提案する。
総合的な実験により、FASTは、知識保存のための全体的なモデル能力を妨げることなく、顕著なデバイアス性能で最先端のベースラインを超えることが示され、LLMの編集可能な公平性のためのきめ細かいデバイアス戦略の見通しが強調された。
Existing debiasing methods inevitably make unreasonable or undesired predictions as they are designated and evaluated to achieve parity across different social groups but leave aside individual facts, resulting in modified existing knowledge. In this paper, we first establish a new bias mitigation benchmark BiasKE leveraging existing and additional constructed datasets, which systematically assesses debiasing performance by complementary metrics on fairness, specificity, and generalization. Meanwhile, we propose a novel debiasing method, Fairness Stamp (FAST), which enables editable fairness through fine-grained calibration on individual biased knowledge. Comprehensive experiments demonstrate that FAST surpasses state-of-the-art baselines with remarkable debiasing performance while not hampering overall model capability for knowledge preservation, highlighting the prospect of fine-grained debiasing strategies for editable fairness in LLMs. | 翻訳日:2024-07-02 14:00:18 公開日:2024-06-29 |
| # マクロ電流からの光子放出
Photon emission from macroscopic currents ( http://arxiv.org/abs/2405.10279v2 ) ライセンス: Link先を確認 | Rainer Dick, | (参考訳) コヒーレント状態は、光子の観点から電磁波を記述するための量子光学の確立されたツールである。
しかし、これらは放射源の近距離場機構を記述していない。
代わりに、マクスウェル方程式の古典的な解を用いて近距離場状態の放射を記述する。
古典的な解は電流と放出される電磁場の間の線形関係を提供するが、量子レベルの状態の進化は光子作用素を含むユニタリ時間進化作用素によって進行する。
このbegsは、古典的な放射方程式がユニタリ量子進化とどのように関連しているか、そして基本光子の観点からアンテナや磁気コイルからのマクロ場を記述する方法について疑問を呈する。
本稿では,放射光発生器の一般化されたグラウバー状態の構築を通じて,両方の疑問に答える。
Coherent states are a well-established tool of quantum optics to describe electromagnetic waves in terms of photons. However, they do not describe the near-field regime of radiation sources. Instead, we generically use classical solutions of Maxwell's equations to describe radiation in the near-field regime. The classical solutions provide linear relations between currents and emitted electromagnetic fields, whereas evolution of states at the quantum level proceeds through unitary time evolution operators involving photon operators. This begs questions how the classical radiation equations relate to unitary quantum evolution, and how we can describe macroscopic fields from antennas or magnetic coils in terms of elementary photons. The present paper answers both questions through the construction of generalized Glauber states for radiation emitters. | 翻訳日:2024-07-02 14:00:18 公開日:2024-06-29 |
| # ディープニューラルネットワークの非対称な谷の探索と爆発
Exploring and Exploiting the Asymmetric Valley of Deep Neural Networks ( http://arxiv.org/abs/2405.12489v3 ) ライセンス: Link先を確認 | Xin-Chun Li, Jin-Lin Tang, Bo Zhang, Lan Li, De-Chuan Zhan, | (参考訳) ロスランドスケープの探索は、ディープニューラルネットワーク(DNN)の本質的な原則に関する洞察を提供する。
最近の研究は、平らな谷と鋭い谷の向こうの谷の非対称性を示唆しているが、その原因や意味を徹底的に調べることはなかった。
本研究は,(1)収束点に影響を与えるデータセット,ネットワークアーキテクチャ,初期化,ハイパーパラメータ,(2)1次元可視化のためのノイズの大きさと方向など,DNN谷の対称性に影響を与える要因を定量的に検討する。
我々の主要な観測は、ノイズと収束点の間の符号整合度が谷対称性の臨界指標であることを示している。
ReLUの活性化とソフトマックス関数の側面からの理論的な洞察は、興味深い現象を説明できるかもしれない。
我々は,モデル融合のシナリオにおける新しい理解と応用を提唱する:(1) 分離モデルの補間の有効性は,その符号整合率と著しく相関し,(2) フェデレート学習における符号整合がモデルパラメータ整合の革新的なアプローチとして出現する。
Exploring the loss landscape offers insights into the inherent principles of deep neural networks (DNNs). Recent work suggests an additional asymmetry of the valley beyond the flat and sharp ones, yet without thoroughly examining its causes or implications. Our study methodically explores the factors affecting the symmetry of DNN valleys, encompassing (1) the dataset, network architecture, initialization, and hyperparameters that influence the convergence point; and (2) the magnitude and direction of the noise for 1D visualization. Our major observation shows that the {\it degree of sign consistency} between the noise and the convergence point is a critical indicator of valley symmetry. Theoretical insights from the aspects of ReLU activation and softmax function could explain the interesting phenomenon. Our discovery propels novel understanding and applications in the scenario of Model Fusion: (1) the efficacy of interpolating separate models significantly correlates with their sign consistency ratio, and (2) imposing sign alignment during federated learning emerges as an innovative approach for model parameter alignment. | 翻訳日:2024-07-02 14:00:18 公開日:2024-06-29 |
| # エントロピーストップ:ロスエントロピーを用いた教師なしディープ・アウトリア検出
EntropyStop: Unsupervised Deep Outlier Detection with Loss Entropy ( http://arxiv.org/abs/2405.12502v3 ) ライセンス: Link先を確認 | Yihong Huang, Yuang Zhang, Liping Wang, Fan Zhang, Xuemin Lin, | (参考訳) Unsupervised Outlier Detection (UOD) は重要なデータマイニングタスクである。
ディープラーニングの進歩により、Deep Outlier Detection (OD) は広く関心を集めている。
ほとんどの深い UOD モデルは、通常のデータの分布を学ぶために、クリーンなデータセットにのみ訓練されている。
クリーンなデータセットに頼る代わりに、ラベルのない汚染データセットを直接トレーニングし、検出するアプローチもある。
エンサンブル法は、汚染されたトレーニングセットに対するモデルロバスト性を高めるための優れた解として現れた。
しかし、アンサンブルによりトレーニング時間が大幅に向上する。
本研究では, 未ラベル汚染データセットのトレーニングを中止し, 性能劣化に先立って, トレーニングフェーズにおけるアウトレーヤの影響について検討する。
当初我々は、正常データと異常データを混在させることで、AUCの変動が生じることを指摘した。
ラベルの必要性を回避するため,ロスエントロピー (Loss Entropy) というゼロラベルのエントロピー尺度を提案する。
一方,エントロピー測定値とラベルに基づくAUCとの負の相関を理論的に示す。
これに基づいて、損失エントロピーが最大モデル検出能力を示す場合のトレーニングを停止する自動早期停止アルゴリズムEntropyStopを開発した。
我々はADBench(47個の実データセットを含む)の広範な実験を行い、全体的な結果は、私たちのアプローチによって強化されたAutoEncoder(AE)が、AEのアンサンブルよりも優れたパフォーマンスを達成するだけでなく、トレーニング時間の26%以下の時間も必要であることを示している。
最後に,提案手法を他の深部ODモデルで評価し,その適用可能性について検討した。
Unsupervised Outlier Detection (UOD) is an important data mining task. With the advance of deep learning, deep Outlier Detection (OD) has received broad interest. Most deep UOD models are trained exclusively on clean datasets to learn the distribution of the normal data, which requires huge manual efforts to clean the real-world data if possible. Instead of relying on clean datasets, some approaches directly train and detect on unlabeled contaminated datasets, leading to the need for methods that are robust to such conditions. Ensemble methods emerged as a superior solution to enhance model robustness against contaminated training sets. However, the training time is greatly increased by the ensemble. In this study, we investigate the impact of outliers on the training phase, aiming to halt training on unlabeled contaminated datasets before performance degradation. Initially, we noted that blending normal and anomalous data causes AUC fluctuations, a label-dependent measure of detection accuracy. To circumvent the need for labels, we propose a zero-label entropy metric named Loss Entropy for loss distribution, enabling us to infer optimal stopping points for training without labels. Meanwhile, we theoretically demonstrate negative correlation between entropy metric and the label-based AUC. Based on this, we develop an automated early-stopping algorithm, EntropyStop, which halts training when loss entropy suggests the maximum model detection capability. We conduct extensive experiments on ADBench (including 47 real datasets), and the overall results indicate that AutoEncoder (AE) enhanced by our approach not only achieves better performance than ensemble AEs but also requires under 2\% of training time. Lastly, our proposed metric and early-stopping approach are evaluated on other deep OD models, exhibiting their broad potential applicability. | 翻訳日:2024-07-02 14:00:18 公開日:2024-06-29 |
| # 量子パリティ検出器:希少探索のためのmeVしきい値を用いた量子ビット型粒子検出方式
Quantum Parity Detectors: a qubit based particle detection scheme with meV thresholds for rare-event searches ( http://arxiv.org/abs/2405.17192v2 ) ライセンス: Link先を確認 | Karthik Ramanathan, John E. Parker, Lalit M. Joshi, Andrew D. Beyer, Pierre M. Echternach, Serge Rosenblum, Brandon J. Sandoval, Sunil R. Golwala, | (参考訳) 粒子暗黒物質の性質を決定することや基本ニュートリノ特性を測定することを目的とした、次世代の希少物質探索は、現在より100-1000倍低いmeVスケールでしきい値を持つ粒子検出器の恩恵を受ける。
量子パリティ検出器(QPD)は、超伝導量子ビットの膨大な感度を利用して準粒子トンネル現象を検知する新しい種類の量子デバイスである。
想定されたように、結晶基板内の粒子相互作用によって生成されたフォノンは、表面パターンの超伝導量子ビット要素内で最終的に準粒子カスケードを引き起こす。
このプロセスはデバイスの基本電荷パリティを二進法で変更し、エネルギー沈着の初期特性を導出することができる。
我々は,QPDの動作機構,ノイズ源,および期待感度を,電荷量子ビット型および読み出し機構のスペクトルに基づいて明らかにし,サブeVエネルギ沈着に対する感度を示すためのR&D経路を詳述する。
The next generation of rare-event searches, such as those aimed at determining the nature of particle dark matter or in measuring fundamental neutrino properties, will benefit from particle detectors with thresholds at the meV scale, 100-1000x lower than currently available. Quantum parity detectors (QPDs) are a novel class of proposed quantum devices that use the tremendous sensitivity of superconducting qubits to quasiparticle tunneling events as their detection concept. As envisioned, phonons generated by particle interactions within a crystalline substrate cause an eventual quasiparticle cascade within a surface patterned superconducting qubit element. This process alters the fundamental charge parity of the device in a binary manner, which can be used to deduce the initial properties of the energy deposition. We lay out the operating mechanism, noise sources, and expected sensitivity of QPDs based on a spectrum of charge-qubit types and readout mechanisms and detail an R&D pathway to demonstrating sensitivity to sub-eV energy deposits. | 翻訳日:2024-07-02 13:50:34 公開日:2024-06-29 |
| # 負のサンプルマイニングによるタンパク質言語モデルの構築
Boosting Protein Language Models with Negative Sample Mining ( http://arxiv.org/abs/2405.17902v2 ) ライセンス: Link先を確認 | Yaoyao Xu, Xinjian Zhao, Xiaozhuang Song, Benyou Wang, Tianshu Yu, | (参考訳) 本稿では,タンパク質表現学習分野における大規模言語モデル向上のための先駆的手法を提案する。
我々の主な貢献は、共進化の知識の過度な信頼性を関連付けるための改良プロセスであり、ネットワークは異なるカテゴリから得られるタンパク質対によって構成される負のサンプルから貴重な洞察を抽出するように訓練されている。
本手法は,この新たなアプローチを活かして,注目スコア空間内でのトランスフォーマーベースモデルのトレーニングを支援する。
この先進的な戦略は、性能を増幅するだけでなく、タンパク質によって示されるニュアンスな生物学的挙動を反映し、タンパク質とタンパク質の相互作用のような従来の生物学的メカニズムと整合した証拠を提供する。
確立された大規模タンパク質モデルを用いて,データセット上での各種タスクの性能向上を実験的に観察した。
この革新的なパラダイムは、タンパク質研究と計算生物学の領域でさらなる進歩を期待できる地平を開く。
We introduce a pioneering methodology for boosting large language models in the domain of protein representation learning. Our primary contribution lies in the refinement process for correlating the over-reliance on co-evolution knowledge, in a way that networks are trained to distill invaluable insights from negative samples, constituted by protein pairs sourced from disparate categories. By capitalizing on this novel approach, our technique steers the training of transformer-based models within the attention score space. This advanced strategy not only amplifies performance but also reflects the nuanced biological behaviors exhibited by proteins, offering aligned evidence with traditional biological mechanisms such as protein-protein interaction. We experimentally observed improved performance on various tasks over datasets, on top of several well-established large protein models. This innovative paradigm opens up promising horizons for further progress in the realms of protein research and computational biology. | 翻訳日:2024-07-02 13:50:34 公開日:2024-06-29 |
| # 空間データインテリジェンスの基礎モデルに関する研究 : 中国における空間データインテリジェンスの戦略的発展に関する2024年の白書
Research on Foundation Model for Spatial Data Intelligence: China's 2024 White Paper on Strategic Development of Spatial Data Intelligence ( http://arxiv.org/abs/2405.19730v2 ) ライセンス: Link先を確認 | Shaohua Wang, Xing Xie, Yong Li, Danhuai Guo, Zhi Cai, Yu Liu, Yang Yue, Xiao Pan, Feng Lu, Huayi Wu, Zhipeng Gui, Zhiming Ding, Bolong Zheng, Fuzheng Zhang, Tao Qin, Jingyuan Wang, Chuang Tao, Zhengchao Chen, Hao Lu, Jiayi Li, Hongyang Chen, Peng Yue, Wenhao Yu, Yao Yao, Leilei Sun, Yong Zhang, Longbiao Chen, Xiaoping Du, Xiang Li, Xueying Zhang, Kun Qin, Zhaoya Gong, Weihua Dong, Xiaofeng Meng, | (参考訳) 本報告では、これらのモデルの原理、手法、最先端の応用を探求する、空間データインテリジェントな大規模モデルに焦点を当てる。
これは、空間データインテリジェントな大規模モデルの定義、開発履歴、現状、トレンド、そしてそれらが直面する課題について、詳細な議論を提供する。
本報告では, 都市環境, 航空宇宙リモートセンシング, 地理, 交通, その他のシナリオにおける空間データ知能大規模モデルの重要技術とその応用を体系的に解明する。
さらに,都市開発,マルチモーダルシステム,リモートセンシング,スマートトランスポート,資源環境といったテーマにおける空間データインテリジェントな大規模モデルの適用事例をまとめた。
最後に、このレポートは、空間データインテリジェントな大規模モデルの開発展望の概要と展望をまとめて締めくくっている。
This report focuses on spatial data intelligent large models, delving into the principles, methods, and cutting-edge applications of these models. It provides an in-depth discussion on the definition, development history, current status, and trends of spatial data intelligent large models, as well as the challenges they face. The report systematically elucidates the key technologies of spatial data intelligent large models and their applications in urban environments, aerospace remote sensing, geography, transportation, and other scenarios. Additionally, it summarizes the latest application cases of spatial data intelligent large models in themes such as urban development, multimodal systems, remote sensing, smart transportation, and resource environments. Finally, the report concludes with an overview and outlook on the development prospects of spatial data intelligent large models. | 翻訳日:2024-07-02 13:50:34 公開日:2024-06-29 |
| # 時間経過に伴う反現実的回帰のための因果的コントラスト学習
Causal Contrastive Learning for Counterfactual Regression Over Time ( http://arxiv.org/abs/2406.00535v2 ) ライセンス: Link先を確認 | Mouad El Bouchattaoui, Myriam Tami, Benoit Lepetit, Paul-Henry Cournède, | (参考訳) 時間とともに治療効果を推定することは、精密医療、疫学、経済、マーケティングなど様々な領域において重要である。
本稿では, 長期予測を重視した, 反実的回帰に対するユニークなアプローチを提案する。
Causal Transformerのような既存のモデルから切り離し、我々のアプローチは、Contrastive Predictive Coding (CPC) と Information Max (InfoMax) が補完する長期予測にRNNを使うことの有効性を強調します。
効率性を強調するため、計算コストのかかる変換器は不要である。
提案手法は,CPCを活用することで,時間変化のある共同創設者の存在下での長期的依存関係を捉える。
特に、最近のモデルは、識別の前提を妥協して、可逆表現の重要性を無視している。
これを改善するためにInfoMaxの原理を用い、シーケンスデータとその表現間の相互情報の低境界を最大化する。
提案手法は,因果推論におけるContrastive Predictive Encodingの先駆的導入を示す合成データと実世界のデータの両方を用いて,最先端の対物推定結果を実現する。
Estimating treatment effects over time holds significance in various domains, including precision medicine, epidemiology, economy, and marketing. This paper introduces a unique approach to counterfactual regression over time, emphasizing long-term predictions. Distinguishing itself from existing models like Causal Transformer, our approach highlights the efficacy of employing RNNs for long-term forecasting, complemented by Contrastive Predictive Coding (CPC) and Information Maximization (InfoMax). Emphasizing efficiency, we avoid the need for computationally expensive transformers. Leveraging CPC, our method captures long-term dependencies in the presence of time-varying confounders. Notably, recent models have disregarded the importance of invertible representation, compromising identification assumptions. To remedy this, we employ the InfoMax principle, maximizing a lower bound of mutual information between sequence data and its representation. Our method achieves state-of-the-art counterfactual estimation results using both synthetic and real-world data, marking the pioneering incorporation of Contrastive Predictive Encoding in causal inference. | 翻訳日:2024-07-02 13:50:34 公開日:2024-06-29 |
| # 極低リソースプログラミング言語におけるテキストからコードへの合成プログラミングの励磁と補修
Synthetic Programming Elicitation and Repair for Text-to-Code in Very Low-Resource Programming Languages ( http://arxiv.org/abs/2406.03636v3 ) ライセンス: Link先を確認 | Federico Mora, Justin Wong, Haley Lepe, Sahil Bhatia, Karim Elmaaroufi, George Varghese, Joseph E. Gonzalez, Elizabeth Polgreen, Sanjit A. Seshia, | (参考訳) コードアプリケーションのための大規模言語モデル(LLM)の最近の進歩は、テストケース生成から自己修復まで、コードに関連する課題に追従する、目覚ましいゼロショットの流速と命令を実証している。
しかし、当然のことながら、モデルは非常に低リソースのプログラミング言語 (VLPL) と呼ばれる事前学習で表現されていないプログラミング言語において、構文的に有効なプログラムを構成するのに苦労している。
VLPLは、内部ツール用のドメイン固有言語やレガシー言語用のツールチェーンなど、重要な設定で表示される。
そこで本研究では,LLMs ``naturally'' が使用方法を知っていて,対象の VLPL に自動的にコンパイル可能な中間言語を設計することを提案する。
LLMが中間言語外にあるコードを生成するとき、コンパイラ技術を使って中間言語のプログラムにコードを修復する。
SPEAC(emph{synthetic programming elicitation and compilation})は,LLMがVLPLでも構文的に有効なコードを生成することができる手法である。
ケーススタディにおいて,SPEACの性能を実証的に評価し,既存の検索基準や微調整基準と比較すると,意味的正当性を犠牲にすることなく,構文的正当性を著しく向上することがわかった。
Recent advances in large language models (LLMs) for code applications have demonstrated remarkable zero-shot fluency and instruction following on challenging code related tasks ranging from test case generation to self-repair. Unsurprisingly, however, models struggle to compose syntactically valid programs in programming languages unrepresented in pre-training, referred to as very low-resource Programming Languages (VLPLs). VLPLs appear in crucial settings, including domain-specific languages for internal tools and tool-chains for legacy languages. Inspired by an HCI technique called natural program elicitation, we propose designing an intermediate language that LLMs ``naturally'' know how to use and which can be automatically compiled to a target VLPL. When LLMs generate code that lies outside of this intermediate language, we use compiler techniques to repair the code into programs in the intermediate language. Overall, we introduce \emph{synthetic programming elicitation and compilation} (SPEAC), an approach that enables LLMs to generate syntactically valid code even for VLPLs. We empirically evaluate the performance of SPEAC in a case study and find that, compared to existing retrieval and fine-tuning baselines, SPEAC produces syntactically correct programs significantly more frequently without sacrificing semantic correctness. | 翻訳日:2024-07-02 13:40:49 公開日:2024-06-29 |
| # 活動認識におけるクロスパーソン一般化のためのドメイン内およびドメイン間アクティビティスタイルフュージョン
Diverse Intra- and Inter-Domain Activity Style Fusion for Cross-Person Generalization in Activity Recognition ( http://arxiv.org/abs/2406.04609v2 ) ライセンス: Link先を確認 | Junru Zhang, Lang Feng, Zhidan Liu, Yuhan Wu, Yang He, Yabo Dong, Duanqing Xu, | (参考訳) 対人一般化タスクのための既存のドメイン一般化(DG)手法は、しばしばドメイン内およびドメイン間スタイルの多様性を捉える際の課題に直面し、その結果、対象ドメインとのドメインギャップが生じる。
本研究では,ドメインパディングとして概念化されたプロセスである,この問題に対処するための新しい視点を探求する。
本提案は,クラスラベルに対するロバスト性を維持しつつ,ドメイン内およびドメイン間スタイルデータを合成することにより,ドメインの多様性を高めることを目的とする。
条件付き拡散モデルを用いてこの概念をインスタンス化し、データ生成の多様性を高めるためのスタイル融合サンプリング戦略を導入する。
従来の条件誘導サンプリングとは対照的に、我々のスタイル融合サンプリング戦略は、1つ以上のランダムなスタイルを柔軟に利用してデータ合成をガイドすることができる。
既存のスタイル間で可能な置換と組み合わせを最大限に活用し、幅広い種類の新しいスタイルインスタンスを生成することができる。
幅広いデータセットに対する実証的な評価は、生成したデータがドメイン空間内で顕著な多様性を達成することを示す。
ドメイン内のデータとドメイン間のデータの両方が重要で価値があり、さまざまなパフォーマンス向上に寄与している。
特に,本手法は,人間の活動認識タスクにおいて,最先端のDG手法よりも優れている。
Existing domain generalization (DG) methods for cross-person generalization tasks often face challenges in capturing intra- and inter-domain style diversity, resulting in domain gaps with the target domain. In this study, we explore a novel perspective to tackle this problem, a process conceptualized as domain padding. This proposal aims to enrich the domain diversity by synthesizing intra- and inter-domain style data while maintaining robustness to class labels. We instantiate this concept using a conditional diffusion model and introduce a style-fused sampling strategy to enhance data generation diversity. In contrast to traditional condition-guided sampling, our style-fused sampling strategy allows for the flexible use of one or more random styles to guide data synthesis. This feature presents a notable advancement: it allows for the maximum utilization of possible permutations and combinations among existing styles to generate a broad spectrum of new style instances. Empirical evaluations on a broad range of datasets demonstrate that our generated data achieves remarkable diversity within the domain space. Both intra- and inter-domain generated data have proven to be significant and valuable, contributing to varying degrees of performance enhancements. Notably, our approach outperforms state-of-the-art DG methods in all human activity recognition tasks. | 翻訳日:2024-07-02 13:40:49 公開日:2024-06-29 |
| # どのバックボーンを使うべきか:コンピュータビジョンのためのリソース効率の良いドメイン特化比較
Which Backbone to Use: A Resource-efficient Domain Specific Comparison for Computer Vision ( http://arxiv.org/abs/2406.05612v2 ) ライセンス: Link先を確認 | Pranav Jeevan, Amit Sethi, | (参考訳) 現代のコンピュータビジョンアプリケーション、特に画像分類において、ImageNetのような大規模なデータセットで事前訓練されたアーキテクチャバックボーンは、一般的に特徴抽出器として使用される。
これらの事前訓練された畳み込みニューラルネットワーク(CNN)が広く使用されているにもかかわらず、さまざまなドメインやデータセットサイズにわたる、リソース効率のよいバックボーンのパフォーマンスを理解するには、依然としてギャップがある。
本研究は,自然画像,医用画像,銀河画像,リモートセンシング画像など,さまざまなデータセットに対して一貫したトレーニング設定の下で,複数の軽量で事前訓練されたCNNバックボーンを体系的に評価する。
この包括的な分析は、機械学習の実践者が特定の問題に最も適したバックボーンを選択するのを助けることを目的としている。
注目に基づくアーキテクチャが人気を博しているが、CNNに比べて低いデータ微調整作業では性能が低い傾向が見られた。
また、ConvNeXt、RegNet、EfficientNetなどのCNNアーキテクチャは、さまざまなドメインセットにおいて、他のアーキテクチャと比較して、一貫したパフォーマンスを保っています。
本研究は,様々なバックボーンの性能トレードオフと有効性に関する実用的な知見を提供し,コンピュータビジョン領域の幅広い領域におけるモデル選択における情報決定を容易にする。
私たちのコードはここにある。 https://github.com/pranavphoenix/Backbones
In contemporary computer vision applications, particularly image classification, architectural backbones pre-trained on large datasets like ImageNet are commonly employed as feature extractors. Despite the widespread use of these pre-trained convolutional neural networks (CNNs), there remains a gap in understanding the performance of various resource-efficient backbones across diverse domains and dataset sizes. Our study systematically evaluates multiple lightweight, pre-trained CNN backbones under consistent training settings across a variety of datasets, including natural images, medical images, galaxy images, and remote sensing images. This comprehensive analysis aims to aid machine learning practitioners in selecting the most suitable backbone for their specific problem, especially in scenarios involving small datasets where fine-tuning a pre-trained network is crucial. Even though attention-based architectures are gaining popularity, we observed that they tend to perform poorly under low data finetuning tasks compared to CNNs. We also observed that some CNN architectures such as ConvNeXt, RegNet and EfficientNet performs well compared to others on a diverse set of domains consistently. Our findings provide actionable insights into the performance trade-offs and effectiveness of different backbones, facilitating informed decision-making in model selection for a broad spectrum of computer vision domains. Our code is available here: https://github.com/pranavphoenix/Backbones | 翻訳日:2024-07-02 13:30:57 公開日:2024-06-29 |
| # OccamLLM: 高速かつエクササイズな言語モデル
OccamLLM: Fast and Exact Language Model Arithmetic in a Single Step ( http://arxiv.org/abs/2406.06576v3 ) ライセンス: Link先を確認 | Owen Dugan, Donato Manuel Jimenez Beneto, Charlotte Loh, Zhuo Chen, Rumen Dangovski, Marin Soljačić, | (参考訳) テキスト生成と推論の大幅な進歩にもかかわらず、Large Language Models (LLM) は複雑な算術演算を正確に実行する際の課題に直面している。
正確な計算を実現するために、言語モデルシステムはしばしばLLMが算術演算のためのコードを生成することができる。
しかし、このアプローチはスピードとセキュリティを損なうため、微調整が関与すれば、言語モデルが以前の能力を失うリスクがある。
本稿では,より高速で,よりセキュアで,より解釈可能なLLMシステムを実現するためのフレームワークを提案する。
我々は,LLMの隠れ状態を用いて,演算を行う記号的アーキテクチャを制御する。
シンボリックモデル(OccamLlama)としてOccamNetを用いたLlama 3 8Bのインストラクションは、単一の算術演算(+,-,\times,\div,\sin{},\cos{},\log{},\exp{},\sqrt{}$)で100\%の精度を実現し、GPT 4oを上回り、コードインタプリタを使用してGPT 4oと同等の精度を実現した。
OccamLlamaは、計算に挑戦するベンチマークを含む数学的な問題を解くためのコードインタプリタでGPT 4oより優れており、小さなLLMはより大きなモデルの算術的性能に匹敵する。
私たちはすぐにコードを公開します。
Despite significant advancements in text generation and reasoning, Large Language Models (LLMs) still face challenges in accurately performing complex arithmetic operations. To achieve accurate calculations, language model systems often enable LLMs to generate code for arithmetic operations. However, this approach compromises speed and security and, if finetuning is involved, risks the language model losing prior capabilities. We propose a framework that enables exact arithmetic in \textit{a single autoregressive step}, providing faster, more secure, and more interpretable LLM systems with arithmetic capabilities. We use the hidden states of an LLM to control a symbolic architecture which performs arithmetic. Our implementation using Llama 3 8B Instruct with OccamNet as a symbolic model (OccamLlama) achieves 100\% accuracy on single arithmetic operations ($+,-,\times,\div,\sin{},\cos{},\log{},\exp{},\sqrt{}$), outperforming GPT 4o and on par with GPT 4o using a code interpreter. OccamLlama also outperforms GPT 4o both with and without a code interpreter on mathematical problem solving benchmarks involving challenging arithmetic, thus enabling small LLMs to match the arithmetic performance of even much larger models. We will make our code public shortly. | 翻訳日:2024-07-02 13:30:57 公開日:2024-06-29 |
| # Ents: コミュニケーション最適化による決定木のための効率的な3要素学習フレームワーク
Ents: An Efficient Three-party Training Framework for Decision Trees by Communication Optimization ( http://arxiv.org/abs/2406.07948v3 ) ライセンス: Link先を確認 | Guopeng Lin, Weili Han, Wenqiang Ruan, Ruisheng Zhou, Lushan Song, Bingshuai Li, Yunfeng Shao, | (参考訳) セキュアなマルチパーティ計算に基づく意思決定ツリーのためのマルチパーティトレーニングフレームワークにより、複数のパーティが、プライバシ保護を備えた分散プライベートデータ上で、高性能モデルをトレーニングすることができる。
トレーニングプロセスは基本的に、分割基準に従って頻繁にデータセット分割を行う(e g Gini impurity)。
しかし,決定木に対する既存のマルチパーティトレーニングフレームワークは,(1)連続的な属性を持つデータセットを安全に分割する際の通信オーバーヘッドの増大に悩まされている。
2) 分割基準に対するセキュアな計算に適合するため, 大規模リング上でほぼ全ての計算を行うため, 通信オーバーヘッドの増大に悩まされる。
本稿では,コミュニケーション最適化による意思決定木のための効率的な3要素学習フレームワークであるEntsを提案する。
最初の問題として、セキュアなradixソートプロトコルに基づく一連のトレーニングプロトコルを提示し、データセットを連続的な属性で効率的に安全に分割する。
2つ目の問題として,大規模リング上でほぼ全ての計算を行うことで発生する通信オーバーヘッドを低減するために,小リングと大リング間で共有を変換する効率的な共有変換プロトコルを提案する。
8つの広く使われているデータセットによる実験結果によると、Entsは最先端のフレームワークを5.5\times \sim 9.3\times$と3.9\times \sim 5.3\times$で上回っている。
トレーニング時間の面では、Ents は $3.5\times \sim 6.7\times$ である。
その実用性を示すために、Entsは、WAN設定で245,000以上のサンプルを使用して、広く使用されている実世界のデータセット(Skin Segmentation)上で、決定ツリーをセキュアにトレーニングするのに3時間もかからない。
Multi-party training frameworks for decision trees based on secure multi-party computation enable multiple parties to train high-performance models on distributed private data with privacy preservation. The training process essentially involves frequent dataset splitting according to the splitting criterion (e.g. Gini impurity). However, existing multi-party training frameworks for decision trees demonstrate communication inefficiency due to the following issues: (1) They suffer from huge communication overhead in securely splitting a dataset with continuous attributes. (2) They suffer from huge communication overhead due to performing almost all the computations on a large ring to accommodate the secure computations for the splitting criterion. In this paper, we are motivated to present an efficient three-party training framework, namely Ents, for decision trees by communication optimization. For the first issue, we present a series of training protocols based on the secure radix sort protocols to efficiently and securely split a dataset with continuous attributes. For the second issue, we propose an efficient share conversion protocol to convert shares between a small ring and a large ring to reduce the communication overhead incurred by performing almost all the computations on a large ring. Experimental results from eight widely used datasets show that Ents outperforms state-of-the-art frameworks by $5.5\times \sim 9.3\times$ in communication sizes and $3.9\times \sim 5.3\times$ in communication rounds. In terms of training time, Ents yields an improvement of $3.5\times \sim 6.7\times$. To demonstrate its practicality, Ents requires less than three hours to securely train a decision tree on a widely used real-world dataset (Skin Segmentation) with more than 245,000 samples in the WAN setting. | 翻訳日:2024-07-02 13:30:57 公開日:2024-06-29 |
| # 機械学習とデータマイニング法を用いたデータの効果的なソフトウェアリスク予測管理分析
An Effective Software Risk Prediction Management Analysis of Data Using Machine Learning and Data Mining Method ( http://arxiv.org/abs/2406.09463v2 ) ライセンス: Link先を確認 | Jinxin Xu, Yue Wang, Ruisi Li, Ziyue Wang, Qian Zhao, | (参考訳) 高品質なソフトウェア開発プロセスを保証するためには、リスク管理が不可欠です。
さらに、リスクは組織の運用やプロジェクトの進捗に悪影響を及ぼす可能性があるものなのです。
ソフトウェアプロジェクトのリスクの適切な優先順位付けは、ソフトウェアプロジェクトのパフォーマンス機能と最終的な成功を確認する上で重要な要素である。
同じトレーニングサンプルと調和して使用することができ、相補性と互換性がよい。
我々は、4つのベンチマークデータセットの詳細なテストを行い、秘密世界とオープン世界のシナリオにおけるCIAのアプローチの有効性を、防御なしで確認した。
また、最新のディープラーニングWF攻撃モデルの相互依存性をキャプチャする逐次拡張パラメータ最適化手法を提案する。
ソフトウェアリスクを正確に評価するために、ANFIS設定を変更するために拡張クローサーチアルゴリズム(ECSA)が使用される。
局所最適値をわずかに変化して内部に留まる解はECSAを用いて抽出される。
ANFIS技術を利用する場合のANFIS変数。
NASA 93のデータセットと93のソフトウェアプロジェクトによる実験的な検証が行われた。
本手法のアウトプットは,プロジェクトのパフォーマンスを達成する上で不可欠なソフトウェアリスク要素の明確なイメージを提示する。
実験の結果,従来の手法と比較すると,ソフトウェアプロジェクトのリスク評価において,統合ファジィ手法がより正確かつ効果的に機能できることが示唆された。
For one to guarantee higher-quality software development processes, risk management is essential. Furthermore, risks are those that could negatively impact an organization's operations or a project's progress. The appropriate prioritisation of software project risks is a crucial factor in ascertaining the software project's performance features and eventual success. They can be used harmoniously with the same training samples and have good complement and compatibility. We carried out in-depth tests on four benchmark datasets to confirm the efficacy of our CIA approach in closed-world and open-world scenarios, with and without defence. We also present a sequential augmentation parameter optimisation technique that captures the interdependencies of the latest deep learning state-of-the-art WF attack models. To achieve precise software risk assessment, the enhanced crow search algorithm (ECSA) is used to modify the ANFIS settings. Solutions that very slightly alter the local optimum and stay inside it are extracted using the ECSA. ANFIS variable when utilising the ANFIS technique. An experimental validation with NASA 93 dataset and 93 software project values was performed. This method's output presents a clear image of the software risk elements that are essential to achieving project performance. The results of our experiments show that, when compared to other current methods, our integrative fuzzy techniques may perform more accurately and effectively in the evaluation of software project risks. | 翻訳日:2024-07-02 13:30:57 公開日:2024-06-29 |
| # 深層ニューラルネットワークにおけるメタ学習損失関数
Meta-Learning Loss Functions for Deep Neural Networks ( http://arxiv.org/abs/2406.09713v2 ) ライセンス: Link先を確認 | Christian Raymond, | (参考訳) 人間は、小さな例のセットだけを考えると、しばしば素早く効率的に複雑な新しい学習タスクを解くことができる。
対照的に、現代の人工知能システムは、最も基本的なタスクを解くのに数千から数百万の観測を必要とすることが多い。
メタラーニングは、同様の学習タスクから過去の経験を活用して、適切な帰納バイアスを学習システムに埋め込むことによって、この問題を解決することを目的としている。
歴史的に、オプティマイザやパラメータの初期化といったメタ学習コンポーネントのメソッドは、大幅なパフォーマンス向上をもたらした。
この論文は、しばしば見過ごされる損失関数のコンポーネントを通して、メタ学習の概念を探求し、パフォーマンスを改善することを目的としている。
損失関数は学習システムの重要な要素であり、一次学習の目的を表しており、その目的のために最適化するシステムの能力によって、成功が決定され、定量化される。
Humans can often quickly and efficiently solve complex new learning tasks given only a small set of examples. In contrast, modern artificially intelligent systems often require thousands or millions of observations in order to solve even the most basic tasks. Meta-learning aims to resolve this issue by leveraging past experiences from similar learning tasks to embed the appropriate inductive biases into the learning system. Historically methods for meta-learning components such as optimizers, parameter initializations, and more have led to significant performance increases. This thesis aims to explore the concept of meta-learning to improve performance, through the often-overlooked component of the loss function. The loss function is a vital component of a learning system, as it represents the primary learning objective, where success is determined and quantified by the system's ability to optimize for that objective successfully. | 翻訳日:2024-07-02 13:21:08 公開日:2024-06-29 |
| # サブターフュージへのシクロファンシー:大規模言語モデルにおけるリワードタンパの検討
Sycophancy to Subterfuge: Investigating Reward-Tampering in Large Language Models ( http://arxiv.org/abs/2406.10162v3 ) ライセンス: Link先を確認 | Carson Denison, Monte MacDiarmid, Fazl Barez, David Duvenaud, Shauna Kravec, Samuel Marks, Nicholas Schiefer, Ryan Soklaski, Alex Tamkin, Jared Kaplan, Buck Shlegeris, Samuel R. Bowman, Ethan Perez, Evan Hubinger, | (参考訳) 強化学習では、AIシステムが不特定のトレーニング目標のために高い報酬を受ける、望ましくない振る舞いを学ぶとき、仕様ゲームが発生する。
仕様ゲームは、サイコファンシーのような単純な行動から、報酬のテーパーのような洗練された行動まで様々で、モデルが自身の報酬メカニズムを直接変更する。
しかし、これらの悪質な行動は、探索によって発見されるには複雑すぎるかもしれない。
本稿では,言語モデル(LLM)アシスタントにおいて,発見が容易な仕様ゲームが,報酬テーパーを含む,より希少な,よりブレントな形式を実現するために一般化されるかどうかを考察する。
より洗練されたゲーム環境のカリキュラムを構築し、早期のカリキュラム環境におけるトレーニングが、残りの環境におけるより多くの仕様ゲームに繋がることを示した。
興味深いことに、LLMアシスタントは、カリキュラム全体を訓練し、ゼロショットを一般化して、自身の報酬関数を直接書き換える。
初期のカリキュラム環境をゲームするためにLLMをトレーニングすることは、軽減するが、後続の環境では報酬のテーパーを排除しない。
さらに、ゲーム可能な環境に無害トレーニングを加えることで、報酬の改ざんを防ぐことはできない。
これらの結果は、LLMが一般的な仕様ゲームからより悪質な報酬テーパーへと一般化でき、そのような振る舞いを除去するのは簡単ではないことを示している。
In reinforcement learning, specification gaming occurs when AI systems learn undesired behaviors that are highly rewarded due to misspecified training goals. Specification gaming can range from simple behaviors like sycophancy to sophisticated and pernicious behaviors like reward-tampering, where a model directly modifies its own reward mechanism. However, these more pernicious behaviors may be too complex to be discovered via exploration. In this paper, we study whether Large Language Model (LLM) assistants which find easily discovered forms of specification gaming will generalize to perform rarer and more blatant forms, up to and including reward-tampering. We construct a curriculum of increasingly sophisticated gameable environments and find that training on early-curriculum environments leads to more specification gaming on remaining environments. Strikingly, a small but non-negligible proportion of the time, LLM assistants trained on the full curriculum generalize zero-shot to directly rewriting their own reward function. Retraining an LLM not to game early-curriculum environments mitigates, but does not eliminate, reward-tampering in later environments. Moreover, adding harmlessness training to our gameable environments does not prevent reward-tampering. These results demonstrate that LLMs can generalize from common forms of specification gaming to more pernicious reward tampering and that such behavior may be nontrivial to remove. | 翻訳日:2024-07-02 13:21:08 公開日:2024-06-29 |
| # MALLM-GAN:多言語大言語モデル
MALLM-GAN: Multi-Agent Large Language Model as Generative Adversarial Network for Synthesizing Tabular Data ( http://arxiv.org/abs/2406.10521v2 ) ライセンス: Link先を確認 | Yaobin Ling, Xiaoqian Jiang, Yejin Kim, | (参考訳) ビッグデータの時代において、豊富なデータへのアクセスは研究を進める上で非常に重要です。
しかし、プライバシー上の懸念や高コストのため、特に医療領域では、そのようなデータはアクセスできないことが多い。
合成(タブラル)データの生成はこれに対処できるが、既存のモデルでは、データ不足を解決するという私たちの目的に反して、効果的にトレーニングするために大量のデータを必要とするのが普通である。
この課題に対処するために,GAN(Generative Adversarial Network)のアーキテクチャをエミュレートする大規模言語モデル(LLM)を利用した合成表データを生成する新しいフレームワークを提案する。
筆者らは,データ生成プロセスを文脈情報として取り入れ,LLMを最適化手法として活用することにより,サンプルサイズが小さい一般的なシナリオにおいて,合成データ生成の品質を著しく向上させる。
公開およびプライベートデータセットに対する実験結果から,実データのプライバシーを維持しつつ,下流タスクのための高品質な合成データの生成に関して,我々のモデルがいくつかの最先端モデルより優れていることが示された。
In the era of big data, access to abundant data is crucial for driving research forward. However, such data is often inaccessible due to privacy concerns or high costs, particularly in healthcare domain. Generating synthetic (tabular) data can address this, but existing models typically require substantial amounts of data to train effectively, contradicting our objective to solve data scarcity. To address this challenge, we propose a novel framework to generate synthetic tabular data, powered by large language models (LLMs) that emulates the architecture of a Generative Adversarial Network (GAN). By incorporating data generation process as contextual information and utilizing LLM as the optimizer, our approach significantly enhance the quality of synthetic data generation in common scenarios with small sample sizes. Our experimental results on public and private datasets demonstrate that our model outperforms several state-of-art models regarding generating higher quality synthetic data for downstream tasks while keeping privacy of the real data. | 翻訳日:2024-07-02 13:21:08 公開日:2024-06-29 |
| # ワントレーニングランにおけるデータ共有
Data Shapley in One Training Run ( http://arxiv.org/abs/2406.11011v2 ) ライセンス: Link先を確認 | Jiachen T. Wang, Prateek Mittal, Dawn Song, Ruoxi Jia, | (参考訳) Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。
しかし、既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要であり、大規模モデルへの応用を予見する。
さらに、学習アルゴリズムの実行によって生成されたモデルに対して、同じ属性スコアを生成するため、アルゴリズムの単一実行から得られた特定のモデルに対してターゲット属性を実行することはできない。
本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを提案する。
最も効率的な実装では、我々の手法は標準モデルトレーニングと比較して無視できる追加のランタイムを発生させる。
この劇的な効率改善により、ファンデーションモデル事前訓練ステージにデータ属性を初めて実行することが可能となる。
本稿では、データの事前学習に関する新たな知見を提供し、生成AIにおける著作権と事前学習データキュレーションについて論じるケーススタディをいくつか提示する。
Data Shapley provides a principled framework for attributing data's contribution within machine learning contexts. However, existing approaches require re-training models on different data subsets, which is computationally intensive, foreclosing their application to large-scale models. Furthermore, they produce the same attribution score for any models produced by running the learning algorithm, meaning they cannot perform targeted attribution towards a specific model obtained from a single run of the algorithm. This paper introduces In-Run Data Shapley, which addresses these limitations by offering scalable data attribution for a target model of interest. In its most efficient implementation, our technique incurs negligible additional runtime compared to standard model training. This dramatic efficiency improvement makes it possible to perform data attribution for the foundation model pretraining stage for the first time. We present several case studies that offer fresh insights into pretraining data's contribution and discuss their implications for copyright in generative AI and pretraining data curation. | 翻訳日:2024-07-02 13:21:08 公開日:2024-06-29 |
| # 入力のない2部交絡状態のワイトネスネットワークステアビリティ
Witnessing network steerability of every bipartite entangled state without inputs ( http://arxiv.org/abs/2406.11994v2 ) ライセンス: Link先を確認 | Shubhayan Sarkar, | (参考訳) 量子ステアリング(quantum steering)は、ある系における測定が別の系を操るか、あるいは変更できるかを検知できる非対称な量子非局所性である。
標準的な量子ステアリングのシナリオでは、絡み合っているがステアリングできない量子状態が存在することはよく知られている。
したがって、この点における長年の未解決問題は、すべての絡み合った状態のステアビリティが何らかの方法で活性化できるかどうかである。
本研究では, 量子ネットワークを考察し, 入力のないスワップステアリングシナリオに着目し, 計算可能なクロスノーム(CCN)基準に違反する任意の負部分転位(NPT)二分項状態と大規模な二分項状態に対応するネットワークステアビリティの線形証人を求める。
さらに、信頼された当事者が入ってくるサブシステムのトモグラフィーを行うことができることを考慮し、各二部交絡状態のスワップステアビリティを目撃する線形不等式を構築する。
したがって、全ての二部体の絡み合った状態に対して、量子ステアリングの形式を観察することができる。
Quantum steering is an asymmetric form of quantum nonlocality where one can detect whether a measurement on one system can steer or change another distant system. It is well-known that there are quantum states that are entangled but unsteerable in the standard quantum steering scenario. Consequently, a long-standing open problem in this regard is whether the steerability of every entangled state can be activated in some way. In this work, we consider quantum networks and focus on the swap-steering scenario without inputs and find linear witnesses of network steerability corresponding to any negative partial transpose (NPT) bipartite state and a large class of bipartite states that violate the computable cross-norm (CCN) criterion. Furthermore, by considering that the trusted party can perform tomography of the incoming subsystems, we construct linear inequalities to witness swap-steerability of every bipartite entangled state. Consequently, for every bipartite entangled state one can now observe a form of quantum steering. | 翻訳日:2024-07-02 13:11:23 公開日:2024-06-29 |
| # ホームズVAD:マルチモーダルLDMによる不偏・説明可能なビデオ異常検出を目指して
Holmes-VAD: Towards Unbiased and Explainable Video Anomaly Detection via Multi-modal LLM ( http://arxiv.org/abs/2406.12235v2 ) ライセンス: Link先を確認 | Huaxin Zhang, Xiaohao Xu, Xiang Wang, Jialong Zuo, Chuchu Han, Xiaonan Huang, Changxin Gao, Yuehuan Wang, Nong Sang, | (参考訳) VAD(Open-ended Video Anomaly Detection)に対して、既存の手法では、困難なイベントや目に見えないイベントに直面し、解釈可能性に欠ける場合には、バイアス検出がしばしば現れる。
これらの欠点に対処するために、正確な時間的監督とリッチなマルチモーダル命令を活用して、正確な局所化と包括的説明を可能にする新しいフレームワークであるHolmes-VADを提案する。
まず、非バイアスで説明可能なVADシステムに向けて、VAD-Instruct50kと呼ばれる、最初の大規模マルチモーダルなVAD命令チューニングベンチマークを構築した。
このデータセットは、慎重に設計された半自動ラベリングパラダイムを用いて作成される。
収集した未トリミングビデオに効率的な単フレームアノテーションを適用し、ロバストなオフザシェルフビデオキャプタと大言語モデル(LLM)を用いて、異常ビデオクリップと正常ビデオクリップの両方の高品質な分析に合成する。
VAD-Instruct50kデータセットに基づいて、解釈可能なビデオ異常検出のためのカスタマイズされたソリューションを開発する。
本研究では,多モーダル大言語モデル (LLM) を微調整し,説明内容を生成するために,高異常応答のフレームを選択するための軽量時間サンプリング器を訓練する。
大規模実験により提案したホームズ-VADの汎用性と解釈可能性を検証し,実世界のビデオ異常解析のための新しい解釈可能な手法として確立した。
コミュニティをサポートするため、ベンチマークとモデルはhttps://holmesvad.github.io.comで公開されます。
Towards open-ended Video Anomaly Detection (VAD), existing methods often exhibit biased detection when faced with challenging or unseen events and lack interpretability. To address these drawbacks, we propose Holmes-VAD, a novel framework that leverages precise temporal supervision and rich multimodal instructions to enable accurate anomaly localization and comprehensive explanations. Firstly, towards unbiased and explainable VAD system, we construct the first large-scale multimodal VAD instruction-tuning benchmark, i.e., VAD-Instruct50k. This dataset is created using a carefully designed semi-automatic labeling paradigm. Efficient single-frame annotations are applied to the collected untrimmed videos, which are then synthesized into high-quality analyses of both abnormal and normal video clips using a robust off-the-shelf video captioner and a large language model (LLM). Building upon the VAD-Instruct50k dataset, we develop a customized solution for interpretable video anomaly detection. We train a lightweight temporal sampler to select frames with high anomaly response and fine-tune a multimodal large language model (LLM) to generate explanatory content. Extensive experimental results validate the generality and interpretability of the proposed Holmes-VAD, establishing it as a novel interpretable technique for real-world video anomaly analysis. To support the community, our benchmark and model will be publicly available at https://holmesvad.github.io. | 翻訳日:2024-07-02 13:11:23 公開日:2024-06-29 |
| # 知識グラフと健康改善のための標準を用いたIoTベースのメンタルヘルス
IoT-Based Preventive Mental Health Using Knowledge Graphs and Standards for Better Well-Being ( http://arxiv.org/abs/2406.13791v2 ) ライセンス: Link先を確認 | Amelie Gyrard, Seyedali Mohammadi, Manas Gaur, Antonio Kung, | (参考訳) 持続可能な開発目標(SDG)は、国連にアジェンダ2030を目標とする開発のためのロードマップを与える。
SDG3 "Good Health and Well-Being" は健康な生活を保証し、あらゆる年齢の幸福を促進する。
デジタル技術はSDG3をサポートすることができる。
燃え尽き症候群や抑うつは予防的な健康を促進することで軽減される。
患者の知識が不足し、健康管理に焦点が当てられているため、遅すぎる前に患者を助ける必要がある。
米国では、ポジティブ心理学やマインドフルネスといった新しい傾向が強く推奨されている。
デジタルツイン(DT)は生理的信号(ウェアラブル経由で収集するなど)を用いて感情の継続的なモニタリングを支援する。
デジタル双生児は監視を促進し、生活の質を改善し、パーソナライズを向上する健康的な洞察を提供する。
ヘルスケアDTの課題は、データフォーマット、通信プロトコル、データ交換メカニズムの標準化である。
データ統合と知識の課題を達成するために、メンタルヘルスの健康を高めるためにメンタルヘルス知識グラフ(オントロジーとデータセット)を設計しました。
知識グラフ(KG)は、LOV4IoTオントロジーカタログ(感情、抑うつ、精神保健)に分類されるオントロジーに基づくメンタルヘルスプロジェクトから知識を取得する。
さらに、KGは可能な限り標準(例えばオントロジー)にマッピングされる。
ETSI SmartM2M, ITU/WHO, ISO, W3C, NIST, IEEEの標準はメンタルヘルスに関係している。
Sustainable Development Goals (SDGs) give the UN a road map for development with Agenda 2030 as a target. SDG3 "Good Health and Well-Being" ensures healthy lives and promotes well-being for all ages. Digital technologies can support SDG3. Burnout and even depression could be reduced by encouraging better preventive health. Due to the lack of patient knowledge and focus to take care of their health, it is necessary to help patients before it is too late. New trends such as positive psychology and mindfulness are highly encouraged in the USA. Digital Twin (DT) can help with the continuous monitoring of emotion using physiological signals (e.g., collected via wearables). Digital twins facilitate monitoring and provide constant health insight to improve quality of life and well-being with better personalization. Healthcare DT challenges are standardizing data formats, communication protocols, and data exchange mechanisms. To achieve those data integration and knowledge challenges, we designed the Mental Health Knowledge Graph (ontology and dataset) to boost mental health. The Knowledge Graph (KG) acquires knowledge from ontology-based mental health projects classified within the LOV4IoT ontology catalog (Emotion, Depression, and Mental Health). Furthermore, the KG is mapped to standards (e.g., ontologies) when possible. Standards from ETSI SmartM2M, ITU/WHO, ISO, W3C, NIST, and IEEE are relevant to mental health. | 翻訳日:2024-07-02 13:11:23 公開日:2024-06-29 |
| # LLMの分類性能は誇張されている
LLMs' Classification Performance is Overclaimed ( http://arxiv.org/abs/2406.16203v2 ) ライセンス: Link先を確認 | Hanzi Xu, Renze Lou, Jiangshu Du, Vahid Mahzoon, Elmira Talebianaraki, Zhuoan Zhou, Elizabeth Garrison, Slobodan Vucetic, Wenpeng Yin, | (参考訳) AIや人間のために設計された多くの分類タスクでは、金のラベルはデフォルトでラベル空間に含まれており、しばしば「次のどれが正しいか」と表される。
この標準設定は伝統的に、日常的な分類タスクにおいて高度なAI、特に最高パフォーマンスのLarge Language Model(LLM)の強いパフォーマンスを強調してきた。
しかし、ゴールドラベルが意図的にラベル空間から除外された場合、LLMがまだ使用可能なラベル候補から選び出そうとしていることが明らかになる。
LLMは、分類タスクの本質を理解する上で、その知性を真に示しているか?
そこで本研究では,LLMの認識性能が過大評価されていることを論じ,オープンソースLLMとオープンソースLLMの両方を代表的分類タスクで評価した。
この論文は3倍の貢献をする。
一 私たちの知る限り、金のラベルが存在しないときの分類作業における LLM の限界を特定するのは、これが初めてです。
我々は、このタスクをClassify-w/o-Goldと定義し、LLMの新しいテストベッドとして提案する。
ii)既存の2つの分類タスクと1つの新しいタスクからなるベンチマーク「ノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウノウ
三 この研究は、金ラベルの有無にかかわらず、分類作業におけるLCMのパフォーマンスを評価する新たな評価指標であるOmniAccuracyを定義し、提唱するものである。
In many classification tasks designed for AI or human to solve, gold labels are typically included within the label space by default, often posed as "which of the following is correct?" This standard setup has traditionally highlighted the strong performance of advanced AI, particularly top-performing Large Language Models (LLMs), in routine classification tasks. However, when the gold label is intentionally excluded from the label space, it becomes evident that LLMs still attempt to select from the available label candidates, even when none are correct. This raises a pivotal question: Do LLMs truly demonstrate their intelligence in understanding the essence of classification tasks? In this study, we evaluate both closed-source and open-source LLMs across representative classification tasks, arguing that the perceived performance of LLMs is overstated due to their inability to exhibit the expected comprehension of the task. This paper makes a threefold contribution: i) To our knowledge, this is the first work to identify the limitations of LLMs in classification tasks when gold labels are absent. We define this task as Classify-w/o-Gold and propose it as a new testbed for LLMs. ii) We introduce a benchmark, Know-No, comprising two existing classification tasks and one new task, to evaluate Classify-w/o-Gold. iii) This work defines and advocates for a new evaluation metric, OmniAccuracy, which assesses LLMs' performance in classification tasks both when gold labels are present and absent. | 翻訳日:2024-07-02 12:51:40 公開日:2024-06-29 |
| # EmoLLM: 大規模言語モデルを扱うマルチモーダル感情理解
EmoLLM: Multimodal Emotional Understanding Meets Large Language Models ( http://arxiv.org/abs/2406.16442v2 ) ライセンス: Link先を確認 | Qu Yang, Mang Ye, Bo Du, | (参考訳) マルチモーダル大規模言語モデル(MLLM)は、客観的なマルチモーダル認識タスクにおいて顕著なパフォーマンスを達成しているが、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力は、まだ明らかにされていない。
したがって、マルチモーダルメディアを通じて人間によって表現される複雑な感情を効果的に理解し、反応する能力を妨げる。
このギャップを埋めるために、私たちはEmoBenchという5つの一般的な感情課題におけるMLLMの感情能力を評価するために設計された最初の総合的なベンチマークを紹介します。
本研究では,マルチモーダルな感情理解モデルであるEmoLLMを提案する。
1)マルチパースペクティブ・ビジュアル・プロジェクションでは,複数の視点から視覚データから多様な感情的手がかりを捉えている。
2) EmoPromptでは, MLLMが正しい方向への感情を判断できるように誘導する。
実験の結果、EmoLLMはマルチモーダルな感情理解性能を著しく向上させ、EmoBench上の複数の基礎モデルに対して平均12.1%改善した。
我々の研究は、人間とコンピュータの相互作用、メンタルヘルスのサポート、共感的AIシステムといった分野における幅広い応用によって、複雑な人間の感情のより深い、よりニュアンスな理解を促進することによって、MLLMの進歩に寄与する。
コード、データ、モデルがリリースされる。
Multi-modal large language models (MLLMs) have achieved remarkable performance on objective multimodal perception tasks, but their ability to interpret subjective, emotionally nuanced multimodal content remains largely unexplored. Thus, it impedes their ability to effectively understand and react to the intricate emotions expressed by humans through multimodal media. To bridge this gap, we introduce EmoBench, the first comprehensive benchmark designed specifically to evaluate the emotional capabilities of MLLMs across five popular emotional tasks, using a diverse dataset of 287k images and videos paired with corresponding textual instructions. Meanwhile, we propose EmoLLM, a novel model for multimodal emotional understanding, incorporating with two core techniques. 1) Multi-perspective Visual Projection, it captures diverse emotional cues from visual data from multiple perspectives. 2) EmoPrompt, it guides MLLMs to reason about emotions in the correct direction. Experimental results demonstrate that EmoLLM significantly elevates multimodal emotional understanding performance, with an average improvement of 12.1% across multiple foundation models on EmoBench. Our work contributes to the advancement of MLLMs by facilitating a deeper and more nuanced comprehension of intricate human emotions, paving the way for the development of artificial emotional intelligence capabilities with wide-ranging applications in areas such as human-computer interaction, mental health support, and empathetic AI systems. Code, data, and model will be released. | 翻訳日:2024-07-02 12:51:40 公開日:2024-06-29 |
| # Few-shot Hierarchical Text Classificationのための検索型インコンテキスト学習
Retrieval-style In-Context Learning for Few-shot Hierarchical Text Classification ( http://arxiv.org/abs/2406.17534v2 ) ライセンス: Link先を確認 | Huiyao Chen, Yu Zhao, Zulong Chen, Mengjia Wang, Liangyue Li, Meishan Zhang, Min Zhang, | (参考訳) 階層的テキスト分類(HTC)は幅広いアプリケーションにとって重要なタスクである。
大規模言語モデル (LLM) を持つインコンテキストラーニング (ICL) は、数発の学習で大きな成功を収めているが、階層的なラベルセットと非常にあいまいなラベルのために、HTCにとってそれほど効果的ではない。
本研究では,数発のHTC向けに LLM を用いた最初の ICL ベースのフレームワークを紹介する。
検索データベースを利用して、関連する実演を識別し、多層階層ラベルを管理するための反復的なポリシーを用いる。
特に,入力テキストに対するHTCのラベル対応表現を検索データベースに装備し,マスク言語モデリング(MLM)による事前訓練,レイヤワイド分類(CLS,特にHTC用),および新たな異種コントラスト学習(DCL,主に隣接セマンティック・類似ラベル)の目標とする。
3つのベンチマークデータセットによる実験結果から,提案手法の優れた性能が示され,数発のHTCで最先端の結果が得られた。
Hierarchical text classification (HTC) is an important task with broad applications, while few-shot HTC has gained increasing interest recently. While in-context learning (ICL) with large language models (LLMs) has achieved significant success in few-shot learning, it is not as effective for HTC because of the expansive hierarchical label sets and extremely-ambiguous labels. In this work, we introduce the first ICL-based framework with LLM for few-shot HTC. We exploit a retrieval database to identify relevant demonstrations, and an iterative policy to manage multi-layer hierarchical labels. Particularly, we equip the retrieval database with HTC label-aware representations for the input texts, which is achieved by continual training on a pretrained language model with masked language modeling (MLM), layer-wise classification (CLS, specifically for HTC), and a novel divergent contrastive learning (DCL, mainly for adjacent semantically-similar labels) objective. Experimental results on three benchmark datasets demonstrate superior performance of our method, and we can achieve state-of-the-art results in few-shot HTC. | 翻訳日:2024-07-02 12:51:40 公開日:2024-06-29 |
| # ブロックチェーン支援エビデンス生成による「私のデータの使用停止」の保護
Protecting the 'Stop Using My Data' Right through Blockchain-assisted Evidence Generation ( http://arxiv.org/abs/2406.17694v2 ) ライセンス: Link先を確認 | Fan Zhang, Peng Liu, | (参考訳) ユーザに対してパーソナライズされたサービスを提供するために、インターネットベースのプラットフォームは、ユーザ生成の行動データを収集し、利用する。
個人が個人データをオンラインプラットフォームで利用できないように要求できる基本データ権利であるべきだが、既存の予防的データ保護措置(暗号データ排除、差分プライバシーなど)は残念ながら適用できない。
この研究は、買収後のデータを正しく違反しないようにするための最初のエビデンス生成フレームワークを開発することを目的としている。
そこで我々は,「忘れられる権利」という多面的概念の曖昧な面を捉えた「私のデータを使った停止」問題を定式化した。
私たちは、最初のブロックチェーン支援システムを設計し、実装しました。
本システムでは,新たに提案されたLemmaにより有効性が保証される新しい2段階のエビデンス生成プロトコルを採用している。
提案手法の有効性を検証するために,実世界の2つのデータセットを用いたシステム評価実験を行い,その成功率を99%以上とした。
In order to provide personalized services to users, Internet-based platforms collect and utilize user-generated behavioral data. Although the 'stop using my data' right should be a fundamental data right, which allows individuals to request their personal data to be no longer utilized by online platforms, the existing preventive data protection measures (e.g., cryptographic data elimination, differential privacy) are unfortunately not applicable. This work aims to develop the first Evidence Generation Framework for deterring post-acquisition data right violations. We formulated the 'stop using my data' problem, which captures a vantage facet of the multi-faceted notion of 'right to be forgotten'. We designed and implemented the first blockchain-assisted system to generate evidence for deterring the violations of the 'stop using my data' right. Our system employs a novel two-stage evidence generation protocol whose efficacy is ensured by a newly proposed Lemma. To validate our framework, we conducted a case study on recommendation systems with systematic evaluation experiments using two real-world datasets: the measured success rate exceeds 99%. | 翻訳日:2024-07-02 12:51:40 公開日:2024-06-29 |
| # LLM駆動型マルチモーダルオピニオン表現同定
LLM-Driven Multimodal Opinion Expression Identification ( http://arxiv.org/abs/2406.18088v2 ) ライセンス: Link先を確認 | Bonian Jia, Huiyao Chen, Yueheng Sun, Meishan Zhang, Min Zhang, | (参考訳) 音声アシスタントからうつ病診断まで,NLPにおいてオピニオン表現同定(OEI)が不可欠である。
本研究は、OEIをマルチモーダル入力に拡張し、テキストの能力を超えて感情的な微妙さを届けることにおける聴覚的手がかりの重要性を浮き彫りにした。
実世界のシナリオを反映したテキストと音声を統合した,新しいマルチモーダルOEI(MOEI)タスクを提案する。
CMU MOSEIとIEMOCAPデータセットを用いてCI-MOEIデータセットを構築する。
さらに、MPQAデータセットにテキスト音声(TTS)技術を適用し、CIM-OEIデータセットを得る。
我々は,大規模言語モデル(LLM)の生成能力を最大限に活用するために,OEIタスクのためのテンプレートを設計する。
さらに、音声とテキストのモーダルを組み合わせて意見表現を識別するLLM駆動型STOEIを提案する。
実験の結果,MOEIは既存の手法よりも9.20倍高い性能を示し,SOTA結果を得た。
Opinion Expression Identification (OEI) is essential in NLP for applications ranging from voice assistants to depression diagnosis. This study extends OEI to encompass multimodal inputs, underlining the significance of auditory cues in delivering emotional subtleties beyond the capabilities of text. We introduce a novel multimodal OEI (MOEI) task, integrating text and speech to mirror real-world scenarios. Utilizing CMU MOSEI and IEMOCAP datasets, we construct the CI-MOEI dataset. Additionally, Text-to-Speech (TTS) technology is applied to the MPQA dataset to obtain the CIM-OEI dataset. We design a template for the OEI task to take full advantage of the generative power of large language models (LLMs). Advancing further, we propose an LLM-driven method STOEI, which combines speech and text modal to identify opinion expressions. Our experiments demonstrate that MOEI significantly improves the performance while our method outperforms existing methods by 9.20\% and obtains SOTA results. | 翻訳日:2024-07-02 12:41:53 公開日:2024-06-29 |
| # 複数目的語を用いた復号時間言語モデルアライメント
Decoding-Time Language Model Alignment with Multiple Objectives ( http://arxiv.org/abs/2406.18853v2 ) ライセンス: Link先を確認 | Ruizhe Shi, Yifang Chen, Yushi Hu, Alisa Liu, Hannaneh Hajishirzi, Noah A. Smith, Simon Du, | (参考訳) 言語モデル(LM)を人間の好みに適応させることは、これらのモデルが多様なユーザニーズに合うようにするための重要な追求として現れている。
既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。
本稿では,異なる目的に対する任意の重み付けに対して,すべてのベースモデルの予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$\textbf{multi-objective decoding (MOD)$を提案する。
我々は、$f$-divergence正規化アライメントアプローチ(PPO、DPO、およびそれらの変種など)の族間の共通形式を利用して、ルジャンドル変換による閉形式解を同定し、効率的な復号戦略を導出する。
理論的には,既存の手法が自然条件下においても準最適であることを示し,提案手法の最適性を保証する。
実験結果から,アルゴリズムの有効性が示された。
例えば、パラメータをマージするベースラインと比較して、MODは3ドル目標に等しく最適化した場合、全体的な報酬改善を12.8%達成している。
さらに,安全,コーディング,一般ユーザ嗜好など,モデルサイズが異なる3つの完全なLCMを組み合わせるためのMOD実験を行った。
包括的改善を達成するためにデータセットの混合を慎重にキュレーションする必要がある従来の方法とは異なり、MODを使って好みの重み付けを素早く実験することで、モデルの最良の組み合わせを見つけることができる。
我々の最良の組み合わせは、トキシゲンの毒性を0%近くまで減少させ、他の3つの指標(\textit{i.e.}$, Codex@1, GSM-COT, BBH-COT)に対して7.9-33.3%の改善を達成する。
Aligning language models (LMs) to human preferences has emerged as a critical pursuit, enabling these models to better serve diverse user needs. Existing methods primarily focus on optimizing LMs for a single reward function, limiting their adaptability to varied objectives. Here, we propose $\textbf{multi-objective decoding (MOD)}$, a decoding-time algorithm that outputs the next token from a linear combination of predictions of all base models, for any given weightings over different objectives. We exploit a common form among a family of $f$-divergence regularized alignment approaches (such as PPO, DPO, and their variants) to identify a closed-form solution by Legendre transform, and derive an efficient decoding strategy. Theoretically, we show why existing approaches can be sub-optimal even in natural settings and obtain optimality guarantees for our method. Empirical results demonstrate the effectiveness of the algorithm. For example, compared to a parameter-merging baseline, MOD achieves 12.8% overall reward improvement when equally optimizing towards $3$ objectives. Moreover, we experiment with MOD on combining three fully-finetuned LLMs of different model sizes, each aimed at different objectives such as safety, coding, and general user preference. Unlike traditional methods that require careful curation of a mixture of datasets to achieve comprehensive improvement, we can quickly experiment with preference weightings using MOD to find the best combination of models. Our best combination reduces toxicity on Toxigen to nearly 0% and achieves 7.9--33.3% improvement across other three metrics ($\textit{i.e.}$, Codex@1, GSM-COT, BBH-COT). | 翻訳日:2024-07-02 12:30:11 公開日:2024-06-29 |
| # 言葉だけでなく心をキャプチャする:パーソナリティを示すデータを用いたロールプレイング言語モデルの強化
Capturing Minds, Not Just Words: Enhancing Role-Playing Language Models with Personality-Indicative Data ( http://arxiv.org/abs/2406.18921v2 ) ライセンス: Link先を確認 | Yiting Ran, Xintao Wang, Rui Xu, Xinfeng Yuan, Jiaqing Liang, Yanghua Xiao, Deqing Yang, | (参考訳) ロールプレイングエージェント(RPA)は大規模言語モデル(LLM)の一般的な応用分野であり、産業とアカデミックの両方から大きな関心を集めているが、既存のRPAはキャラクターの知識やトーンをうまく表現しているが、特に小さなロールプレイング言語モデル(RPLM)では、心をつかむための課題に直面している。
本稿では,人格表現データによるRPLMの強化を提案する。
具体的には、心理学的尺度からの質問を活用し、高度なRPAを蒸留し、文字の心を把握した対話を生成する。
実験により,本データセットを用いてトレーニングしたRPLMは,一般人格関連評価と人格関連評価の両面において,高度なロールプレイング能力を示した。
コードとデータは \href{https://github.com/alienet1109/RolePersonality}{this URL} で公開されている。
Role-playing agents (RPA) have been a popular application area for large language models (LLMs), attracting significant interest from both industry and academia.While existing RPAs well portray the characters' knowledge and tones, they face challenges in capturing their minds, especially for small role-playing language models (RPLMs). In this paper, we propose to enhance RPLMs via personality-indicative data. Specifically, we leverage questions from psychological scales and distill advanced RPAs to generate dialogues that grasp the minds of characters. Experimental results validate that RPLMs trained with our dataset exhibit advanced role-playing capabilities for both general and personality-related evaluations. Code and data are available at \href{https://github.com/alienet1109/RolePersonality}{this URL}. | 翻訳日:2024-07-02 12:30:11 公開日:2024-06-29 |
| # フェデレーショングラフセマンティックと構造学習
Federated Graph Semantic and Structural Learning ( http://arxiv.org/abs/2406.18937v2 ) ライセンス: Link先を確認 | Wenke Huang, Guancheng Wan, Mang Ye, Bo Du, | (参考訳) フェデレーショングラフ学習は、非独立性と同一の分散プロパティが大きな課題の1つである分散グラフを持つグローバルグラフニューラルネットワークを協調的に学習する。
ほとんどの相対芸術は、画像や音声などの伝統的な分散タスクに焦点を当てており、グラフ構造ができない。
本稿ではまず,ノードレベルのセマンティクスとグラフレベルの構造の両方によって局所的なクライアントの歪みがもたらされることを示す。
まず、ノードレベルのセマンティクスでは、異なるクラスからのノードのコントラストが有益であることに気付き、良質な識別を提供する。
同じクラスのグローバルノードに向かってローカルノードをプルし、異なるクラスのグローバルノードからプッシュします。
第二に、構造的なグラフニューラルネットワークは、固有の隣接関係のため、隣人に対して類似性を持っていると仮定する。
しかし、各ノードを隣接ノードに整列させることは、潜在的なクラス不整合による差別を妨げる。
我々は、隣接関係を類似度分布に変換し、グローバルモデルを利用して関係知識を局所モデルに蒸留し、局所モデルの構造情報と識別可能性を保存する。
3つのグラフデータセットに対する実験結果から,提案手法が提案手法よりも優れていることを示す。
Federated graph learning collaboratively learns a global graph neural network with distributed graphs, where the non-independent and identically distributed property is one of the major challenges. Most relative arts focus on traditional distributed tasks like images and voices, incapable of graph structures. This paper firstly reveals that local client distortion is brought by both node-level semantics and graph-level structure. First, for node-level semantics, we find that contrasting nodes from distinct classes is beneficial to provide a well-performing discrimination. We pull the local node towards the global node of the same class and push it away from the global node of different classes. Second, we postulate that a well-structural graph neural network possesses similarity for neighbors due to the inherent adjacency relationships. However, aligning each node with adjacent nodes hinders discrimination due to the potential class inconsistency. We transform the adjacency relationships into the similarity distribution and leverage the global model to distill the relation knowledge into the local model, which preserves the structural information and discriminability of the local model. Empirical results on three graph datasets manifest the superiority of the proposed method over its counterparts. | 翻訳日:2024-07-02 12:30:11 公開日:2024-06-29 |