このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20230906となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 音声言語処理における盲点への取り組み Addressing the Blind Spots in Spoken Language Processing ( http://arxiv.org/abs/2309.06572v1 ) ライセンス: Link先を確認 | Amit Moryossef | (参考訳) 本稿では,言語処理(NLP)における非言語的手がかりの重要かつ過度に見過ごされる役割について考察する。
我々は、人間のコミュニケーションを理解するには、非言語的要素を含むために、テキスト的あるいは話し言葉を超えた、より包括的なアプローチが必要であると主張する。
我々は手話処理の進歩から,これらの非言語的手がかりをテキスト形式に書き起こす汎用的な自動ジェスチャーセグメンテーションと書き起こしモデルの開発を提案する。
このような手法は、音声言語理解における盲点を橋渡しし、NLPモデルのスコープと適用性を高めることを目的としている。
サンプルのモチベーションを通じて、テキストベースモデルのみに依存する限界を実証する。
従来のNLPパイプラインとシームレスに統合可能な,非言語的キューを組み込むための計算効率が高く柔軟なアプローチを提案する。
結論として, 研究コミュニティに対し, 普遍的転写法の発展に寄与すること, 実世界のマルチモーダル相互作用の複雑さを捉える上での有効性を検証するよう求めた。 This paper explores the critical but often overlooked role of non-verbal cues, including co-speech gestures and facial expressions, in human communication and their implications for Natural Language Processing (NLP). We argue that understanding human communication requires a more holistic approach that goes beyond textual or spoken words to include non-verbal elements. Borrowing from advances in sign language processing, we propose the development of universal automatic gesture segmentation and transcription models to transcribe these non-verbal cues into textual form. Such a methodology aims to bridge the blind spots in spoken language understanding, enhancing the scope and applicability of NLP models. Through motivating examples, we demonstrate the limitations of relying solely on text-based models. We propose a computationally efficient and flexible approach for incorporating non-verbal cues, which can seamlessly integrate with existing NLP pipelines. We conclude by calling upon the research community to contribute to the development of universal transcription methods and to validate their effectiveness in capturing the complexities of real-world, multi-modal interactions. | 翻訳日:2023-09-17 14:02:11 公開日:2023-09-06 |
| # ハイパーグラフ表現を用いた合成テキスト生成 Synthetic Text Generation using Hypergraph Representations ( http://arxiv.org/abs/2309.06550v1 ) ライセンス: Link先を確認 | Natraj Raman and Sameena Shah | (参考訳) 文書の合成変種を生成することは、しばしばテキストからテキストへの変換として表される。
本稿では,まず文書をセマンティックフレームに分解し,この中間スパース形式を用いてテキストを生成するLCMベースの代替手法を提案する。
フレームはハイパーグラフを用いてモデル化され、フレーム内容を原則的に摂動することができる。
具体的には、新しいハイパーエッジをトポロジカル解析により掘り出し、階層構造や時間的ダイナミクスを含む複雑なポリエイド関係を許容する。
我々のソリューションは、多様で一貫性があり、スタイル、感情、形式、構成、事実が異なる文書を生成する。 Generating synthetic variants of a document is often posed as text-to-text transformation. We propose an alternate LLM based method that first decomposes a document into semantic frames and then generates text using this interim sparse format. The frames are modeled using a hypergraph, which allows perturbing the frame contents in a principled manner. Specifically, new hyperedges are mined through topological analysis and complex polyadic relationships including hierarchy and temporal dynamics are accommodated. We show that our solution generates documents that are diverse, coherent and vary in style, sentiment, format, composition and facts. | 翻訳日:2023-09-17 14:01:53 公開日:2023-09-06 |
| # フレームワークに基づく大規模言語モデルの自由応答の質的分析:アルゴリズム的忠実性 Framework-Based Qualitative Analysis of Free Responses of Large Language Models: Algorithmic Fidelity ( http://arxiv.org/abs/2309.06364v1 ) ライセンス: Link先を確認 | Aliya Amirova, Theodora Fteropoulli, Nafiso Ahmed, Martin R. Cowie, Joel Z. Leibo | (参考訳) 現在、大規模生成言語モデル(LLM)を用いて、質的研究手法を用いて伝統的に分析されたようなインタビュー質問に対する無料応答をシミュレートすることが可能である。
質的方法論は、自然言語で自由に行われるオープンなインタビューや会話の手動分析を含む幅広い技術群を含んでいる。
ここでは, LLMが生成する人工シリコン参加者を, 実人口に一般化可能な洞察を生み出すための質的手法を用いて, 生産的に研究できるかどうかを考察する。
我々の分析における重要な概念はアルゴリズムの忠実さである。Argyle et al. (2023) によって導入された用語で、LLMが生成する人間のサブ集団の信念と態度を反映する程度を捉えている。
定義上、アルゴリズムの忠実度が高いことは、LSMから派生した潜在信念が現実の人間に一般化する可能性があることを示唆している。
そこで我々はLLMを用いて、特定の人口統計学的特徴に適合するシリコン参加者へのインタビューを生成した。
フレームワークに基づく定性分析を用いて,人間とシリコンの双方から得られた重要なテーマが極めて類似していることを示した。
しかし、インタビューの構造とトーンを分析すると、さらに顕著な違いが見つかりました。
また, aher et al. (2023) が記述した過正確な歪みの証拠も見いだした。
結論として,gpt-3.5は,ヒトに一般化する研究を期待するほどアルゴリズム的忠実性が不十分であることがわかった。
しかし、llm研究の急速なペースによって、将来これが変わる可能性がある。
そこで我々は,LLMに基づく質的研究の妥当性を評価するために,現在,先天的な規範を確立する必要性を強調している。 Today, using Large-scale generative Language Models (LLMs) it is possible to simulate free responses to interview questions like those traditionally analyzed using qualitative research methods. Qualitative methodology encompasses a broad family of techniques involving manual analysis of open-ended interviews or conversations conducted freely in natural language. Here we consider whether artificial "silicon participants" generated by LLMs may be productively studied using qualitative methods aiming to produce insights that could generalize to real human populations. The key concept in our analysis is algorithmic fidelity, a term introduced by Argyle et al. (2023) capturing the degree to which LLM-generated outputs mirror human sub-populations' beliefs and attitudes. By definition, high algorithmic fidelity suggests latent beliefs elicited from LLMs may generalize to real humans, whereas low algorithmic fidelity renders such research invalid. Here we used an LLM to generate interviews with silicon participants matching specific demographic characteristics one-for-one with a set of human participants. Using framework-based qualitative analysis, we showed the key themes obtained from both human and silicon participants were strikingly similar. However, when we analyzed the structure and tone of the interviews we found even more striking differences. We also found evidence of the hyper-accuracy distortion described by Aher et al. (2023). We conclude that the LLM we tested (GPT-3.5) does not have sufficient algorithmic fidelity to expect research on it to generalize to human populations. However, the rapid pace of LLM research makes it plausible this could change in the future. Thus we stress the need to establish epistemic norms now around how to assess validity of LLM-based qualitative research, especially concerning the need to ensure representation of heterogeneous lived experiences. | 翻訳日:2023-09-17 14:00:26 公開日:2023-09-06 |
| # 可変制御バリア機能を有する非アフィン制御系の安全神経制御 Safe Neural Control for Non-Affine Control Systems with Differentiable Control Barrier Functions ( http://arxiv.org/abs/2309.04492v1 ) ライセンス: Link先を確認 | Wei Xiao and Ross Allen and Daniela Rus | (参考訳) 本稿では,非アフィン制御系における安全クリティカル制御の問題に対処する。
制御バリア関数(CBF)を用いることで,状態制約と制御制約による二次コストの最適化を準最適に2次プログラム(QP)のシーケンスに還元できることが示されている。
最近提案した高次CBF(HOCBF)は、任意の相対次数の制約を満たすことができる。
このアプローチの主な課題は、アフィン制御ダイナミクスが必要であり、CBFベースのQPの解は、ポイントワイズで解かれるので、準最適である。
これらの課題に対処するために,神経常微分方程式に基づく学習モデルに高次cbfを取り入れ,非親和性制御系の安全性を保証する。
識別可能なCBFはパラメータの観点から訓練可能であるため、システム状態が安全な設定境界から不必要に離れないようにCBFの保守性に対処することができる。
さらに、模倣学習モデルは、通常オンラインで引き起こされる複雑な最適制御ポリシーを学習することができる。
本稿では,LiDARに基づく自動運転における提案手法の有効性について述べる。 This paper addresses the problem of safety-critical control for non-affine control systems. It has been shown that optimizing quadratic costs subject to state and control constraints can be sub-optimally reduced to a sequence of quadratic programs (QPs) by using Control Barrier Functions (CBFs). Our recently proposed High Order CBFs (HOCBFs) can accommodate constraints of arbitrary relative degree. The main challenges in this approach are that it requires affine control dynamics and the solution of the CBF-based QP is sub-optimal since it is solved point-wise. To address these challenges, we incorporate higher-order CBFs into neural ordinary differential equation-based learning models as differentiable CBFs to guarantee safety for non-affine control systems. The differentiable CBFs are trainable in terms of their parameters, and thus, they can address the conservativeness of CBFs such that the system state will not stay unnecessarily far away from safe set boundaries. Moreover, the imitation learning model is capable of learning complex and optimal control policies that are usually intractable online. We illustrate the effectiveness of the proposed framework on LiDAR-based autonomous driving and compare it with existing methods. | 翻訳日:2023-09-17 13:59:11 公開日:2023-09-06 |
| # 動的システムとしての物語 Narrative as a Dynamical System ( http://arxiv.org/abs/2309.06600v1 ) ライセンス: Link先を確認 | Isidoros Doxas (1 and 2), James Meiss (3), Steven Bottone (1), Tom Strelich (4 and 5), Andrew Plummer (5 and 6), Adrienne Breland (5 and 7), Simon Dennis (8 and 9), Kathy Garvin-Doxas (9 and 10), Michael Klymkowsky (3) ( (1) Northrop Grumman Corporation, (2) Some work performed at the University of Colorado, Boulder, (3) University of Colorado, Boulder, (4) Fusion Constructive LLC, (5) Work performed at Northop Grumman Corporation (6) Current Address JP Morgan, (7) Current address, GALT Aerospace, (8) University of Melbourne, (9) Work performed at the University of Colorado, Boulder, (10) Boulder Internet Technologies) | (参考訳) 人間の活動、特に物語が物理学的な意味での力学系として扱われる証拠が増えており、その進化が作用積分によって記述され、a点からb点までの全ての可能な経路の平均は作用の極値によって与えられる。
約500の異なる物語を平均化して3つの経路を構築し,平均的な経路が行動原理と一致することを示す。 There is increasing evidence that human activity in general, and narrative in particular, can be treated as a dynamical system in the physics sense; a system whose evolution is described by an action integral, such that the average of all possible paths from point A to point B is given by the extremum of the action. We create by construction three such paths by averaging about 500 different narratives, and we show that the average path is consistent with an action principle. | 翻訳日:2023-09-17 13:47:41 公開日:2023-09-06 |
| # ETP:ECG-Textプレトレーニングによる伝達可能なECG表現の学習 ETP: Learning Transferable ECG Representations via ECG-Text Pre-training ( http://arxiv.org/abs/2309.07145v1 ) ライセンス: Link先を確認 | Che Liu, Zhongwei Wan, Sibo Cheng, Mi Zhang, Rossella Arcucci | (参考訳) 心臓血管医療の分野では、心電図(ECG)は重要な非侵襲的診断ツールとして機能する。
近年の自己教師型学習(SSL)の進歩はECG表現学習に有望であるが,これらの手法は注釈付きサンプルを必要とすることが多く,微調整段階には存在しないクラスとの闘いも少なくない。
これらの制約に対処するために、ECG信号とテキストレポートをリンクするクロスモーダル表現を学習するための革新的なフレームワークであるECG-Text Pre-training (ETP)を導入する。
このフレームワークはECGドメインのゼロショット分類タスクを初めて活用する。
ETPはECGエンコーダと事前訓練された言語モデルを使用して、ECG信号を対応するテキストレポートと整合させる。
PTB-XLとCPSC2018データセットで示されたように、提案フレームワークは線形評価とゼロショット分類の両方に優れており、堅牢で一般化可能なクロスモーダルECG特徴学習能力を示している。 In the domain of cardiovascular healthcare, the Electrocardiogram (ECG) serves as a critical, non-invasive diagnostic tool. Although recent strides in self-supervised learning (SSL) have been promising for ECG representation learning, these techniques often require annotated samples and struggle with classes not present in the fine-tuning stages. To address these limitations, we introduce ECG-Text Pre-training (ETP), an innovative framework designed to learn cross-modal representations that link ECG signals with textual reports. For the first time, this framework leverages the zero-shot classification task in the ECG domain. ETP employs an ECG encoder along with a pre-trained language model to align ECG signals with their corresponding textual reports. The proposed framework excels in both linear evaluation and zero-shot classification tasks, as demonstrated on the PTB-XL and CPSC2018 datasets, showcasing its ability for robust and generalizable cross-modal ECG feature learning. | 翻訳日:2023-09-17 13:39:24 公開日:2023-09-06 |
| # C-CLIP: コントラスト画像テキストエンコーダによる記述-合成ギャップのクローズ C-CLIP: Contrastive Image-Text Encoders to Close the Descriptive-Commentative Gap ( http://arxiv.org/abs/2309.03921v1 ) ライセンス: Link先を確認 | William Theisen and Walter Scheirer | (参考訳) 画像とソーシャルメディア投稿のコメントの相互作用は、全体的なメッセージを理解する上で非常に重要である。
マルチモーダル埋め込みモデル、すなわちCLIPの最近の進歩は、画像とテキストの関連性において大きな進歩をもたらした。
しかし、CLIPモデルの現在のトレーニング体制は、サイトや言語に関係なく、ソーシャルメディア上のコンテンツと一致するには不十分である。
現在のCLIPトレーニングデータは、"`descriptive''テキストと呼ばれるものに基づいています。
これはソーシャルメディアではめったに見られず、ほとんどのテキストコンテンツは自然界で‘commentative’である。
キャプションは、その中に何があるのかを記述するのではなく、画像に関連する注釈とより広い文脈を提供する。
現在のCLIPモデルは、画像キャプチャペアがコメント関係を示すような検索タスクでは不十分である。
このギャップを埋めることは、ソーシャルメディアに関連するいくつかの重要なアプリケーション分野にとって有益だろう。
例えば、オープンソースのインテリジェンス・オペレーション(OSINT)に焦点を当てたグループは、発見と分析のために非技術系ユーザーに簡単にデータを公開することで、進行中のロシアによるウクライナ侵攻のような災害時の活動を支援することができる。
このギャップを埋めるために、画像テキストエンコーダを明示的に注釈付きペアで訓練すると、検索結果が大幅に改善され、その結果は様々な非英語言語にまたがる。 The interplay between the image and comment on a social media post is one of high importance for understanding its overall message. Recent strides in multimodal embedding models, namely CLIP, have provided an avenue forward in relating image and text. However the current training regime for CLIP models is insufficient for matching content found on social media, regardless of site or language. Current CLIP training data is based on what we call ``descriptive'' text: text in which an image is merely described. This is something rarely seen on social media, where the vast majority of text content is ``commentative'' in nature. The captions provide commentary and broader context related to the image, rather than describing what is in it. Current CLIP models perform poorly on retrieval tasks where image-caption pairs display a commentative relationship. Closing this gap would be beneficial for several important application areas related to social media. For instance, it would allow groups focused on Open-Source Intelligence Operations (OSINT) to further aid efforts during disaster events, such as the ongoing Russian invasion of Ukraine, by easily exposing data to non-technical users for discovery and analysis. In order to close this gap we demonstrate that training contrastive image-text encoders on explicitly commentative pairs results in large improvements in retrieval results, with the results extending across a variety of non-English languages. | 翻訳日:2023-09-11 17:05:19 公開日:2023-09-06 |
| # 薬物発見のためのタンパク質-リガンド結合親和性予測を改善するハイブリッド量子古典核融合ニューラルネットワーク A hybrid quantum-classical fusion neural network to improve protein-ligand binding affinity predictions for drug discovery ( http://arxiv.org/abs/2309.03919v1 ) ライセンス: Link先を確認 | S. Banerjee, S. He Yuxun, S. Konakanchi, L. Ogunfowora, S. Roy, S. Selvaras, L. Domingo, M. Chehimi, M. Djukic and C. Johnson | (参考訳) 薬物発見の分野は、予測される薬物分子と標的タンパク質との結合親和性の正確な予測、特にそのようなタンパク質が疾患の進行に直接影響を及ぼす場合である。
しかし、結合親和性の推定には重要な金融資源と計算資源が必要である。
最先端の方法論は古典的機械学習(ML)技術を採用しているが、新しいハイブリッド量子機械学習(QML)モデルは、その固有の並列性とデータ次元の指数的な増加を管理する能力のために、パフォーマンスの向上を約束している。
これらの進歩にもかかわらず、既存のモデルは収束安定性と予測精度に関する問題に遭遇する。
本稿では,薬物発見における親和性予測に適したハイブリッド量子古典深層学習モデルを提案する。
具体的には、3次元および空間的グラフ畳み込みニューラルネットワークを最適化量子アーキテクチャに統合する。
シミュレーションの結果、既存の古典的モデルと比較して予測精度が6%向上し、従来の古典的手法に比べてはるかに安定した収束性能を示した。 The field of drug discovery hinges on the accurate prediction of binding affinity between prospective drug molecules and target proteins, especially when such proteins directly influence disease progression. However, estimating binding affinity demands significant financial and computational resources. While state-of-the-art methodologies employ classical machine learning (ML) techniques, emerging hybrid quantum machine learning (QML) models have shown promise for enhanced performance, owing to their inherent parallelism and capacity to manage exponential increases in data dimensionality. Despite these advances, existing models encounter issues related to convergence stability and prediction accuracy. This paper introduces a novel hybrid quantum-classical deep learning model tailored for binding affinity prediction in drug discovery. Specifically, the proposed model synergistically integrates 3D and spatial graph convolutional neural networks within an optimized quantum architecture. Simulation results demonstrate a 6% improvement in prediction accuracy relative to existing classical models, as well as a significantly more stable convergence performance compared to previous classical approaches. | 翻訳日:2023-09-11 17:04:53 公開日:2023-09-06 |
| # 脊髄刺激を受けた患者の慢性痛に対するレコメンデーション A recommender for the management of chronic pain in patients undergoing spinal cord stimulation ( http://arxiv.org/abs/2309.03918v1 ) ライセンス: Link先を確認 | Tigran Tchrakian, Mykhaylo Zayats, Alessandra Pascale, Dat Huynh, Pritish Parida, Carla Agurto Rios, Sergiy Zhuk, Jeffrey L. Rogers, ENVISION Studies Physician Author Group, Boston Scientific Research Scientists Consortium | (参考訳) 脊髄刺激 (scs) は慢性痛の治療に用いられる治療法である。
移植された装置を介して脊髄に電気刺激を伝達し、適切な刺激パラメータが与えられると痛みの信号をマスキングしたりブロックしたりすることができる。
適切な刺激パラメータの選択は通常、提供者のケアの下でクリニックで行われるが、在宅SCS最適化は患者によって管理される。
本稿では,SCSを施行した慢性痛患者の痛み管理のためのレコメンデーションシステムを提案する。
特に,コンテクスト・マルチアーム・バンディット(cmab)アプローチを用いて,病態改善を目的とした患者に対してscs設定を推奨するシステムを開発した。
これらのリコメンデーションは、デジタルヘルスのエコシステムにもかかわらず患者に直接送信され、患者監視システムと組み合わせることで、慢性的な痛み患者を取り巻く治療ループを閉じる。
総合的結果の新しい尺度である quality of life metrics (ps) と患者状態 (ps) の組合せを用いて, scs を応用した幻想的研究対象 (clinicaltrials.gov id: nct03240588) のコホートでシステムを評価した。
scs勧告は、全被験者(n=21)の85\%において、臨床成績(painおよび/またはqol)の統計的に有意な改善をもたらした。
推奨を受ける前の中等度PS (N=7) では, 100\%は統計的に有意な改善を示し, 5/7はPSの居住時間を改善した。
この分析は、SCS患者がSCS推奨の恩恵を受ける可能性を示し、SCS療法で既に得られる利益に加えて、さらなる臨床改善をもたらすことを示唆している。 Spinal cord stimulation (SCS) is a therapeutic approach used for the management of chronic pain. It involves the delivery of electrical impulses to the spinal cord via an implanted device, which when given suitable stimulus parameters can mask or block pain signals. Selection of optimal stimulation parameters usually happens in the clinic under the care of a provider whereas at-home SCS optimization is managed by the patient. In this paper, we propose a recommender system for the management of pain in chronic pain patients undergoing SCS. In particular, we use a contextual multi-armed bandit (CMAB) approach to develop a system that recommends SCS settings to patients with the aim of improving their condition. These recommendations, sent directly to patients though a digital health ecosystem, combined with a patient monitoring system closes the therapeutic loop around a chronic pain patient over their entire patient journey. We evaluated the system in a cohort of SCS-implanted ENVISION study subjects (Clinicaltrials.gov ID: NCT03240588) using a combination of quality of life metrics and Patient States (PS), a novel measure of holistic outcomes. SCS recommendations provided statistically significant improvement in clinical outcomes (pain and/or QoL) in 85\% of all subjects (N=21). Among subjects in moderate PS (N=7) prior to receiving recommendations, 100\% showed statistically significant improvements and 5/7 had improved PS dwell time. This analysis suggests SCS patients may benefit from SCS recommendations, resulting in additional clinical improvement on top of benefits already received from SCS therapy. | 翻訳日:2023-09-11 17:04:38 公開日:2023-09-06 |
| # r2d2: 電波天文学における近時間高ダイナミックレンジイメージングのためのディープニューラルネットワークシリーズ R2D2: Deep neural network series for near real-time high-dynamic range imaging in radio astronomy ( http://arxiv.org/abs/2309.03291v1 ) ライセンス: Link先を確認 | Aghabiglou A, Chu C S, Jackson A, Dabbech A, Wiaux Y | (参考訳) 天文学における電波干渉計(RI)による高分解能高ダイナミックレンジ合成イメージングのための新しいAI手法を提案する。
R2D2は"{R}esidual-to-{R}esidual {D}NN series for high-{D}ynamic range imaging"の略で、ハイブリッドディープニューラルネットワーク(DNN)とデータ一貫性更新に依存するモデルベースのデータ駆動アプローチである。
その再構成は、DNNの出力として推定される残像の連続として構築され、それぞれが前回の残像の残像を入力とする。
この手法は、モデルコンポーネントが残留汚い画像から反復的に識別され、CLEANがよく知られた例であるマッチング追従アプローチの学習版として解釈することができる。
本稿では,標準のU-Netと新しいアンロールアーキテクチャの2つの特徴を持つDNNアーキテクチャ上に構築されたR2D2モデルの2つの変種を提案する。
我々は、超大型アレイ(VLA)によるS帯の電波銀河Cygnus~Aの高感度観測における単色強度イメージングの応用を実証した。
R2D2 は CLEAN と最近の RI アルゴリズム AIRI と uSARA に対して検証され、それぞれ学習された暗黙の正則化と高度な手作りのスパーシティベース正則化をRI データに注入する。
R2D2モデルは、シリーズのごくわずかの条件で、CLEANよりもはるかに優れた高精度の画像を提供し、AIRIとuSARAの精度と一致する。
計算効率の面では、r2d2はairiとusaraのコストのごく一部で動作し、クリーンよりも高速で、riのリアルタイム精密イメージングへのドアを開く。 We present a novel AI approach for high-resolution high-dynamic range synthesis imaging by radio interferometry (RI) in astronomy. R2D2, standing for "{R}esidual-to-{R}esidual {D}NN series for high-{D}ynamic range imaging", is a model-based data-driven approach relying on hybrid deep neural networks (DNNs) and data-consistency updates. Its reconstruction is built as a series of residual images estimated as the outputs of DNNs, each taking the residual dirty image of the previous iteration as an input. The approach can be interpreted as a learned version of a matching pursuit approach, whereby model components are iteratively identified from residual dirty images, and of which CLEAN is a well-known example. We propose two variants of the R2D2 model, built upon two distinctive DNN architectures: a standard U-Net, and a novel unrolled architecture. We demonstrate their use for monochromatic intensity imaging on highly-sensitive observations of the radio galaxy Cygnus~A at S band, from the Very Large Array (VLA). R2D2 is validated against CLEAN and the recent RI algorithms AIRI and uSARA, which respectively inject a learned implicit regularization and an advanced handcrafted sparsity-based regularization into the RI data. With only few terms in its series, the R2D2 model is able to deliver high-precision imaging, significantly superior to CLEAN and matching the precision of AIRI and uSARA. In terms of computational efficiency, R2D2 runs at a fraction of the cost of AIRI and uSARA, and is also faster than CLEAN, opening the door to real-time precision imaging in RI. | 翻訳日:2023-09-11 17:03:39 公開日:2023-09-06 |
| # 電磁誘導透過による温アルカリ蒸気中の緩やかな光の生成 Producing slow light in warm alkali vapor using electromagnetically induced transparency ( http://arxiv.org/abs/2011.09229v3 ) ライセンス: Link先を確認 | Kenneth DeRose, Kefeng Jiang, Jianqiao Li, Macbeth Julius, Linzhao Zhuo, Scott Wenner, and S. Bali | (参考訳) 我々は,400m/s未満の速度で高温のルビジウム蒸気を伝播する光パルスを,cより100万倍近い速度で生成する方法について,学生に親しみやすい指導を行った。
我々は、低速光パルス発生における電磁誘導透過(EIT)の役割を解明し、必要な実験条件を達成する方法について論じる。
光セットアップを行い、必要な大きさ、周波数、強度、時間幅、偏光純度のポンプ、プローブ、および基準パルスの作成のための詳細を提供する。
EITベースのスロー光パルスは、量子メモリを作成するための最も広く研究されているアーキテクチャを提供する。
したがって、ここで提示される基本的な概念は、最先端の量子技術の開発に携わる物理学や工学の専攻者にとって有用である。 We present undergraduate-friendly instructions on how to produce light pulses propagating through warm Rubidium vapor with speeds less than 400 m/s, i.e., nearly a million times slower than c. We elucidate the role played by electromagnetically induced transparency (EIT) in producing slow light pulses, and discuss how to achieve the required experimental conditions. The optical set up is presented, and details provided for preparation of pump, probe, and reference pulses of the required size, frequency, intensity, temporal width, and polarization purity. EIT-based slow light pulses provide the most widely studied architecture for creating quantum memories. Therefore, the basic concepts presented here are useful for physics and engineering majors who wish to get involved in the development of cutting-edge quantum technologies. | 翻訳日:2023-09-08 18:36:23 公開日:2023-09-06 |
| # 補間を支援する学習表現 Learning Representations that Support Extrapolation ( http://arxiv.org/abs/2007.05059v3 ) ライセンス: Link先を確認 | Taylor W. Webb, Zachary Dulberg, Steven M. Frankland, Alexander A. Petrov, Randall C. O'Reilly, Jonathan D. Cohen | (参考訳) 外挿(外挿) -- 経験の範囲を超えた推論を行う能力 - は、人間の知能の要点である。
対照的に、現代のニューラルネットワークアルゴリズムが示す一般化は、トレーニングコーパスのデータポイント間の補間に限られている。
本稿では,外挿を支援する表現学習の課題について考察する。
トレーニングデータによって定義された凸領域からの距離の関数として外挿の段階的評価を可能にする新しい視覚類似ベンチマークを導入する。
また、オブジェクト間の関係を強調する表現を促進するシンプルな手法である時間的文脈正規化を導入する。
この手法によって外挿能力が大幅に向上し、多くの競合技術を大きく上回ることが分かりました。 Extrapolation -- the ability to make inferences that go beyond the scope of one's experiences -- is a hallmark of human intelligence. By contrast, the generalization exhibited by contemporary neural network algorithms is largely limited to interpolation between data points in their training corpora. In this paper, we consider the challenge of learning representations that support extrapolation. We introduce a novel visual analogy benchmark that allows the graded evaluation of extrapolation as a function of distance from the convex domain defined by the training data. We also introduce a simple technique, temporal context normalization, that encourages representations that emphasize the relations between objects. We find that this technique enables a significant improvement in the ability to extrapolate, considerably outperforming a number of competitive techniques. | 翻訳日:2023-09-08 18:35:53 公開日:2023-09-06 |
| # カーネル化概念消去 Kernelized Concept Erasure ( http://arxiv.org/abs/2201.12191v4 ) ライセンス: Link先を確認 | Shauli Ravfogel and Francisco Vargas and Yoav Goldberg and Ryan Cotterell | (参考訳) テキストデータに対するニューラルモデルの表現空間は、トレーニング中に教師なしの方法で現れる。
これらの表現が人間の解釈可能な概念をどのようにエンコードするかを理解することは根本的な問題である。
神経表現における概念の同定のための顕著なアプローチの1つは、表現から概念の予測を妨げる線形部分空間の探索である。
しかし、多くの線形消去アルゴリズムは扱いやすく解釈可能であるが、ニューラルネットワークは必ずしも概念を線形に表現するわけではない。
非線形符号化された概念を識別するために,概念消去のための線形ミニマックスゲームのカーネル化を提案する。
我々は,特定の非線形敵が概念を予測できないことを実証する。
しかし、保護は異なる非線形敵に伝達されない。
したがって、非線型符号化の概念を徹底的に消去することは未解決の問題である。 The representation space of neural models for textual data emerges in an unsupervised manner during training. Understanding how those representations encode human-interpretable concepts is a fundamental problem. One prominent approach for the identification of concepts in neural representations is searching for a linear subspace whose erasure prevents the prediction of the concept from the representations. However, while many linear erasure algorithms are tractable and interpretable, neural networks do not necessarily represent concepts in a linear manner. To identify non-linearly encoded concepts, we propose a kernelization of a linear minimax game for concept erasure. We demonstrate that it is possible to prevent specific non-linear adversaries from predicting the concept. However, the protection does not transfer to different nonlinear adversaries. Therefore, exhaustively erasing a non-linearly encoded concept remains an open problem. | 翻訳日:2023-09-08 18:28:18 公開日:2023-09-06 |
| # 逐次予測器の比較 Comparing Sequential Forecasters ( http://arxiv.org/abs/2110.00115v5 ) ライセンス: Link先を確認 | Yo Joong Choe and Aaditya Ramdas | (参考訳) 2つの予測器を考えてみましょう。それぞれが時間とともに一連のイベントを予測します。
比較的基本的な質問は、オンラインやポストホックの予測と、予測と結果の生成方法に関する検証不可能な仮定を避けながら、これらの予測をどのように比較すればよいのか、ということだ。
本稿では,予測スコアの時間差を推定する新しい逐次推論手順を設計することによって,この問題に対する厳密な回答を示す。
これを実現するために,信頼区間の連続的監視が可能な信頼区間列である信頼シーケンス(cs)を採用し,任意のデータ依存停止時間("anytime-valid")で有効である。
CSの幅は、スコア差の基本的なばらつきに適応する。
彼らの構築はゲーム理論の統計フレームワークであり、弱いヌル仮説を逐次テストするためのe-プロセスとp-プロセスを更に特定する。
我々の主な定理は任意の有界点に適用され、後に無界点に対する別の方法を提供する。
実世界の野球と天気予報機を比較することで,我々のアプローチを実証的に検証する。 Consider two forecasters, each making a single prediction for a sequence of events over time. We ask a relatively basic question: how might we compare these forecasters, either online or post-hoc, while avoiding unverifiable assumptions on how the forecasts and outcomes were generated? In this paper, we present a rigorous answer to this question by designing novel sequential inference procedures for estimating the time-varying difference in forecast scores. To do this, we employ confidence sequences (CS), which are sequences of confidence intervals that can be continuously monitored and are valid at arbitrary data-dependent stopping times ("anytime-valid"). The widths of our CSs are adaptive to the underlying variance of the score differences. Underlying their construction is a game-theoretic statistical framework, in which we further identify e-processes and p-processes for sequentially testing a weak null hypothesis -- whether one forecaster outperforms another on average (rather than always). Our methods do not make distributional assumptions on the forecasts or outcomes; our main theorems apply to any bounded scores, and we later provide alternative methods for unbounded scores. We empirically validate our approaches by comparing real-world baseball and weather forecasters. | 翻訳日:2023-09-08 18:27:03 公開日:2023-09-06 |
| # BoXHED2.0:動的生存分析のスケーラビリティ向上 BoXHED2.0: Scalable boosting of dynamic survival analysis ( http://arxiv.org/abs/2103.12591v5 ) ライセンス: Link先を確認 | Arash Pakbin, Xiaochen Wang, Bobak J. Mortazavi, Donald K.K. Lee | (参考訳) 現代における生存分析の応用は、時間に依存した共変量を含んでいる。
PythonパッケージのBoXHED2.0は完全に非パラメトリックで、繰り返しイベントや競合するリスクを含む、リバイバル設定よりもはるかに一般的なものだ。
BoXHED2.0は、コアがC++で記述されており、GPUやマルチコアCPUの使用もサポートしているため、パラメトリックブースターサバイバルモデルと同等の速度にスケーラブルである。
BoXHED2.0はPyPIやwww.github.com/BoXHEDからも入手できる。 Modern applications of survival analysis increasingly involve time-dependent covariates. The Python package BoXHED2.0 is a tree-boosted hazard estimator that is fully nonparametric, and is applicable to survival settings far more general than right-censoring, including recurring events and competing risks. BoXHED2.0 is also scalable to the point of being on the same order of speed as parametric boosted survival models, in part because its core is written in C++ and it also supports the use of GPUs and multicore CPUs. BoXHED2.0 is available from PyPI and also from www.github.com/BoXHED. | 翻訳日:2023-09-08 18:25:31 公開日:2023-09-06 |
| # 報酬関数学習のための人間の嗜好モデル Models of human preference for learning reward functions ( http://arxiv.org/abs/2206.02231v3 ) ライセンス: Link先を確認 | W. Bradley Knox, Stephane Hatgis-Kessell, Serena Booth, Scott Niekum, Peter Stone, Alessandro Allievi | (参考訳) 強化学習の有用性は、報酬機能の調整と人間の利害関係者の利益によって制限される。
アライメントの有望な方法の1つは、人間のフィードバック(rlhf)からの強化学習の一種である軌道セグメントのペア間の人間の生成した好みから報酬機能を学ぶことである。
これらの人間の好みは、通常、各セグメントの報酬の合計である部分的なリターンによってのみ通知される。
この仮定は欠陥があり、各セグメントの後悔、つまり最適な意思決定からセグメントの逸脱を判断する尺度によってではなく、人間の好みをモデル化することを提案している。
後悔によって生じる無限個の選好が与えられた場合、これらの選好を生成する報奨関数と等価な報奨関数を同定できることを証明し、その先行部分回帰モデルが複数の文脈においてこの識別可能性特性を欠いていることを証明した。
提案した後悔選好モデルが,トレーニングデータに制限のある部分回帰選好モデルよりも優れていることを実証的に示す。
さらに,提案する後悔選好モデルは,実際の人間選好を予測し,その選好から報奨機能を学習し,より人間に合った政策へと導くことを見出した。
概して、この研究は、選好モデルの選択が影響があることを証明し、提案した後悔選好モデルは、最近の研究の中核的な仮定を改善する。
我々は、実験コード、収集した人間の嗜好データセット、そしてそのようなデータセットを集めるためのトレーニングと嗜好誘発インターフェースをオープンソース化しました。 The utility of reinforcement learning is limited by the alignment of reward functions with the interests of human stakeholders. One promising method for alignment is to learn the reward function from human-generated preferences between pairs of trajectory segments, a type of reinforcement learning from human feedback (RLHF). These human preferences are typically assumed to be informed solely by partial return, the sum of rewards along each segment. We find this assumption to be flawed and propose modeling human preferences instead as informed by each segment's regret, a measure of a segment's deviation from optimal decision-making. Given infinitely many preferences generated according to regret, we prove that we can identify a reward function equivalent to the reward function that generated those preferences, and we prove that the previous partial return model lacks this identifiability property in multiple contexts. We empirically show that our proposed regret preference model outperforms the partial return preference model with finite training data in otherwise the same setting. Additionally, we find that our proposed regret preference model better predicts real human preferences and also learns reward functions from these preferences that lead to policies that are better human-aligned. Overall, this work establishes that the choice of preference model is impactful, and our proposed regret preference model provides an improvement upon a core assumption of recent research. We have open sourced our experimental code, the human preferences dataset we gathered, and our training and preference elicitation interfaces for gathering a such a dataset. | 翻訳日:2023-09-08 18:19:22 公開日:2023-09-06 |
| # 逆境戦略の空間 The Space of Adversarial Strategies ( http://arxiv.org/abs/2209.04521v2 ) ライセンス: Link先を確認 | Ryan Sheatsley, Blaine Hoak, Eric Pauley, Patrick McDaniel | (参考訳) 機械学習モデルにおける最悪のケース動作を誘発するインプットである逆例は、過去10年間に広く研究されてきた。
しかし、この現象に対する我々の理解は、かなり断片化された知識のプールに由来する。現在、脅威モデルにおける異なる仮定と、比較不能な最適性の定義を持つ、いくつかの攻撃がある。
本稿では,最悪の(即ち最適)敵を特徴付けるための体系的アプローチを提案する。
まず,攻撃成分を表面や旅行者に微粒化することで,敵対的機械学習における攻撃の拡張的分解を導入する。
分解することで、コンポーネントを列挙して576のアタックを生成します(そのうち568は以前未調査でした)。
次に,アッパーバウンド攻撃性能を示す理論攻撃であるPareto Ensemble Attack (PEA)を提案する。
新しい攻撃では、ロバストモデルと非ロバストモデルと7つのデータセット、計算コストを組み込んだ3つの拡張lpベースの脅威モデルの両方で、PEAに対するパフォーマンスを測定する。
ドメイン、モデル堅牢性、脅威モデルは、攻撃の有効性に大きな影響を及ぼす可能性がある。
機械学習の安全性を計測する将来の研究は、(1)ドメインモデルと脅威モデルに文脈化され、(2)今日使われているいくつかの既知の攻撃を越えていくべきである。 Adversarial examples, inputs designed to induce worst-case behavior in machine learning models, have been extensively studied over the past decade. Yet, our understanding of this phenomenon stems from a rather fragmented pool of knowledge; at present, there are a handful of attacks, each with disparate assumptions in threat models and incomparable definitions of optimality. In this paper, we propose a systematic approach to characterize worst-case (i.e., optimal) adversaries. We first introduce an extensible decomposition of attacks in adversarial machine learning by atomizing attack components into surfaces and travelers. With our decomposition, we enumerate over components to create 576 attacks (568 of which were previously unexplored). Next, we propose the Pareto Ensemble Attack (PEA): a theoretical attack that upper-bounds attack performance. With our new attacks, we measure performance relative to the PEA on: both robust and non-robust models, seven datasets, and three extended lp-based threat models incorporating compute costs, formalizing the Space of Adversarial Strategies. From our evaluation we find that attack performance to be highly contextual: the domain, model robustness, and threat model can have a profound influence on attack efficacy. Our investigation suggests that future studies measuring the security of machine learning should: (1) be contextualized to the domain & threat models, and (2) go beyond the handful of known attacks used today. | 翻訳日:2023-09-08 18:06:52 公開日:2023-09-06 |
| # 3次元ニューラルネットワーク埋め込み確率:ロバストな6次元ポーズ推定のための確率的逆グラフィックス 3D Neural Embedding Likelihood: Probabilistic Inverse Graphics for Robust 6D Pose Estimation ( http://arxiv.org/abs/2302.03744v3 ) ライセンス: Link先を確認 | Guangyao Zhou, Nishad Gothoskar, Lirui Wang, Joshua B. Tenenbaum, Dan Gutfreund, Miguel L\'azaro-Gredilla, Dileep George, Vikash K. Mansinghka | (参考訳) 3dシーンを知覚し理解する能力は、コンピュータビジョンやロボット工学の多くの応用に不可欠である。
逆グラフィックスは,2次元画像から3次元シーン構造を推測することを目的とした,3次元シーン理解への魅力的なアプローチである。
本稿では,不確かさを定量化し,6次元ポーズ推定タスクにおけるロバスト性を達成するために,逆グラフィックスフレームワークに確率的モデリングを導入する。
具体的には,RGB-D画像上の統一確率モデルとして3D Neural Embedding Likelihood (3DNEL)を提案する。
3DNELは、RGBから学習した神経埋め込みと深度情報を組み合わせて、RGB-D画像からのsim-to-real 6Dオブジェクトのポーズ推定の堅牢性を改善する。
YCB-Videoデータセットのパフォーマンスは最先端と同等だが、挑戦的なレシエーションではずっと堅牢だ。
差別的アプローチとは対照的に、3dnelの確率的生成形式はシーン内の複数の物体を共同でモデル化し、原理的に不確かさを定量化し、重い咬合下で物体のポーズ追跡を扱う。
最後に、3dnelは、シーンとオブジェクトに関する事前知識を組み込むための原則付きフレームワークを提供し、ビデオからのカメラポーズ追跡のような追加タスクへの自然な拡張を可能にする。 The ability to perceive and understand 3D scenes is crucial for many applications in computer vision and robotics. Inverse graphics is an appealing approach to 3D scene understanding that aims to infer the 3D scene structure from 2D images. In this paper, we introduce probabilistic modeling to the inverse graphics framework to quantify uncertainty and achieve robustness in 6D pose estimation tasks. Specifically, we propose 3D Neural Embedding Likelihood (3DNEL) as a unified probabilistic model over RGB-D images, and develop efficient inference procedures on 3D scene descriptions. 3DNEL effectively combines learned neural embeddings from RGB with depth information to improve robustness in sim-to-real 6D object pose estimation from RGB-D images. Performance on the YCB-Video dataset is on par with state-of-the-art yet is much more robust in challenging regimes. In contrast to discriminative approaches, 3DNEL's probabilistic generative formulation jointly models multiple objects in a scene, quantifies uncertainty in a principled way, and handles object pose tracking under heavy occlusion. Finally, 3DNEL provides a principled framework for incorporating prior knowledge about the scene and objects, which allows natural extension to additional tasks like camera pose tracking from video. | 翻訳日:2023-09-08 17:47:05 公開日:2023-09-06 |
| # 非構造化データベース探索のための浅層深度を用いた変分量子探索 Variational Quantum Search with Shallow Depth for Unstructured Database Search ( http://arxiv.org/abs/2212.09505v2 ) ライセンス: Link先を確認 | Junpeng Zhan | (参考訳) 強力な量子コンピュータの出現により、より効率的な量子アルゴリズムの探求は、ノイズの多い中間スケール量子時代の古典的量子超越性を達成する上で重要となる。
グロバーの探索アルゴリズムとその一般化、量子振幅増幅は、様々な重要な科学的問題の解法において二次的なスピードアップを提供するが、量子回路の深さが量子ビット数とともに指数関数的に増加するにつれて、その指数時間複雑性はスケーラビリティに制限される。
この課題を克服するために,変動量子アルゴリズムとパラメータ化量子回路に基づく新しいアルゴリズムである変分量子探索(vqs)を提案する。
深さ10アンザッツは、$k$$(k \geq 1$)良い要素の総確率を、$n$+1 qubitsで表される2^n$要素のうち、$k/2^n$から$1に近いものへと増幅することができ、VQSの量子回路の最大深さは、量子ビットの数とともに直線的に増加することを示す。
実験の結果,最大26キュービットの回路深さにおけるGroverアルゴリズムに対するVQSの有効性と指数的優位性を検証した。
vqsの深さ56回路はグローバーアルゴリズムの深さ270,989回路を置き換えることができる。
VQSはその可能性を想定し、重要な問題の解決を加速する約束を持っている。 With the advent of powerful quantum computers, the quest for more efficient quantum algorithms becomes crucial in attaining quantum supremacy over classical counterparts in the noisy intermediate-scale quantum era. While Grover's search algorithm and its generalization, quantum amplitude amplification, offer quadratic speedup in solving various important scientific problems, their exponential time complexity limits scalability as the quantum circuit depths grow exponentially with the number of qubits. To overcome this challenge, we propose Variational Quantum Search (VQS), a novel algorithm based on variational quantum algorithms and parameterized quantum circuits. We show that a depth-10 Ansatz can amplify the total probability of $k$ ($k \geq 1$) good elements, out of $2^n$ elements represented by $n$+1 qubits, from $k/2^n$ to nearly 1, as verified for $n$ up to 26, and that the maximum depth of quantum circuits in the VQS increases linearly with the number of qubits. Our experimental results have validated the efficacy of VQS and its exponential advantage over Grover's algorithm in circuit depth for up to 26 qubits. We demonstrate that a depth-56 circuit in VQS can replace a depth-270,989 circuit in Grover's algorithm. Envisioning its potential, VQS holds promise to accelerate solutions to critical problems. | 翻訳日:2023-09-08 17:45:36 公開日:2023-09-06 |
| # 情報理論を用いた目的関数の選択法 How to select an objective function using information theory ( http://arxiv.org/abs/2212.06566v2 ) ライセンス: Link先を確認 | Timothy O. Hodson, Thomas M. Over, Tyler J. Smith, Lucy M. Marshall | (参考訳) 機械学習や科学計算では、モデル性能は客観的関数で測定される。
しかし、なぜ別の目的を選ぶのか?
モデル内の情報を最大化するために、最も可能性の高い客観的関数を選択するか、最も少ないビットでエラーを表現するかを選択する。
異なる目的を評価するために、それらを可能性関数に変換する。
確率として、それらの相対的な大きさは、ある目的が他の目標よりもどのくらい好まれるかを表し、その大きさのログは、モデルが期待する不確実性を表す。 In machine learning or scientific computing, model performance is measured with an objective function. But why choose one objective over another? Information theory gives one answer: To maximize the information in the model, select the most likely objective function or whichever represents the error in the fewest bits. To evaluate different objectives, transform them into likelihood functions. As likelihoods, their relative magnitudes represent how much we should prefer one objective versus another, and the log of their magnitude represents the expected uncertainty of the model. | 翻訳日:2023-09-08 17:44:51 公開日:2023-09-06 |
| # スパイキング時空間変圧器によるイベントベースヒューマンポーズ追跡 Event-based Human Pose Tracking by Spiking Spatiotemporal Transformer ( http://arxiv.org/abs/2303.09681v4 ) ライセンス: Link先を確認 | Shihao Zou, Yuxuan Mu, Xinxin Zuo, Sen Wang, Li Cheng | (参考訳) イベントカメラは、動きのダイナミクスを捉えるための生物学的にインスパイアされた視覚センサーとして登場し、3Dのポーズトラッキングやビデオベースの人間のポーズ推定の新しい可能性を示す。
しかし、ポーズトラッキングにおける既存の作業では、確固とした開始姿勢を確立するために、追加のグレースケールイメージが必要か、イベントストリームのセグメントを分解して静的なイベントフレームを形成することで、一時的な依存関係を全て無視するかのどちらかである。
一方、多くのイベントベースタスクにおいて、ニューラルネットワーク(ANN)の有効性が示されてきたが、ANNの使用は、高密度フレームベースの画像シーケンスと比較して、イベントカメラからのイベントの発生が時空間的にはるかに小さいという事実を無視する傾向にある。
上記の課題に触発されて、イベントベースのポーズトラッキングのための、エンドツーエンドのスパース深層学習アプローチを提案する。
1) 当社の知る限りでは,3次元人物ポーズ追跡がイベントのみから得られるのはこれが初めてであり,入力の一部としてフレームベースの画像にアクセスする必要がなくなる。
2)本手法はスパイク要素ワイズ(SEW)ResNetとスパイク時空間変換器からなるスパイクニューラルネットワーク(SNN)の枠組みに基づいている。
3) 大規模合成データセットを構築し, 広範かつ多種多様なアノテートされた3次元動作と, SynEventHPD と呼ばれる長時間のイベントストリームデータを特徴付ける。
実験により,SOTA(State-of-the-art (SOTA) ANN) よりも優れた性能を示すとともに,FLOPSの80%の計算量削減を実現している。
さらに,提案手法は,人間のポーズトラッキングの回帰タスクにおいて,SOTA SNNよりも優れていた。
私たちの実装はhttps://github.com/JimmyZou/HumanPoseTracking_SNNで公開されています。 Event camera, as an emerging biologically-inspired vision sensor for capturing motion dynamics, presents new potential for 3D human pose tracking, or video-based 3D human pose estimation. However, existing works in pose tracking either require the presence of additional gray-scale images to establish a solid starting pose, or ignore the temporal dependencies all together by collapsing segments of event streams to form static event frames. Meanwhile, although the effectiveness of Artificial Neural Networks (ANNs, a.k.a. dense deep learning) has been showcased in many event-based tasks, the use of ANNs tends to neglect the fact that compared to the dense frame-based image sequences, the occurrence of events from an event camera is spatiotemporally much sparser. Motivated by the above mentioned issues, we present in this paper a dedicated end-to-end sparse deep learning approach for event-based pose tracking: 1) to our knowledge this is the first time that 3D human pose tracking is obtained from events only, thus eliminating the need of accessing to any frame-based images as part of input; 2) our approach is based entirely upon the framework of Spiking Neural Networks (SNNs), which consists of Spike-Element-Wise (SEW) ResNet and a novel Spiking Spatiotemporal Transformer; 3) a large-scale synthetic dataset is constructed that features a broad and diverse set of annotated 3D human motions, as well as longer hours of event stream data, named SynEventHPD. Empirical experiments demonstrate that, with superior performance over the state-of-the-art (SOTA) ANNs counterparts, our approach also achieves a significant computation reduction of 80% in FLOPS. Furthermore, our proposed method also outperforms SOTA SNNs in the regression task of human pose tracking. Our implementation is available at https://github.com/JimmyZou/HumanPoseTracking_SNN and dataset will be released upon paper acceptance. | 翻訳日:2023-09-08 17:39:33 公開日:2023-09-06 |
| # 時間平均制約を考慮した制御系オンライン最適化のためのプライマル・ディダル・コンテクストベイズ最適化 Primal-Dual Contextual Bayesian Optimization for Control System Online Optimization with Time-Average Constraints ( http://arxiv.org/abs/2304.06104v2 ) ライセンス: Link先を確認 | Wenjie Xu, Yuning Jiang, Bratislav Svetozarevic, Colin N. Jones | (参考訳) 本稿では,制約付き閉ループ制御システムのオンライン性能最適化の問題点について検討する。
一定の規則性条件下での動的最適解に対して,線形累積後悔を克服する主元-双対文脈ベイズ最適化アルゴリズムを提案する。
さらに、アルゴリズムは平均時間制約違反をゼロとし、制約関数の平均値が所望の制約を満たすことを保証する。
本手法はガウシアンプロセスから採取したサンプルインスタンスと, 連続発振型原子炉パラメータチューニング問題の両方に適用し, シミュレーション結果から, ほぼ最適性能を同時に提供し, 平均的な制約実現性を維持することを示す。
これは、提示されたケーススタディに対する大きな累積的後悔または厳しい制約違反に苦しむ現在の最先端の手法とは対照的である。 This paper studies the problem of online performance optimization of constrained closed-loop control systems, where both the objective and the constraints are unknown black-box functions affected by exogenous time-varying contextual disturbances. A primal-dual contextual Bayesian optimization algorithm is proposed that achieves sublinear cumulative regret with respect to the dynamic optimal solution under certain regularity conditions. Furthermore, the algorithm achieves zero time-average constraint violation, ensuring that the average value of the constraint function satisfies the desired constraint. The method is applied to both sampled instances from Gaussian processes and a continuous stirred tank reactor parameter tuning problem; simulation results show that the method simultaneously provides close-to-optimal performance and maintains constraint feasibility on average. This contrasts current state-of-the-art methods, which either suffer from large cumulative regret or severe constraint violations for the case studies presented. | 翻訳日:2023-09-08 17:27:36 公開日:2023-09-06 |
| # 医用画像分類のための自己監督:1クラス100のラベル付きトレーニングサンプルによる最先端のパフォーマンス Self-supervision for medical image classification: state-of-the-art performance with ~100 labeled training samples per class ( http://arxiv.org/abs/2304.05163v2 ) ライセンス: Link先を確認 | Maximilian Nielsen, Laura Wenderoth, Thilo Sentker, Ren\'e Werner | (参考訳) 医用画像解析のための自己教師型深層学習(DL)は、既にエンドツーエンドの訓練型監視型DLの事実上の標準に取って代わるものか?
医療画像分類におけるこの問題に特に焦点をあて、この分野で現在最も制限されている要因の1つ、ラベル付きデータの(非)利用性に焦点をあてた。
3つの一般的な医用画像法(骨髄顕微鏡,消化管内視鏡,皮膚内視鏡)と公開データセットに基づいて,ラベルのない自己蒸留法(DINO)における自己監督型DLの性能を解析した。
画像ラベルを使わずに画像表現を学習した後、従来の機械学習分類器を適用する。
分類器は、体系的に異なるラベル付きデータ(1クラスあたり1-1000サンプル)で適合する。
学習した画像表現を活用し、利用可能なラベル付きデータの1%から10%、クラス当たり約100のラベル付きサンプルで、3つのイメージモダリティとデータセットの最先端の分類性能を実現する。 Is self-supervised deep learning (DL) for medical image analysis already a serious alternative to the de facto standard of end-to-end trained supervised DL? We tackle this question for medical image classification, with a particular focus on one of the currently most limiting factors of the field: the (non-)availability of labeled data. Based on three common medical imaging modalities (bone marrow microscopy, gastrointestinal endoscopy, dermoscopy) and publicly available data sets, we analyze the performance of self-supervised DL within the self-distillation with no labels (DINO) framework. After learning an image representation without use of image labels, conventional machine learning classifiers are applied. The classifiers are fit using a systematically varied number of labeled data (1-1000 samples per class). Exploiting the learned image representation, we achieve state-of-the-art classification performance for all three imaging modalities and data sets with only a fraction of between 1% and 10% of the available labeled data and about 100 labeled samples per class. | 翻訳日:2023-09-08 17:27:19 公開日:2023-09-06 |
| # 実践における知識グラフ: ユーザ,課題,可視化の機会を特徴づける Knowledge Graphs in Practice: Characterizing their Users, Challenges, and Visualization Opportunities ( http://arxiv.org/abs/2304.01311v3 ) ライセンス: Link先を確認 | Harry Li, Gabriel Appleby, Camelia Daniela Brumar, Remco Chang, Ashley Suh | (参考訳) 本研究は、企業と学術の両方で幅広いユースケースで働いている19人の知識グラフ実践者へのインタビューから得られた知見を提示する。
本研究では,視覚的デザインによって緩和できるKGの作成,探索,分析において,KG実践者が経験した重要な課題を明らかにする。
以上の結果から,kg実践者のうち,kg製作者,アナリスト,消費者の3人がそれぞれ独自の専門知識とニーズを持っていることが明らかとなった。
我々は、KGビルダーがスキーマインクルーダーの恩恵を受けることを発見した。一方、KGアナリストは、中間クエリ結果を提供するカスタマイズ可能なクエリビルダーが必要である。
kg ユーザに対しては,ノードリンク図の有効性の欠如,および kg の採用と理解を促進するためのドメイン固有可視化の必要性が指摘されている。
最後に、KGを効果的に実践するには、現在のツールや技術、コラボレーションワークフローに対処しない、技術的および社会的ソリューションの両方が必要です。
インタビューの分析から,消化可能性と発見可能性のバランスをとる知識カード,時間的変化を追跡するタイムラインビュー,有機的発見をサポートするインターフェース,AIと機械学習予測のセマンティック説明など,KGのユーザビリティ向上のための可視化研究の方向性を抽出した。 This study presents insights from interviews with nineteen Knowledge Graph (KG) practitioners who work in both enterprise and academic settings on a wide variety of use cases. Through this study, we identify critical challenges experienced by KG practitioners when creating, exploring, and analyzing KGs that could be alleviated through visualization design. Our findings reveal three major personas among KG practitioners - KG Builders, Analysts, and Consumers - each of whom have their own distinct expertise and needs. We discover that KG Builders would benefit from schema enforcers, while KG Analysts need customizable query builders that provide interim query results. For KG Consumers, we identify a lack of efficacy for node-link diagrams, and the need for tailored domain-specific visualizations to promote KG adoption and comprehension. Lastly, we find that implementing KGs effectively in practice requires both technical and social solutions that are not addressed with current tools, technologies, and collaborative workflows. From the analysis of our interviews, we distill several visualization research directions to improve KG usability, including knowledge cards that balance digestibility and discoverability, timeline views to track temporal changes, interfaces that support organic discovery, and semantic explanations for AI and machine learning predictions. | 翻訳日:2023-09-08 17:26:59 公開日:2023-09-06 |
| # 節の絡み合い, 理論を探る例 Entanglement of Sections, Examples Looking for a Theory ( http://arxiv.org/abs/2304.01072v3 ) ライセンス: Link先を確認 | M. H. Freedman and M. B. Hastings | (参考訳) 量子情報は状態の絡み合いに関するものである。
この出発点にパラメータを追加し、単一の状態がバンドルの非バナッシングセクションとなるようにします。
例を通してセクションの絡み合いのパターンを考察する。 Quantum information is about the entanglement of states. To this starting point we add parameters whereby a single state becomes a non-vanishing section of a bundle. We consider through examples the possible entanglement patterns of sections. | 翻訳日:2023-09-08 17:26:35 公開日:2023-09-06 |
| # 空間結合型QDLPC符号 Spatially-Coupled QDLPC Codes ( http://arxiv.org/abs/2305.00137v3 ) ライセンス: Link先を確認 | Siyi Yang, Robert Calderbank | (参考訳) 空間結合符号 (SC) は畳み込みLDPC符号のクラスであり、高い性能と低遅延デコーダとの互換性により古典的符号化理論においてよく研究されている。
本稿では,古典的2次元空間結合符号(2D-SC)の量子対としてトーリック符号を記述し,空間結合型量子LDPC(SC-QLDPC)符号を一般化として導入する。
畳み込み構造を用いて、2D-SC符号のパリティチェック行列を2つの不定値の多項式として表現し、2D-SC符号が安定化符号となるために必要な代数的条件を導出する。
この代数的フレームワークは、新しいコードファミリの構築を促進する。
本稿では,小記憶が量子ビットの物理的接続を容易にし,局所符号化と低遅延ウィンドウの復号化を可能にした点に注目する。
本稿では,2D-SCハイパーグラフ積 (HGP) 符号のタンナーグラフにおいて,各成分符号のショートサイクルから生じるショートサイクルを最適化するために,代数的フレームワークを用いる。
先行研究は1/10未満のQLDPC符号に焦点をあてるが、2D-SC HGP符号は少ないメモリ、高いレート(約1/3)、優れた閾値で構築する。 Spatially-coupled (SC) codes is a class of convolutional LDPC codes that has been well investigated in classical coding theory thanks to their high performance and compatibility with low-latency decoders. We describe toric codes as quantum counterparts of classical two-dimensional spatially-coupled (2D-SC) codes, and introduce spatially-coupled quantum LDPC (SC-QLDPC) codes as a generalization. We use the convolutional structure to represent the parity check matrix of a 2D-SC code as a polynomial in two indeterminates, and derive an algebraic condition that is both necessary and sufficient for a 2D-SC code to be a stabilizer code. This algebraic framework facilitates the construction of new code families. While not the focus of this paper, we note that small memory facilitates physical connectivity of qubits, and it enables local encoding and low-latency windowed decoding. In this paper, we use the algebraic framework to optimize short cycles in the Tanner graph of 2D-SC hypergraph product (HGP) codes that arise from short cycles in either component code. While prior work focuses on QLDPC codes with rate less than 1/10, we construct 2D-SC HGP codes with small memories, higher rates (about 1/3), and superior thresholds. | 翻訳日:2023-09-08 17:17:17 公開日:2023-09-06 |
| # ClimSim:ハイブリッドマルチスケール気候シミュレータにおける高分解能物理エミュレータのトレーニングのためのオープンな大規模データセット ClimSim: An open large-scale dataset for training high-resolution physics emulators in hybrid multi-scale climate simulators ( http://arxiv.org/abs/2306.08754v3 ) ライセンス: Link先を確認 | Sungduk Yu, Walter M. Hannah, Liran Peng, Jerry Lin, Mohamed Aziz Bhouri, Ritwik Gupta, Bj\"orn L\"utjens, Justus C. Will, Gunnar Behrens, Julius J. M. Busecke, Nora Loose, Charles Stern, Tom Beucler, Bryce E. Harrop, Benjamin R. Hilman, Andrea M. Jenney, Savannah L. Ferretti, Nana Liu, Anima Anandkumar, Noah D. Brenowitz, Veronika Eyring, Nicholas Geneva, Pierre Gentine, Stephan Mandt, Jaideep Pathak, Akshay Subramaniam, Carl Vondrick, Rose Yu, Laure Zanna, Tian Zheng, Ryan P. Abernathey, Fiaz Ahmed, David C. Bader, Pierre Baldi, Elizabeth A. Barnes, Christopher S. Bretherton, Peter M. Caldwell, Wayne Chuang, Yilun Han, Yu Huang, Fernando Iglesias-Suarez, Sanket Jantre, Karthik Kashinath, Marat Khairoutdinov, Thorsten Kurth, Nicholas J. Lutsko, Po-Lun Ma, Griffin Mooers, J. David Neelin, David A. Randall, Sara Shamekh, Mark A. Taylor, Nathan M. Urban, Janni Yuval, Guang J. Zhang, Michael S. Pritchard | (参考訳) 現代の気候予測は、計算の制約による空間的および時間的解決が不十分である。
その結果は、嵐のような臨界過程の不正確で不正確な予測である。
物理と機械学習(ML)を組み合わせたハイブリッドな手法は、新しい世代の高忠実度気候シミュレータを導入し、計算ハングリーで短い高解像度のシミュレーションをMLエミュレータにアウトソーシングすることでムーアの法則を助長することができる。
しかし、このハイブリッドML-物理シミュレーションアプローチは、ドメイン固有の治療を必要としており、トレーニングデータや関連する、使いやすいワークフローがないため、MLの専門家にはアクセスできない。
ClimSimは、ハイブリッドML物理研究のために設計された、史上最大のデータセットである。
気候科学者とML研究者のコンソーシアムによって開発されたマルチスケール気候シミュレーションを含んでいる。
570億対の多変量入力および出力ベクトルからなり、ホストの気候シミュレータのマクロスケールの物理状態に対する局所ネスト、高分解能、高忠実性物理学の影響を分離する。
データセットはグローバルにカバーされており、複数年にわたってサンプリング頻度が高く、結果としてエミュレータがダウンストリーム結合と互換性を持つように設計されている。
我々は,MLの課題とその得点を明らかにするために,決定論的および確率的回帰ベースラインを実装した。
データ(https://huggingface.co/datasets/LEAP/ClimSim_high-res, https://huggingface.co/datasets/LEAP/ClimSim_low-res, https://huggingface.co/datasets/LEAP/ClimSim_low-res_aqua-planet)とコード(https://leap-stc.github.io/ClimSim)は、ML-物理と高忠実な気候シミュレーションのハイブリッド開発をサポートするために、オープンソースとしてリリースされた。 Modern climate projections lack adequate spatial and temporal resolution due to computational constraints. A consequence is inaccurate and imprecise predictions of critical processes such as storms. Hybrid methods that combine physics with machine learning (ML) have introduced a new generation of higher fidelity climate simulators that can sidestep Moore's Law by outsourcing compute-hungry, short, high-resolution simulations to ML emulators. However, this hybrid ML-physics simulation approach requires domain-specific treatment and has been inaccessible to ML experts because of lack of training data and relevant, easy-to-use workflows. We present ClimSim, the largest-ever dataset designed for hybrid ML-physics research. It comprises multi-scale climate simulations, developed by a consortium of climate scientists and ML researchers. It consists of 5.7 billion pairs of multivariate input and output vectors that isolate the influence of locally-nested, high-resolution, high-fidelity physics on a host climate simulator's macro-scale physical state. The dataset is global in coverage, spans multiple years at high sampling frequency, and is designed such that resulting emulators are compatible with downstream coupling into operational climate simulators. We implement a range of deterministic and stochastic regression baselines to highlight the ML challenges and their scoring. The data (https://huggingface.co/datasets/LEAP/ClimSim_high-res, https://huggingface.co/datasets/LEAP/ClimSim_low-res, and https://huggingface.co/datasets/LEAP/ClimSim_low-res_aqua-planet) and code (https://leap-stc.github.io/ClimSim) are released openly to support the development of hybrid ML-physics and high-fidelity climate simulations for the benefit of science and society. | 翻訳日:2023-09-08 17:08:22 公開日:2023-09-06 |
| # 第二応答理論:量子重ね合わせの伝播に関する理論的形式論 Second Response Theory: A Theoretical Formalism for the Propagation of Quantum Superpositions ( http://arxiv.org/abs/2306.07924v4 ) ライセンス: Link先を確認 | Mart\'in A. Mosquera | (参考訳) 一般電子量子状態の伝播は、分子系と外部駆動場との相互作用に関する情報を提供する。
これらは非断熱量子現象に関する理解を与えることもできる。
確立された手法は主に、当初は基底状態波動関数によってのみ記述された量子系を伝播することに焦点を当てている。
本研究では,前述した2次応答理論と呼ばれる結合クラスター理論内のサイズ拡張形式を拡張し,基底状態を含む異なる状態の一般線形結合によって記述された量子系を伝播させ,そのような伝播を時間依存型クラスター作用素の特殊集合でどのように行うかを示す。
我々の理論は、量子力学的観測値、確率、コヒーレンスを決定するために、数値的に正確な結果と強い整合性を示す。
本稿では, 2次応答理論における非定常状態と, 線形および二次応答理論における行列要素の予測能力について論じる。
本研究はまた、基底状態のクラスタ振幅の潜在的な不安定性を持つシステムを扱う近似正規化手法についても論じ、標準ユニタリ理論の参照結果と比較する。 The propagation of general electronic quantum states provides information of the interaction of molecular systems with external driving fields. These can also offer understandings regarding non-adiabatic quantum phenomena. Well established methods focus mainly on propagating a quantum system that is initially described exclusively by the ground state wavefunction. In this work, we expand a previously developed size-extensive formalism within coupled cluster theory, called second response theory, so it propagates quantum systems that are initially described by a general linear combination of different states, which can include the ground state, and show how with a special set of time-dependent cluster operators such propagations are performed. Our theory shows strong consistency with numerically exact results for the determination of quantum mechanical observables, probabilities, and coherences. We discuss unperturbed non-stationary states within second response theory and their ability to predict matrix elements that agree with those found in linear and quadratic response theories. This work also discusses an approximate regularized methodology to treat systems with potential instabilities in their ground-state cluster amplitudes, and compares such approximations with respect to reference results from standard unitary theory. | 翻訳日:2023-09-08 17:07:11 公開日:2023-09-06 |
| # アレイ型スパイキングニューラルネットワークにおける効率よく正確なメモリ An Efficient and Accurate Memristive Memory for Array-based Spiking Neural Networks ( http://arxiv.org/abs/2306.06551v3 ) ライセンス: Link先を確認 | Hritom Das, Rocco D. Febbo, SNB Tushar, Nishith N. Chakraborty, Maximilian Liehr, Nathaniel Cady, Garrett S. Rose | (参考訳) memristorは、その大きさと不揮発性のため、ニューロモルフィックコンピューティングにおける重み付けシナプス接続の誘惑的なソリューションを提供する。
しかし、memristorは一般的に使用される電圧パルスベースのプログラミングアプローチでは信頼できないため、プログラミングの失敗を避けるために正確に形づくられたパルスを必要とする。
本稿では,memristive synapsesを読み書きする際に,より予測可能なアナログメモリ動作を提供する,電流リミティングに基づくソリューションを提案する。
提案する設計では、リード電流は1t1r設計に比べて約19倍最適化できる。
さらに,提案した設計は1T1Rに比べて約9倍のエネルギーを節約できる。
また、3T1Rの設計は、MOSFETのプロセス変動やメムリスタ固有の確率的挙動の影響を受けない有望な書き込み動作を示す。
試験に用いられるメムリスタはハフニウム系であり、65nmハイブリッドCMOS-メムリスタプロセスで製造された。
提案設計では, 印加電圧と書き込み動作に対する抵抗の線形特性も示している。
シミュレーションと測定データは、電圧パルスベースのプログラミングと現在のコンプライアンスベースのプログラミングに関して、同様のパターンを示す。
この行動がスパイキングニューラルネットワークなどの神経形態特異的な応用に与える影響をさらに観察した。 Memristors provide a tempting solution for weighted synapse connections in neuromorphic computing due to their size and non-volatile nature. However, memristors are unreliable in the commonly used voltage-pulse-based programming approaches and require precisely shaped pulses to avoid programming failure. In this paper, we demonstrate a current-limiting-based solution that provides a more predictable analog memory behavior when reading and writing memristive synapses. With our proposed design READ current can be optimized by about 19x compared to the 1T1R design. Moreover, our proposed design saves about 9x energy compared to the 1T1R design. Our 3T1R design also shows promising write operation which is less affected by the process variation in MOSFETs and the inherent stochastic behavior of memristors. Memristors used for testing are hafnium oxide based and were fabricated in a 65nm hybrid CMOS-memristor process. The proposed design also shows linear characteristics between the voltage applied and the resulting resistance for the writing operation. The simulation and measured data show similar patterns with respect to voltage pulse-based programming and current compliance-based programming. We further observed the impact of this behavior on neuromorphic-specific applications such as a spiking neural network | 翻訳日:2023-09-08 17:06:14 公開日:2023-09-06 |
| # 空洞内の単一原子との相互作用時間制御による2光子間の条件相ゲート Conditional phase gate between two photons through control of the interaction time with a single atom in a cavity ( http://arxiv.org/abs/2306.01897v2 ) ライセンス: Link先を確認 | Arkan Hassan and Julio Gea-Banacloche | (参考訳) We show that the simultaneous interaction of two single-photon fields with a single atom in the V configuration can in principle produce a conditional phase gate of arbitrarily high fidelity, for an appropriate choice of the interaction time, as long as the fields con be described by a single temporal mode (as in an optical cavity); this requires a ``gated'' interaction, where, e.g., dynamical coupling techniques could be used to get the fields in and out of the cavity, and a large detuning induced by a strong external field could be used to turn the atom-field interaction on and off at the right times.
これらの仮定により, 単一原子を含むキャビティに対して最大のゲート忠実度が得られ, 系の非線形性に「希薄」な原子がさらに増えることが示唆された。
また,非キャビティモードにおける自然放出損失が不確かさをいかに低下させるか,また2レベルと5レベルの2つの代替原子レベルスキームについても検討する。 We show that the simultaneous interaction of two single-photon fields with a single atom in the V configuration can in principle produce a conditional phase gate of arbitrarily high fidelity, for an appropriate choice of the interaction time, as long as the fields con be described by a single temporal mode (as in an optical cavity); this requires a ``gated'' interaction, where, e.g., dynamical coupling techniques could be used to get the fields in and out of the cavity, and a large detuning induced by a strong external field could be used to turn the atom-field interaction on and off at the right times. With these assumptions, our analysis shows that the largest gate fidelities are obtained for a cavity containing a single atom, and that adding more atoms in effect ``dilutes'' the system's nonlinearity. We also study how spontaneous emission losses into non-cavity modes degrade the fidelity, and consider as well a couple of alternate atomic level schemes, namely two- and five-level systems. | 翻訳日:2023-09-08 17:05:02 公開日:2023-09-06 |
| # 連続時間ガウス過程回帰による時間分解能を有するイベントベースステレオビジュアルオドメトリー Event-based Stereo Visual Odometry with Native Temporal Resolution via Continuous-time Gaussian Process Regression ( http://arxiv.org/abs/2306.01188v4 ) ライセンス: Link先を確認 | Jianeng Wang, Jonathan D. Gammell | (参考訳) イベントベースのカメラは、シーン内の個々の視覚変化を非同期に捉えます。
これにより、従来のフレームベースのカメラよりも、非常にダイナミックな動きと照明が弱い。
それはまた、シーン内のすべての測定が、ユニークなタイミングで起こりうることを意味する。
これらの異なる測定時間を扱うことは、イベントベースのカメラを使用する上で大きな課題である。
視覚計測(VO)パイプラインでは、時間的に近い測定を1つの共通の時間で行うように近似することで、しばしば対処される。
このグルーピングは推定問題を単純化するが、追加センサーがないため、イベントベースカメラの時間分解能を犠牲にする。
そこで本稿では,グループ化や近似を必要とせず,個々の事象計測時間を直接推定する完全ステレオVOパイプラインを提案する。
連続時間軌道推定を用いて、物理的動機付け前のガウス過程の回帰を通じて、イベントベースのカメラの時間的忠実度と非同期性を維持する。
その性能はMVSECデータセットで評価され、2つの独立したシーケンスで7.9e-3と5.9e-3の相対誤差を達成し、既存の公開イベントベースのステレオVOパイプラインをそれぞれ2回と4回上回る。 Event-based cameras asynchronously capture individual visual changes in a scene. This makes them more robust than traditional frame-based cameras to highly dynamic motions and poor illumination. It also means that every measurement in a scene can occur at a unique time. Handling these different measurement times is a major challenge of using event-based cameras. It is often addressed in visual odometry (VO) pipelines by approximating temporally close measurements as occurring at one common time. This grouping simplifies the estimation problem but, absent additional sensors, sacrifices the inherent temporal resolution of event-based cameras. This paper instead presents a complete stereo VO pipeline that estimates directly with individual event-measurement times without requiring any grouping or approximation in the estimation state. It uses continuous-time trajectory estimation to maintain the temporal fidelity and asynchronous nature of event-based cameras through Gaussian process regression with a physically motivated prior. Its performance is evaluated on the MVSEC dataset, where it achieves 7.9e-3 and 5.9e-3 RMS relative error on two independent sequences, outperforming the existing publicly available event-based stereo VO pipeline by two and four times, respectively. | 翻訳日:2023-09-08 17:04:47 公開日:2023-09-06 |
| # FarSight:広い距離と高度で物理駆動の全身生体計測システム FarSight: A Physics-Driven Whole-Body Biometric System at Large Distance and Altitude ( http://arxiv.org/abs/2306.17206v2 ) ライセンス: Link先を確認 | Feng Liu, Ryan Ashbaugh, Nicholas Chimitt, Najmul Hassan, Ali Hassani, Ajay Jaiswal, Minchul Kim, Zhiyuan Mao, Christopher Perry, Zhiyuan Ren, Yiyang Su, Pegah Varghaei, Kai Wang, Xingguang Zhang, Stanley Chan, Arun Ross, Humphrey Shi, Zhangyang Wang, Anil Jain and Xiaoming Liu | (参考訳) 全身生体認証は、法執行機関、国境警備、および監視における膨大な応用のために重要な研究分野である。
本稿では,全身(顔,歩行,身体形状の融合)バイオメトリック認識のための革新的なソフトウェアシステムであるfarsightの設計,開発,評価を行う。
FarSightは、高層プラットフォームやドローンからのビデオを入力として受け入れ、ギャラリーから候補者のIDリストを出力する。
このシステムは、いくつかの課題に対処するために設計されている。
(i)低画質の画像
(ii)大きなヨーとピッチアングル。
(iii)人内変動が大きい場合と人間類似度が大きい場合のロバストな特徴抽出
(iv) トレーニングとテストセットの間の大きなドメイン間ギャップ。
farsightは、画像の物理とディープラーニングモデルを組み合わせて、画像復元と生体機能エンコーディングを強化している。
我々は新たに取得したIARPAバイオメトリック認識とAltitude and Range (BRIAR)データセットを用いてFarSightの有効性を検証する。
特に、FarSightはBRIARデータセットの大幅なパフォーマンス向上を示し、+11.82%のランク-20識別と+11.3%のTAR@1% FARが得られた。 Whole-body biometric recognition is an important area of research due to its vast applications in law enforcement, border security, and surveillance. This paper presents the end-to-end design, development and evaluation of FarSight, an innovative software system designed for whole-body (fusion of face, gait and body shape) biometric recognition. FarSight accepts videos from elevated platforms and drones as input and outputs a candidate list of identities from a gallery. The system is designed to address several challenges, including (i) low-quality imagery, (ii) large yaw and pitch angles, (iii) robust feature extraction to accommodate large intra-person variabilities and large inter-person similarities, and (iv) the large domain gap between training and test sets. FarSight combines the physics of imaging and deep learning models to enhance image restoration and biometric feature encoding. We test FarSight's effectiveness using the newly acquired IARPA Biometric Recognition and Identification at Altitude and Range (BRIAR) dataset. Notably, FarSight demonstrated a substantial performance increase on the BRIAR dataset, with gains of +11.82% Rank-20 identification and +11.3% TAR@1% FAR. | 翻訳日:2023-09-08 16:58:59 公開日:2023-09-06 |
| # 効率的なスペクトル画像分割のためのスパースグラフ定式化 A Sparse Graph Formulation for Efficient Spectral Image Segmentation ( http://arxiv.org/abs/2306.13166v2 ) ライセンス: Link先を確認 | Rahul Palnitkar and Jeova Farias Sales Rocha Neto | (参考訳) スペクトルクラスタリングは、セグメンテーション問題を解決する最も伝統的な方法の1つである。
正規化カットに基づいて、グラフで定義された目的関数を使って画像を分割する。
数学的魅力にもかかわらず、スペクトルアプローチは実践的な問題や性能不足のために伝統的に科学界によって無視されている。
本稿では,単純なグリッドグラフへの余分なノードの包含に基づくスパースグラフ定式化を採用する。
グリッドはピクセルの空間配置をエンコードするが、余分なノードはピクセルの色データを説明する。
元の正規化カットアルゴリズムをこのグラフに適用すると、解釈可能な解を持つスペクトル画像分割の単純でスケーラブルな方法が導かれる。
また, 提案手法は, 実データと合成データのセグメンテーションにおいて, 従来の非教師付きアルゴリズムと近代的アルゴリズムの両方を実行することを実証した。 Spectral Clustering is one of the most traditional methods to solve segmentation problems. Based on Normalized Cuts, it aims at partitioning an image using an objective function defined by a graph. Despite their mathematical attractiveness, spectral approaches are traditionally neglected by the scientific community due to their practical issues and underperformance. In this paper, we adopt a sparse graph formulation based on the inclusion of extra nodes to a simple grid graph. While the grid encodes the pixel spatial disposition, the extra nodes account for the pixel color data. Applying the original Normalized Cuts algorithm to this graph leads to a simple and scalable method for spectral image segmentation, with an interpretable solution. Our experiments also demonstrate that our proposed methodology over performs both traditional and modern unsupervised algorithms for segmentation in both real and synthetic data. | 翻訳日:2023-09-08 16:57:06 公開日:2023-09-06 |
| # 大規模言語モデルの継続的な事前学習: モデルをいかに(再)ウォームするか? Continual Pre-Training of Large Language Models: How to (re)warm your model? ( http://arxiv.org/abs/2308.04014v2 ) ライセンス: Link先を確認 | Kshitij Gupta, Benjamin Th\'erien, Adam Ibrahim, Mats L. Richter, Quentin Anthony, Eugene Belilovsky, Irina Rish, Timoth\'ee Lesort | (参考訳) 大規模言語モデル(LLM)は数十億のトークンで定期的に事前訓練されるが、新しいデータが利用可能になったら再起動する。
より安価で効率的な解決策は、これらのモデルの継続的な事前トレーニングを可能にすることである。
しかし、新しいデータによって誘導される分布シフトは、通常過去のデータにおける劣化性能をもたらす。
本研究は,効率的な継続事前学習に向けた一歩として,異なるウォームアップ戦略の効果を検討する。
私たちの仮説は、新しいデータセットでトレーニングするときの計算効率を改善するために、学習率を再び高めなければならないということです。
我々は,SlimPajama(下流データ,297Bトークン)の事前トレーニングを継続するPile(上流データ,300Bトークン)上で事前トレーニングされたモデルのウォームアップフェーズについて,線形ウォームアップおよびコサイン崩壊スケジュールに従って検討した。
我々はPythia 410M言語モデルアーキテクチャに関する全ての実験を行い、検証の難易度を通して性能を評価する。
我々は,事前学習チェックポイント,最大学習率,ウォームアップ長の異なる実験を行った。
私たちの結果は、リワーミングモデルが最初に上流データと下流データの損失を増加させる一方で、長期的にはダウンストリームパフォーマンスを改善し、大きなダウンストリームデータセットに対してscratch$\unicode{x2013}$evenからトレーニングされたモデルを上回ることを示しています。 Large language models (LLMs) are routinely pre-trained on billions of tokens, only to restart the process over again once new data becomes available. A much cheaper and more efficient solution would be to enable the continual pre-training of these models, i.e. updating pre-trained models with new data instead of re-training them from scratch. However, the distribution shift induced by novel data typically results in degraded performance on past data. Taking a step towards efficient continual pre-training, in this work, we examine the effect of different warm-up strategies. Our hypothesis is that the learning rate must be re-increased to improve compute efficiency when training on a new dataset. We study the warmup phase of models pre-trained on the Pile (upstream data, 300B tokens) as we continue to pre-train on SlimPajama (downstream data, 297B tokens), following a linear warmup and cosine decay schedule. We conduct all experiments on the Pythia 410M language model architecture and evaluate performance through validation perplexity. We experiment with different pre-training checkpoints, various maximum learning rates, and various warmup lengths. Our results show that while rewarming models first increases the loss on upstream and downstream data, in the longer run it improves the downstream performance, outperforming models trained from scratch$\unicode{x2013}$even for a large downstream dataset. | 翻訳日:2023-09-08 16:30:19 公開日:2023-09-06 |
| # 量子skyrmionの安定性:射影的測定と量子ゼノ効果 Stability of a quantum skyrmion: projective measurements and the quantum Zeno effect ( http://arxiv.org/abs/2308.11014v2 ) ライセンス: Link先を確認 | Fabio Salvati, Mikhail I. Katsnelson, Andrey A. Bagrov, Tom Westerhout | (参考訳) 磁気スキャミオンは渦状準粒子であり、長寿命と顕著な位相特性が特徴である。
これにより、磁気情報ストレージや処理デバイスにおける情報キャリアの役割に期待できる候補となる。
古典系におけるスカイミオンの研究においてかなりの進歩があったが、量子の場合についてはほとんど知られていない: 量子スカイミオンは系の局所磁化を探索することで直接観察することはできず、トポロジカル保護の概念は量子領域において解明される。
ここでは、量子スカイミオンの潜在的堅牢性について、古典的なものと比較して検討する。
局所射影計測対象の量子スキャミオンのダイナミクスを理論的に解析し、外部摂動によってスキャミオン量子状態の性質がほとんど変化しないことを示す。
さらに、量子スキャミオン上で繰り返し測定を行うことで、量子ゼノ効果の類似物によって完全に安定化できることを示した。 Magnetic skyrmions are vortex-like quasiparticles characterized by long lifetime and remarkable topological properties. That makes them a promising candidate for the role of information carriers in magnetic information storage and processing devices. Although considerable progress has been made in studying skyrmions in classical systems, little is known about the quantum case: quantum skyrmions cannot be directly observed by probing the local magnetization of the system, and the notion of topological protection is elusive in the quantum realm. Here, we explore the potential robustness of quantum skyrmions in comparison to their classical counterparts. We theoretically analyze the dynamics of a quantum skyrmion subject to local projective measurements and demonstrate that the properties of the skyrmionic quantum state change very little upon external perturbations. We further show that by performing repetitive measurements on a quantum skyrmion, it can be completely stabilized through an analog of the quantum Zeno effect. | 翻訳日:2023-09-08 16:17:17 公開日:2023-09-06 |
| # 不均一モデルによる個人化フェデレーション学習に向けて Towards Personalized Federated Learning via Heterogeneous Model Reassembly ( http://arxiv.org/abs/2308.08643v2 ) ライセンス: Link先を確認 | Jiaqi Wang, Xingyi Yang, Suhan Cui, Liwei Che, Lingjuan Lyu, Dongkuan Xu, Fenglong Ma | (参考訳) 本稿では,クライアントが異なるネットワーク構造を持つモデルを持つフェデレート学習におけるモデル不均一性の問題に対処することに焦点を当てる。
この問題を追跡するために,ヘテロジニアスモデルの再組み立てを利用して個別の連合学習を実現するpfedhrという新しいフレームワークを提案する。
特に,サーバ側でのモデルマッチング最適化タスクとして,ヘテロジニアスモデルパーソナライズの問題にアプローチする。
さらに、pFedHRは人間の介入を最小限に抑えた情報的かつ多様な個人化候補を自動かつ動的に生成する。
さらに,提案手法は,クライアントデータと異なる分布を持つ公開データを用いることで生じる悪影響をある程度緩和するものである。
実験の結果、pFedHRはIIDと非IIDの両方の設定下で3つのデータセットのベースラインよりも優れていた。
さらに、pFedHRは、異なる公開データを使用することによる悪影響を効果的に低減し、多様なパーソナライズされたモデルを自動で動的に生成する。 This paper focuses on addressing the practical yet challenging problem of model heterogeneity in federated learning, where clients possess models with different network structures. To track this problem, we propose a novel framework called pFedHR, which leverages heterogeneous model reassembly to achieve personalized federated learning. In particular, we approach the problem of heterogeneous model personalization as a model-matching optimization task on the server side. Moreover, pFedHR automatically and dynamically generates informative and diverse personalized candidates with minimal human intervention. Furthermore, our proposed heterogeneous model reassembly technique mitigates the adverse impact introduced by using public data with different distributions from the client data to a certain extent. Experimental results demonstrate that pFedHR outperforms baselines on three datasets under both IID and Non-IID settings. Additionally, pFedHR effectively reduces the adverse impact of using different public data and dynamically generates diverse personalized models in an automated manner. | 翻訳日:2023-09-08 16:16:22 公開日:2023-09-06 |
| # 意識の尺度としての知性 Intelligence as a Measure of Consciousness ( http://arxiv.org/abs/2309.00646v2 ) ライセンス: Link先を確認 | Igor \v{S}evo | (参考訳) 意識の兆候に対する人工システムの評価はますます関心が高まり、この点において、厳密な心理測定の枠組みが大きな言語モデルを評価する上で重要である可能性がある。
最も顕著な意識理論は、科学とメタフィジカルの両方で、人間のような意識に必要な要素として、異なる種類の情報結合について論じている。
ヒトと動物の脳における情報結合、人間の認知発達、創発的能力、および精神表現発達を、大きな言語モデルにおける類似現象と比較することにより、g因子やIQのような知能の心理測定は、間接的に意識経験の程度を近似する、と私は論じる。
私は、科学とメタフィジカルの両方の意識理論の幅広い情報源に基づいて、全てのシステムは、精神測定で確認可能な意識の程度を有しており、知能の心理測定尺度は、人工的または人間的のように、異なるシステム間での意識経験の相対的類似性を測定するのに使用できると論じている。 Evaluating artificial systems for signs of consciousness is increasingly becoming a pressing concern, and a rigorous psychometric measurement framework may be of crucial importance in evaluating large language models in this regard. Most prominent theories of consciousness, both scientific and metaphysical, argue for different kinds of information coupling as a necessary component of human-like consciousness. By comparing information coupling in human and animal brains, human cognitive development, emergent abilities, and mental representation development to analogous phenomena in large language models, I argue that psychometric measures of intelligence, such as the g-factor or IQ, indirectly approximate the extent of conscious experience. Based on a broader source of both scientific and metaphysical theories of consciousness, I argue that all systems possess a degree of consciousness ascertainable psychometrically and that psychometric measures of intelligence may be used to gauge relative similarities of conscious experiences across disparate systems, be they artificial or human. | 翻訳日:2023-09-08 15:58:03 公開日:2023-09-06 |
| # 合成臨床ノートに基づく公開共有型臨床大言語モデル Publicly Shareable Clinical Large Language Model Built on Synthetic Clinical Notes ( http://arxiv.org/abs/2309.00237v2 ) ライセンス: Link先を確認 | Sunjun Kweon, Junu Kim, Jiyoun Kim, Sujeong Im, Eunbyeol Cho, Seongsu Bae, Jungwoo Oh, Gyubok Lee, Jong Hak Moon, Seng Chan You, Seungjin Baek, Chang Hoon Han, Yoon Bin Jung, Yohan Jo, Edward Choi | (参考訳) 患者の臨床ノートを扱うために調整された大規模言語モデルの開発は、厳格なプライバシー規制のためにこれらのノートのアクセシビリティと使用性が制限されることがしばしば妨げられている。
これらの課題に対処するため,我々はまず,生物医学文献から抽出した公開症例報告を用いて,大規模な臨床ノートを作成する。
次に、これらの合成ノートを使用して、専門的な臨床大言語モデルであるAsclepiusを訓練します。
asclepiusは合成データに基づいて訓練されているが、実際の臨床記録を用いて実世界のアプリケーションでの性能を評価する。
我々は、GPT-3.5-turboや他のオープンソースの代替品を含む、いくつかの大きな言語モデルに対してAsclepiusをベンチマークした。
合成ノートを用いたアプローチをさらに検証するために,Asclepiusと実際の臨床ノートで訓練した変種を比較した。
本研究は, ハイパフォーマンスな臨床言語モデルを構築する際に, 実物の代用として有効であることを示すものである。
この結論は、GPT-4と医療専門家による詳細な評価によって裏付けられている。
asclepiusの開発に使用される重み、コード、データを含むすべてのリソースは、将来の研究のために公開アクセス可能である。 The development of large language models tailored for handling patients' clinical notes is often hindered by the limited accessibility and usability of these notes due to strict privacy regulations. To address these challenges, we first create synthetic large-scale clinical notes using publicly available case reports extracted from biomedical literature. We then use these synthetic notes to train our specialized clinical large language model, Asclepius. While Asclepius is trained on synthetic data, we assess its potential performance in real-world applications by evaluating it using real clinical notes. We benchmark Asclepius against several other large language models, including GPT-3.5-turbo and other open-source alternatives. To further validate our approach using synthetic notes, we also compare Asclepius with its variants trained on real clinical notes. Our findings convincingly demonstrate that synthetic clinical notes can serve as viable substitutes for real ones when constructing high-performing clinical language models. This conclusion is supported by detailed evaluations conducted by both GPT-4 and medical professionals. All resources including weights, codes, and data used in the development of Asclepius are made publicly accessible for future research. | 翻訳日:2023-09-08 15:57:19 公開日:2023-09-06 |
| # Wordle: 人生のマイクロコスム。
Luck, Skill, Cheating, Loyalty, and Influence! Wordle: A Microcosm of Life. Luck, Skill, Cheating, Loyalty, and Influence! ( http://arxiv.org/abs/2309.02110v2 ) ライセンス: Link先を確認 | James P. Dilger | (参考訳) WordleはNew York Times(nytimes.com)が提供している人気のオンラインワードゲームである。
現在、全世界で約200万人の英語版プレイヤーがいる。
プレイヤーは毎日の単語(ターゲット語)を推測する6つの試みがあり、各試みの後、各文字の正しさと位置に関する色分けされた情報を受け取る。
パズルの完成に成功するか、最終的に失敗した試みのどちらかの後に、ソフトウェアは情報理論を用いてプレイヤーの運とスキルを評価し、全てのプレイヤーのランダムなサンプルの第1、第2、第6の推測データを表示することができる。
最近私は、後者のデータが簡単にコピーしてスプレッドシートにペーストできるフォーマットで表示されていることを発見しました。
私は2023年5月から2023年8月まで、wordleプレーヤーの最初の推測に関するデータをコンパイルし、wordleプレイヤーに関する興味深い情報を推測しました。
A) 毎日約0.2-0.5%のプレイヤーが1回の挑戦でパズルを解く。
2,315の候補語のうちの1つをランダムに推測する確率は0.043%なので、4000万のプレイヤーがゲームの外でターゲット語を取得してカンニングすることを意味する。
b) プレイヤーの少なくとも1/3は、お気に入りの開始語又は数回のサイクルを有する。
また、対象語が繰り返されることはないことをプレイヤーは認識すべきであるが、ほとんどのプレイヤーは対象語として出現した後も開始語に忠実であるように見える。
C) 2023年8月15日,約30,000人のプレーヤーが,クロスワードパズルのヒントに基づいて,突然開始語を変更しました!
ワードルプレイヤーは 影響を受けます!
この調査はソーシャルメディアの投稿、調査、Google Trendsに留まらず、Wordleでの不正行為に関する確固とした定量的証拠を提供する。 Wordle is a popular, online word game offered by the New York Times (nytimes.com). Currently there are some 2 million players of the English version worldwide. Players have 6 attempts to guess the daily word (target word) and after each attempt, the player receives color-coded information about the correctness and position of each letter in the guess. After either a successful completion of the puzzle or the final unsuccessful attempt, software can assess the player's luck and skill using Information Theory and can display data for the first, second, ..., sixth guesses of a random sample of all players. Recently, I discovered that the latter data is presented in a format that can easily be copied and pasted into a spreadsheet. I compiled data on Wordle players' first guesses from May 2023 - August 2023 and inferred some interesting information about Wordle players. A) Every day, about 0.2-0.5% of players solve the puzzle in one attempt. Because the odds of guessing the one of 2,315 possible target words at random is 0.043%, this implies that 4,000 - 10,000 players cheat by obtaining the target word outside of playing the game! B) At least 1/3 of the players have a favorite starting word, or cycle through several. And even though players should be aware that target words are never repeated, most players appear to remain loyal to their starting word even after its appearance as a target word. C) On August 15, 2023, about 30,000 players abruptly changed their starting word, presumably based on a crossword puzzle clue! Wordle players can be influenced! This study goes beyond social media postings, surveys, and Google Trends to provide solid, quantitative evidence about cheating in Wordle. | 翻訳日:2023-09-08 15:49:41 公開日:2023-09-06 |
| # ストリーミングモデルにおける分布特性の検証 Testing properties of distributions in the streaming model ( http://arxiv.org/abs/2309.03245v1 ) ライセンス: Link先を確認 | Sampriti Roy, Yadu Vasudev | (参考訳) テストアルゴリズムに利用可能なメモリがバウンドされている場合、標準アクセスモデルと条件アクセスモデルにおける分散テストについて検討する。
どちらのシナリオでも、サンプルはオンライン形式で表示され、ゴールは、与えられた時間に何個のサンプルを格納できるかというメモリ制約を受けるサンプルの最適な数を用いて、分布の特性をテストすることである。
まず、条件付きアクセスオラクルに従ってサンプルが描画された場合、サンプルの複雑さと同一性をテストするための空間複雑さのトレードオフを提供する。
その結果,ほぼ最適に記憶されるサンプル数に対するメモリ制約により,単調分布の簡潔な表現を効率的に学習できることを示した。
また, 単調分布のアルゴリズムは, より大規模な分解可能分布に拡張可能であることを示す。 We study distribution testing in the standard access model and the conditional access model when the memory available to the testing algorithm is bounded. In both scenarios, the samples appear in an online fashion and the goal is to test the properties of distribution using an optimal number of samples subject to a memory constraint on how many samples can be stored at a given time. First, we provide a trade-off between the sample complexity and the space complexity for testing identity when the samples are drawn according to the conditional access oracle. We then show that we can learn a succinct representation of a monotone distribution efficiently with a memory constraint on the number of samples that are stored that is almost optimal. We also show that the algorithm for monotone distributions can be extended to a larger class of decomposable distributions. | 翻訳日:2023-09-08 15:31:13 公開日:2023-09-06 |
| # EGIC:セマンティックセグメンテーションによる低ビットレート生成画像圧縮の強化 EGIC: Enhanced Low-Bit-Rate Generative Image Compression Guided by Semantic Segmentation ( http://arxiv.org/abs/2309.03244v1 ) ライセンス: Link先を確認 | Nikolai K\"orber, Eduard Kromer, Andreas Siebert, Sascha Hauke, Daniel Mueller-Gritschneder | (参考訳) 本稿では,1つのモデルから歪み知覚曲線を効率的にトラバースできる新しい画像圧縮手法EGICを紹介する。
具体的には、MSE最適化とGAN最適化デコーダ出力の間の残差を予測する暗黙的に符号化された画像補間法を提案する。
受信側では、残余がGANベースの再構成に与える影響を制御することができる。
GANベースのビルディングブロックの改善とともに、EGICはHiFiC、MRIC、DIRACなど、認識指向および歪み指向のベースラインを多種多様に上回り、歪み端ではVTM-20.0とほぼ同等に動作している。
EGICは実装が簡単で、非常に軽量(例えばHiFiCと比較して0.18xモデルパラメータ)で、補間特性に優れたため、低ビット範囲を対象とする実用的なアプリケーションには有望な候補である。 We introduce EGIC, a novel generative image compression method that allows traversing the distortion-perception curve efficiently from a single model. Specifically, we propose an implicitly encoded variant of image interpolation that predicts the residual between a MSE-optimized and GAN-optimized decoder output. On the receiver side, the user can then control the impact of the residual on the GAN-based reconstruction. Together with improved GAN-based building blocks, EGIC outperforms a wide-variety of perception-oriented and distortion-oriented baselines, including HiFiC, MRIC and DIRAC, while performing almost on par with VTM-20.0 on the distortion end. EGIC is simple to implement, very lightweight (e.g. 0.18x model parameters compared to HiFiC) and provides excellent interpolation characteristics, which makes it a promising candidate for practical applications targeting the low bit range. | 翻訳日:2023-09-08 15:31:00 公開日:2023-09-06 |
| # AutoBAによるバイオインフォマティクスの自動解析 Automated Bioinformatics Analysis via AutoBA ( http://arxiv.org/abs/2309.03242v1 ) ライセンス: Link先を確認 | Juexiao Zhou, Bin Zhang, Xiuying Chen, Haoyang Li, Xiaopeng Xu, Siyuan Chen, Xin Gao | (参考訳) 急速に成長し進化するオミクスデータにより、分析を扱うための合理化および適応可能なツールの需要は増え続けている。
このニーズに応えて,従来のオミクスデータ分析のために設計された大規模言語モデルに基づく自律型AIエージェントであるAuto Bioinformatics Analysis (AutoBA)を導入する。
AutoBAは、様々なバイオインフォマティクスタスクの詳細なステップバイステッププランを提供しながら、最小限のユーザ入力を要求することで分析プロセスを単純化する。
バイオインフォマティクスの専門家による厳密な検証を通じて、AutoBAの堅牢性と適応性は、全ゲノムシークエンシング(WGS)、RNAシークエンシング(RNA-seq)、単細胞RNAシークエンシング(RNA-seq)、ChIP-seq、空間転写学など、様々なオミクス解析ケースで確認されている。
入力データの変化に基づく自己設計分析プロセスに対するAutoBAのユニークな能力は、その汎用性をさらに強調する。
オンラインバイオインフォマティクスサービスと比較すると、AutoBAは分析をローカルにデプロイし、データのプライバシを保存する。
さらに、事前に定義されたパイプラインとは異なり、AutoBAは新たなバイオインフォマティクスツールと同期して適応性を持つ。
全体として、AutoBAは複雑なオミクスデータ分析の堅牢性と適応性を提供する便利なツールである。 With the fast-growing and evolving omics data, the demand for streamlined and adaptable tools to handle the analysis continues to grow. In response to this need, we introduce Auto Bioinformatics Analysis (AutoBA), an autonomous AI agent based on a large language model designed explicitly for conventional omics data analysis. AutoBA simplifies the analytical process by requiring minimal user input while delivering detailed step-by-step plans for various bioinformatics tasks. Through rigorous validation by expert bioinformaticians, AutoBA's robustness and adaptability are affirmed across a diverse range of omics analysis cases, including whole genome sequencing (WGS), RNA sequencing (RNA-seq), single-cell RNA-seq, ChIP-seq, and spatial transcriptomics. AutoBA's unique capacity to self-design analysis processes based on input data variations further underscores its versatility. Compared with online bioinformatic services, AutoBA deploys the analysis locally, preserving data privacy. Moreover, different from the predefined pipeline, AutoBA has adaptability in sync with emerging bioinformatics tools. Overall, AutoBA represents a convenient tool, offering robustness and adaptability for complex omics data analysis. | 翻訳日:2023-09-08 15:30:42 公開日:2023-09-06 |
| # GPTは計算機なしで数学的問題を解くことができる GPT Can Solve Mathematical Problems Without a Calculator ( http://arxiv.org/abs/2309.03241v1 ) ライセンス: Link先を確認 | Zhen Yang, Ming Ding, Qingsong Lv, Zhihuan Jiang, Zehai He, Yuyi Guo, Jinfeng Bai, Jie Tang | (参考訳) 従来の研究では、大きな言語モデルは算術演算、特に8桁の乗算や十進数と分数を含む演算を計算機ツールを使わずに正確に行うことができないと推定されていた。
本稿ではこの誤解に挑戦することを目的とする。
十分なトレーニングデータを持つ20億パラメータの言語モデルでは、データの漏洩なしにほぼ100%の精度で、gpt-4(マルチ桁乗算精度はわずか4.3%)を大幅に上回って、正確にマルチ桁演算を実行できる。
また,マルチステップ演算やテキストに記述された数学問題を含むデータセットの glm-10b から微調整した mathglm が,5,000 例の中国数学問題テストセットで gpt-4 と同等の性能を実現することを実証した。 Previous studies have typically assumed that large language models are unable to accurately perform arithmetic operations, particularly multiplication of >8 digits, and operations involving decimals and fractions, without the use of calculator tools. This paper aims to challenge this misconception. With sufficient training data, a 2 billion-parameter language model can accurately perform multi-digit arithmetic operations with almost 100% accuracy without data leakage, significantly surpassing GPT-4 (whose multi-digit multiplication accuracy is only 4.3%). We also demonstrate that our MathGLM, fine-tuned from GLM-10B on a dataset with additional multi-step arithmetic operations and math problems described in text, achieves similar performance to GPT-4 on a 5,000-samples Chinese math problem test set. | 翻訳日:2023-09-08 15:30:19 公開日:2023-09-06 |
| # repsgg:シーングラフ生成のためのエンティティと関係の新しい表現 RepSGG: Novel Representations of Entities and Relationships for Scene Graph Generation ( http://arxiv.org/abs/2309.03240v1 ) ライセンス: Link先を確認 | Hengyue Liu, Bir Bhanu | (参考訳) SGG(Scene Graph Generation)は近年大きな進歩を遂げている。
しかしながら、以前のほとんどの作品は、境界ボックスの提案、アンカー、学習可能なクエリに基づく固定サイズのエンティティ表現に大きく依存している。
各表現の濃度はパフォーマンスと計算オーバーヘッドのトレードオフが異なるため、高い代表的特徴の抽出はsggにとって困難かつ不可欠である。
本研究では,対象をクエリとして,対象をキーとして,それらの関係をペアワイズクエリとキーの間の最大注意重みとして定式化する,repsggと呼ばれる新しいアーキテクチャを提案する。
エンティティとリレーションのためのよりきめ細かい柔軟な表現力を持つrepsggは、関係推論のための意味論的差別的および代表的ポイントをサンプリングすることを学ぶ。
さらに、長い尾の分布もまた、SGGの一般化に重大な課題をもたらす。
トレーニング中の実行時のパフォーマンスに基づいてアフィン変換によって関係ロジットを変更できるように,実行時パフォーマンス誘導ロジット調整(PGLA)戦略を提案する。
この戦略は、支配クラスとレアクラスの間のよりバランスのとれたパフォーマンスを促進する。
実験の結果,repsggは,提案手法の有効性と効率を実証し,視覚的ゲノムおよびオープン画像v6データセット上で,最先端または同等の性能を高速に達成できることが示されている。 Scene Graph Generation (SGG) has achieved significant progress recently. However, most previous works rely heavily on fixed-size entity representations based on bounding box proposals, anchors, or learnable queries. As each representation's cardinality has different trade-offs between performance and computation overhead, extracting highly representative features efficiently and dynamically is both challenging and crucial for SGG. In this work, a novel architecture called RepSGG is proposed to address the aforementioned challenges, formulating a subject as queries, an object as keys, and their relationship as the maximum attention weight between pairwise queries and keys. With more fine-grained and flexible representation power for entities and relationships, RepSGG learns to sample semantically discriminative and representative points for relationship inference. Moreover, the long-tailed distribution also poses a significant challenge for generalization of SGG. A run-time performance-guided logit adjustment (PGLA) strategy is proposed such that the relationship logits are modified via affine transformations based on run-time performance during training. This strategy encourages a more balanced performance between dominant and rare classes. Experimental results show that RepSGG achieves the state-of-the-art or comparable performance on the Visual Genome and Open Images V6 datasets with fast inference speed, demonstrating the efficacy and efficiency of the proposed methods. | 翻訳日:2023-09-08 15:30:02 公開日:2023-09-06 |
| # POIレベルの群流推論のための時空間コントラスト自己監督学習 Spatio-Temporal Contrastive Self-Supervised Learning for POI-level Crowd Flow Inference ( http://arxiv.org/abs/2309.03239v1 ) ライセンス: Link先を確認 | Songyu Ke, Ting Li, Li Song, Yanping Sun, Qintian Sun, Junbo Zhang, Yu Zheng | (参考訳) Points of Interest (POIs) におけるクラウドフローの正確な取得は、効果的な交通管理、公共サービス、都市計画において重要である。
この重要性にもかかわらず、都市センシング技術の限界により、ほとんどの情報源のデータ品質は、各POIにおける群衆の流れを監視するのに不十分である。
これにより、低品質データからの正確な群集フローの推測が重要かつ困難な課題となる。
複雑さは3つの要因によって高められる。
1) \emph{The scarcity and rarity of labeled data}
2)pois間の複雑な時空間依存性
3)厳密なクラウドフローとgpsレポートの無数の相関関係。
これらの課題に対処するため、クラウドフロー推論問題を自己教師付き属性グラフ表現学習タスクとして再放送し、新規な 'underline{C}ontrastive \underline{S}elf-learning framework for \underline{S}patio-\underline{T}emporal data (\model) を導入する。
提案手法は,POIとその距離に基づいて構築された空間隣接グラフの構築から始める。
次に,ラベルなし時空間データを多量に活用するために,コントラスト学習手法を用いる。
我々は、同様のインスタンスからターゲットのサブグラフの表現を予測するために、交換された予測手法を採用する。
事前学習フェーズの後、モデルは正確な群衆フローデータで微調整される。
実世界の2つのデータセットを用いて行った実験では、広範囲な雑音データに基づいて事前訓練されたモデルが、スクラッチからトレーニングしたモデルより一貫して優れていることを示した。 Accurate acquisition of crowd flow at Points of Interest (POIs) is pivotal for effective traffic management, public service, and urban planning. Despite this importance, due to the limitations of urban sensing techniques, the data quality from most sources is inadequate for monitoring crowd flow at each POI. This renders the inference of accurate crowd flow from low-quality data a critical and challenging task. The complexity is heightened by three key factors: 1) \emph{The scarcity and rarity of labeled data}, 2) \emph{The intricate spatio-temporal dependencies among POIs}, and 3) \emph{The myriad correlations between precise crowd flow and GPS reports}. To address these challenges, we recast the crowd flow inference problem as a self-supervised attributed graph representation learning task and introduce a novel \underline{C}ontrastive \underline{S}elf-learning framework for \underline{S}patio-\underline{T}emporal data (\model). Our approach initiates with the construction of a spatial adjacency graph founded on the POIs and their respective distances. We then employ a contrastive learning technique to exploit large volumes of unlabeled spatio-temporal data. We adopt a swapped prediction approach to anticipate the representation of the target subgraph from similar instances. Following the pre-training phase, the model is fine-tuned with accurate crowd flow data. Our experiments, conducted on two real-world datasets, demonstrate that the \model pre-trained on extensive noisy data consistently outperforms models trained from scratch. | 翻訳日:2023-09-08 15:29:39 公開日:2023-09-06 |
| # 意図的デザイン選択が感情認識モデルの開発と評価に及ぼす影響 Implicit Design Choices and Their Impact on Emotion Recognition Model Development and Evaluation ( http://arxiv.org/abs/2309.03238v1 ) ライセンス: Link先を確認 | Mimansa Jaiswal | (参考訳) 感情認識は、感情の知覚と生成の両方に固有の主観性があるため、複雑なタスクである。
感情の主観性は、正確で堅牢な計算モデルを開発する上で大きな課題をもたらす。
本論文は感情認識の批判的側面を考察し、感情生成の心理的要因を考慮した多様なデータセットの収集から始める。
非表現的トレーニングデータの課題に対処するため、この研究はマルチモーダルストレス感情データセット(Multimodal Stressed Emotion dataset)を収集する。
ラベル主観性の問題に対処するため,データ拡張手法とアノテーションスキームが感情知覚やアノテータラベルに与える影響を包括的に分析した。
さらに、モデルトレーニング中に学習した感情表現からストレスのような重要な要因を分離するために、敵対的ネットワークを利用することで、自然な境界変数やバリエーションを扱う。
この研究は、センシティブな人口統計学変数の漏洩に関する懸念に対処するために、敵対的学習を活用して、センシティブな人口統計学情報をマルチモーダルエンコーディングから取り除く。
さらに、コスト効率の良い実世界のモデルテストのニーズに合わせて、最適化された社会学的評価指標を提案する。
この研究は、データセット、ラベル、モデリング、人口統計学およびメンバーシップ変数エンコーディングにおける課題の多面的研究を通じて、堅牢で実用的な感情認識を推進し、評価を行う。
この土台は、センシティブな人口統計情報をエンコードする可能性が低い、コスト効率が高く、一般化された感情認識モデルのためのものである。 Emotion recognition is a complex task due to the inherent subjectivity in both the perception and production of emotions. The subjectivity of emotions poses significant challenges in developing accurate and robust computational models. This thesis examines critical facets of emotion recognition, beginning with the collection of diverse datasets that account for psychological factors in emotion production. To handle the challenge of non-representative training data, this work collects the Multimodal Stressed Emotion dataset, which introduces controlled stressors during data collection to better represent real-world influences on emotion production. To address issues with label subjectivity, this research comprehensively analyzes how data augmentation techniques and annotation schemes impact emotion perception and annotator labels. It further handles natural confounding variables and variations by employing adversarial networks to isolate key factors like stress from learned emotion representations during model training. For tackling concerns about leakage of sensitive demographic variables, this work leverages adversarial learning to strip sensitive demographic information from multimodal encodings. Additionally, it proposes optimized sociological evaluation metrics aligned with cost-effective, real-world needs for model testing. This research advances robust, practical emotion recognition through multifaceted studies of challenges in datasets, labels, modeling, demographic and membership variable encoding in representations, and evaluation. The groundwork has been laid for cost-effective, generalizable emotion recognition models that are less likely to encode sensitive demographic information. | 翻訳日:2023-09-08 15:29:10 公開日:2023-09-06 |
| # 画像による連合学習:垂直分解と事前学習されたバックボーンは打ち負かすのが難しい Federated Learning Over Images: Vertical Decompositions and Pre-Trained Backbones Are Difficult to Beat ( http://arxiv.org/abs/2309.03237v1 ) ライセンス: Link先を確認 | Erdong Hu, Yuxin Tang, Anastasios Kyrillidis, Chris Jermaine | (参考訳) フェデレーション環境での学習のためのアルゴリズムを注意深く評価し,様々な画像分類タスクにおける有用性をテストする。
画像の多様な集合を持たないデータセットの学習が結果に影響を与えるかどうか、事前学習した特徴抽出「バックボーン」を使用するか、学習者のパフォーマンスを評価するか(分類精度が不十分であると主張する)など、これまで十分に考慮されていなかった多くの課題について考察する。
全体として、さまざまな設定において、ニューラルネットワークを垂直に分解することで最良の結果が得られることが分かり、より標準的な和解手法よりも優れています。 We carefully evaluate a number of algorithms for learning in a federated environment, and test their utility for a variety of image classification tasks. We consider many issues that have not been adequately considered before: whether learning over data sets that do not have diverse sets of images affects the results; whether to use a pre-trained feature extraction "backbone"; how to evaluate learner performance (we argue that classification accuracy is not enough), among others. Overall, across a wide variety of settings, we find that vertically decomposing a neural network seems to give the best results, and outperforms more standard reconciliation-used methods. | 翻訳日:2023-09-08 15:28:44 公開日:2023-09-06 |
| # ディープフェイクアルゴリズムの比較解析 Comparative Analysis of Deep-Fake Algorithms ( http://arxiv.org/abs/2309.03295v1 ) ライセンス: Link先を確認 | Nikhil Sontakke, Sejal Utekar, Shivansh Rastogi, Shriraj Sonawane | (参考訳) 高品質のデジタルカメラを備えたスマートフォンが普及し、ビデオや画像を録画、編集、共有するための幅広いソフトウェアアプリやディープラーニングaiプラットフォームへのアクセスが容易になったため、"フェイキング"ビデオという新たな現象が生まれている。
deepfakeアルゴリズムは、本物とは事実上区別がつかない偽の画像やビデオを作成できる。
したがって、デジタルビジュアルメディアの完全性を検出し評価できる技術が不可欠である。
deepfakes(ディープラーニングベースの偽ビデオとしても知られる)は、画像やビデオをオリジナルと事実上区別できない方法で操作し、変更する能力があるため、近年大きな関心事となっている。
これらのディープフェイクビデオは、誤った情報を拡散したり、個人を偽装したり、偽ニュースを作ったりといった悪意ある目的に使用できる。
ディープフェイク検出技術は、顔認識、モーション分析、音声と視覚の同期といった様々なアプローチを使用して偽ビデオを特定し、フラグを立てる。
しかし、ディープフェイク技術の急速な進歩により、これらの動画を高精度に検出することがますます困難になっている。
本稿では,deepfake作成・検出技術の現状について概観する。
本稿では,ディープフェイク作成に使用する深層学習アプローチと,それを検出する技術について検討する。
さらに,現在のディープフェイク検出手法の限界と課題を分析し,今後の研究方向性について考察する。
本論文は、ディープフェイクの社会への悪影響とデジタルビジュアルメディアの整合性を確保するために、ディープフェイク検出技術における継続的な研究と開発の重要性を強調した。 Due to the widespread use of smartphones with high-quality digital cameras and easy access to a wide range of software apps for recording, editing, and sharing videos and images, as well as the deep learning AI platforms, a new phenomenon of 'faking' videos has emerged. Deepfake algorithms can create fake images and videos that are virtually indistinguishable from authentic ones. Therefore, technologies that can detect and assess the integrity of digital visual media are crucial. Deepfakes, also known as deep learning-based fake videos, have become a major concern in recent years due to their ability to manipulate and alter images and videos in a way that is virtually indistinguishable from the original. These deepfake videos can be used for malicious purposes such as spreading misinformation, impersonating individuals, and creating fake news. Deepfake detection technologies use various approaches such as facial recognition, motion analysis, and audio-visual synchronization to identify and flag fake videos. However, the rapid advancement of deepfake technologies has made it increasingly difficult to detect these videos with high accuracy. In this paper, we aim to provide a comprehensive review of the current state of deepfake creation and detection technologies. We examine the various deep learning-based approaches used for creating deepfakes, as well as the techniques used for detecting them. Additionally, we analyze the limitations and challenges of current deepfake detection methods and discuss future research directions in this field. Overall, the paper highlights the importance of continued research and development in deepfake detection technologies in order to combat the negative impact of deepfakes on society and ensure the integrity of digital visual media. | 翻訳日:2023-09-08 15:20:30 公開日:2023-09-06 |
| # 再帰分解による侵入応答のスケーラブル学習 Scalable Learning of Intrusion Responses through Recursive Decomposition ( http://arxiv.org/abs/2309.03292v1 ) ライセンス: Link先を確認 | Kim Hammar and Rolf Stadler | (参考訳) 本稿では,ITインフラにおける自動侵入応答について検討し,攻撃者と防御者の相互作用を部分的に観察された確率ゲームとして定式化する。
この問題を解決するために、我々は、強化学習と均衡に向けた自己プレイを通じて、攻撃と防衛戦略が共進化するアプローチに従う。
以前の研究で提案されたソリューションは、このアプローチが小さなインフラストラクチャで実現可能であることを証明しているが、インフラストラクチャサイズによる計算複雑性の指数関数的な増加のため、現実的なシナリオにはスケールしない。
本稿では,ゲームを並列に解けるサブゲームに再帰的に分解する手法を導入することで,この問題に対処する。
最適停止理論を適用することで,これらのサブゲームにおける最善の応答戦略が閾値構造を示し,効率的に計算できることを示す。
この分解ゲームを解決するために,確率近似を用いてナッシュ平衡を学習するDFSP(Decompositional Fictitious Self-Play)アルゴリズムを導入する。
実際の侵入行動と応答行動の実行が可能なエミュレーション環境で学習戦略を評価する。
以上の結果から,dfspは平衡を近似し,現実的インフラ構成の最先端アルゴリズムを有意に上回ることがわかった。 We study automated intrusion response for an IT infrastructure and formulate the interaction between an attacker and a defender as a partially observed stochastic game. To solve the game we follow an approach where attack and defense strategies co-evolve through reinforcement learning and self-play toward an equilibrium. Solutions proposed in previous work prove the feasibility of this approach for small infrastructures but do not scale to realistic scenarios due to the exponential growth in computational complexity with the infrastructure size. We address this problem by introducing a method that recursively decomposes the game into subgames which can be solved in parallel. Applying optimal stopping theory we show that the best response strategies in these subgames exhibit threshold structures, which allows us to compute them efficiently. To solve the decomposed game we introduce an algorithm called Decompositional Fictitious Self-Play (DFSP), which learns Nash equilibria through stochastic approximation. We evaluate the learned strategies in an emulation environment where real intrusions and response actions can be executed. The results show that the learned strategies approximate an equilibrium and that DFSP significantly outperforms a state-of-the-art algorithm for a realistic infrastructure configuration. | 翻訳日:2023-09-08 15:19:58 公開日:2023-09-06 |
| # 対称性分解エンタングルメントエントロピー,スペクトルと境界等角場理論 Symmetry-resolved Entanglement Entropy, Spectra & Boundary Conformal Field Theory ( http://arxiv.org/abs/2309.03287v1 ) ライセンス: Link先を確認 | Yuya Kusuki, Sara Murciano, Hirosi Ooguri and Sridip Pal | (参考訳) 我々は、任意の有限あるいはコンパクトリー群の下で不変である1+1$D共形場理論(CFT)の基底状態における1つの単一区間における対称性分解(SR)絡み合いエントロピー(EE)の包括的解析を行う。
我々は境界CFTアプローチを用いて全EEの研究を行い、SREEの普遍的な先行順序の挙動とその最初の修正を可能にし、考慮中の既約表現に明示的に依存し、絡み合いの公平さを損なう。
これらの計算を行うための2つの異なるスキームを提案する。
第一は、還元密度行列の荷電モーメントの評価に依存する。
これは、理論の境界状態に対して対称性を生成する欠陥線の作用を研究することを含む。
この視点はまた、異常対称性が存在する場合の対称性分解の研究の不可能性について議論する道を開く。
第2のスキームは、SREEとオービフォールドCFTの分割関数とを並列に描画する。
このアプローチにより、チャージモーメントを使わずにSREEを直接計算できる。
この観点からは、異常対称性に対する対称性解決されたEEを定義することは、障害からガウイングへと生じる。
最後に、有限対称性群の下でのCFT不変量に対する対称性分解エンタングルメントスペクトルを導出する。
コンパクトリー群を持つ CFT の同様の問題を再検討し、$U(1)$解決絡み合いスペクトルに対する改善公式を明示的に導出する。
タウバー形式を用いて、上述のeeスペクトルを最適下界と上界を証明して厳密に推定することができる。
アーベルの場合、境界上で数値的なチェックを行い、完全一致を求める。 We perform a comprehensive analysis of the symmetry-resolved (SR) entanglement entropy (EE) for one single interval in the ground state of a $1+1$D conformal field theory (CFT), that is invariant under an arbitrary finite or compact Lie group, $G$. We utilize the boundary CFT approach to study the total EE, which enables us to find the universal leading order behavior of the SREE and its first correction, which explicitly depends on the irreducible representation under consideration and breaks the equipartition of entanglement. We present two distinct schemes to carry out these computations. The first relies on the evaluation of the charged moments of the reduced density matrix. This involves studying the action of the defect-line, that generates the symmetry, on the boundary states of the theory. This perspective also paves the way for discussing the infeasibility of studying symmetry resolution when an anomalous symmetry is present. The second scheme draws a parallel between the SREE and the partition function of an orbifold CFT. This approach allows for the direct computation of the SREE without the need to use charged moments. From this standpoint, the infeasibility of defining the symmetry-resolved EE for an anomalous symmetry arises from the obstruction to gauging. Finally, we derive the symmetry-resolved entanglement spectra for a CFT invariant under a finite symmetry group. We revisit a similar problem for CFT with compact Lie group, explicitly deriving an improved formula for $U(1)$ resolved entanglement spectra. Using the Tauberian formalism, we can estimate the aforementioned EE spectra rigorously by proving an optimal lower and upper bound on the same. In the abelian case, we perform numerical checks on the bound and find perfect agreement. | 翻訳日:2023-09-08 15:19:39 公開日:2023-09-06 |
| # 単一磁束量子回路から室温へのフォトニックリンク Photonic link from single flux quantum circuits to room temperature ( http://arxiv.org/abs/2309.03284v1 ) ライセンス: Link先を確認 | Mohan Shen, Jiacheng Xie, Yuntao Xu, Sihao Wang, Risheng Cheng, Wei Fu, Yiyu Zhou, Hong X. Tang | (参考訳) 低温環境と室温環境の間の広帯域でエネルギー効率の高い信号伝達は、超伝導量子回路や古典論理回路において大きなボトルネックとなっている。
フォトニックリンクは、高い帯域幅と低い熱負荷を同時に提供することで、この課題を克服することを約束している。
しかし、極低温電気光学変調器の開発は、超伝導回路の厳密な要求により、電気信号のフォトニック読み出しの鍵となる。
例えば、ラピッド単一磁束量子回路(rsfq)は、従来の回路で使用される電圧レベルの信号よりもはるかに低い数ミリボルト(mv)の小さな信号振幅で動作している。
本稿では,1m長のSEOM上に42mVの極低半波電圧V{\piを印加した新しい超伝導電気光学変調器(SEOM)により,追加の電気増幅を行なわずにRSFQ回路を初めて直接的に読み取ることを示す。
超伝導体の低オーミック損失を利用して、基本V{\pi}帯域幅のトレードオフを破り、低温で0.2mのSEOMで最大17GHzの光帯域を示す。
本研究は,今後の大型超伝導回路と室温電子回路間の高帯域信号伝送を実現するための有効なソリューションを提案する。 Broadband, energy-efficient signal transfer between cryogenic and room-temperature environment has been a major bottleneck for superconducting quantum and classical logic circuits. Photonic links promise to overcome this challenge by offering simultaneous high bandwidth and low thermal load. However, the development of cryogenic electro-optic modulators -- a key component for photonic readout of electrical signals -- has been stifled by the stringent requirements of superconducting circuits. Rapid single flux quantum circuits (RSFQ), for example, operate with a tiny signal amplitude of only a few millivolts (mV), far below the volt-level signal used in conventional circuits. Here, we demonstrate the first direct optical readout of an RSFQ circuit without additional electrical amplification enabled by a novel superconducting electro-optic modulator (SEOM) featuring a record-low half-wave voltage V{\pi} of 42 mV on a 1 m-long SEOM. Leveraging the low ohmic loss of superconductors, we break the fundamental V{\pi}-bandwidth trade-off and demonstrate electro-optic bandwidth up to 17 GHz on a 0.2 m-long SEOM at cryogenic temperatures. Our work presents a viable solution toward high-bandwidth signal transfer between future large-scale superconducting circuits and room-temperature electronics. | 翻訳日:2023-09-08 15:19:09 公開日:2023-09-06 |
| # 量子ニューラルネットワークに 独自の周波数を選ばせ Let Quantum Neural Networks Choose Their Own Frequencies ( http://arxiv.org/abs/2309.03279v1 ) ライセンス: Link先を確認 | Ben Jaderberg, Antonio A. Gentile, Youssef Achari Berrada, Elvira Shishenina and Vincent E. Elfving | (参考訳) 機械学習モデルとしてのパラメータ化量子回路は、典型的には入力特徴の部分フーリエ級数として表現され、特徴写像のジェネレータハミルトンにより周波数が一意に決定される。
通常、これらのデータエンコーディングジェネレータは事前に選択され、表現できる関数の空間を固定する。
この研究では、量子モデルをジェネレータにトレーニング可能なパラメータの集合を含むように一般化し、トレーニング可能な周波数(TF)量子モデルへと導く。
TFモデルでは,非正規空間周波数やフレキシブルスペクトルの富度など,手前の課題を解く上で望ましい特性を持つジェネレータを学習する方法を数値的に示す。
最後に,各符号化操作に1つのパラメータのみを付加したTFモデルを用いて,Navier-Stokes方程式の解法精度の向上を示す。
TFモデルは従来の固定周波数モデルを含むため、変分量子機械学習において妥当なデフォルト選択を提供することができる。 Parameterized quantum circuits as machine learning models are typically well described by their representation as a partial Fourier series of the input features, with frequencies uniquely determined by the feature map's generator Hamiltonians. Ordinarily, these data-encoding generators are chosen in advance, fixing the space of functions that can be represented. In this work we consider a generalization of quantum models to include a set of trainable parameters in the generator, leading to a trainable frequency (TF) quantum model. We numerically demonstrate how TF models can learn generators with desirable properties for solving the task at hand, including non-regularly spaced frequencies in their spectra and flexible spectral richness. Finally, we showcase the real-world effectiveness of our approach, demonstrating an improved accuracy in solving the Navier-Stokes equations using a TF model with only a single parameter added to each encoding operation. Since TF models encompass conventional fixed frequency models, they may offer a sensible default choice for variational quantum machine learning. | 翻訳日:2023-09-08 15:18:49 公開日:2023-09-06 |
| # 無限範囲量子スピングラスの場における平衡ダイナミクス Equilibrium dynamics of infinite-range quantum spin glasses in a field ( http://arxiv.org/abs/2309.03255v1 ) ライセンス: Link先を確認 | Maria Tikhanovskaya, Subir Sachdev, Rhine Samajdar | (参考訳) 無限範囲のランダム交換相互作用を持つ量子イジングモデルのスピンガラス相に対する低エネルギースペクトルとパリレプリカ対称性の破れ関数を横・縦(h$)フィールドで決定する。
すべての$h$に対して、スピンガラス状態は完全なレプリカ対称性の破れを持ち、局所スピンスペクトルは周波数とともに線形に消滅するスペクトル密度とギャップレスであることを示す。
これらの結果は、低周波で正確な結果が得られるように作用汎関数$\unicode{x2014}$arguedを用いて得られる。
また、無限範囲の球面量子$p$-rotorモデルの解を非ゼロ$h$で提示する: ここで、スピンガラス状態は1ステップのレプリカ対称性の破れを持ち、ギャップレス性は追加の限界安定性条件を仮定した後のみ現れる。
トラップされたRydberg原子のランダムな配列の実験への接続が注目される。 We determine the low-energy spectrum and Parisi replica symmetry breaking function for the spin glass phase of the quantum Ising model with infinite-range random exchange interactions and transverse and longitudinal ($h$) fields. We show that, for all $h$, the spin glass state has full replica symmetry breaking, and the local spin spectrum is gapless with a spectral density which vanishes linearly with frequency. These results are obtained using an action functional$\unicode{x2014}$argued to yield exact results at low frequencies$\unicode{x2014}$that expands in powers of a spin glass order parameter, which is is bilocal in time, and a matrix in replica space. We also present the exact solution of the infinite-range spherical quantum $p$-rotor model at nonzero $h$: here, the spin glass state has one-step replica symmetry breaking, and gaplessness only appears after imposition of an additional marginal stability condition. Possible connections to experiments on random arrays of trapped Rydberg atoms are noted. | 翻訳日:2023-09-08 15:18:31 公開日:2023-09-06 |
| # 時間的知識グラフ推論のための時間的誘導経路ニューラルネットワーク Temporal Inductive Path Neural Network for Temporal Knowledge Graph Reasoning ( http://arxiv.org/abs/2309.03251v1 ) ライセンス: Link先を確認 | Hao Dong, Pengyang Wang, Meng Xiao, Zhiyuan Ning, Pengfei Wang, Yuanchun Zhou | (参考訳) 時間的知識グラフ(TKG)は、時間次元を組み込んだ伝統的な知識グラフ(KG)の拡張である。
TKGの推論は、歴史的事象に基づく将来の事実の予測を目的とした重要な課題である。
重要な課題は、歴史的部分グラフと時間的パターン内の構造的依存関係を明らかにすることである。
既存のアプローチの多くは、グラフのノードが知識表現において重要な役割を果たすため、エンティティモデリングに依存するtkgモデルである。
しかし、現実世界のシナリオは、しばしば多数のエンティティを伴い、時間とともに新しいエンティティが出現する。
これにより、エンティティ依存のメソッドが大量のエンティティに対処することが難しくなり、新しいエンティティを効果的に扱うことも大きな課題となる。
そこで我々は,実体に依存しない視点で歴史情報をモデル化するTiPNN(Temporal Inductive Path Neural Network)を提案する。
具体的には、TiPNNは履歴から情報を包括的にキャプチャし、カプセル化するために、ヒストリー時間グラフという統一グラフを採用している。
その後、定義した問合せ対応時間経路を用いて、履歴時間グラフ上の問合せに関連する履歴経路情報をモデル化する。
大規模な実験では,提案モデルが大幅な性能向上を達成するだけでなく,帰納的設定も扱えるとともに,履歴時間グラフによる証拠の推論を容易にすることが示されている。 Temporal Knowledge Graph (TKG) is an extension of traditional Knowledge Graph (KG) that incorporates the dimension of time. Reasoning on TKGs is a crucial task that aims to predict future facts based on historical occurrences. The key challenge lies in uncovering structural dependencies within historical subgraphs and temporal patterns. Most existing approaches model TKGs relying on entity modeling, as nodes in the graph play a crucial role in knowledge representation. However, the real-world scenario often involves an extensive number of entities, with new entities emerging over time. This makes it challenging for entity-dependent methods to cope with extensive volumes of entities, and effectively handling newly emerging entities also becomes a significant challenge. Therefore, we propose Temporal Inductive Path Neural Network (TiPNN), which models historical information in an entity-independent perspective. Specifically, TiPNN adopts a unified graph, namely history temporal graph, to comprehensively capture and encapsulate information from history. Subsequently, we utilize the defined query-aware temporal paths to model historical path information related to queries on history temporal graph for the reasoning. Extensive experiments illustrate that the proposed model not only attains significant performance enhancements but also handles inductive settings, while additionally facilitating the provision of reasoning evidence through history temporal graphs. | 翻訳日:2023-09-08 15:18:11 公開日:2023-09-06 |
| # 地理空間研究におけるグラフ理論の応用 Graph Theory Applications in Advanced Geospatial Research ( http://arxiv.org/abs/2309.03249v1 ) ライセンス: Link先を確認 | Surajit Ghosh, Archita Mallick, Anuva Chowdhury, Kounik De Sarkar | (参考訳) 地理空間科学(geospatial sciences)には、環境監視輸送からインフラ計画、位置ベースの分析やサービスまで、幅広い応用が含まれている。
数学におけるグラフ理論のアルゴリズムは、空間的関係を効率的にモデル化し分析する能力から、これらの領域において欠かせないツールとして登場してきた。
本稿では,地理空間科学におけるグラフ理論アルゴリズムの適用について検討し,ネットワーク解析,空間接続性,地理情報システム,その他の空間問題解決シナリオにおけるその役割を明らかにする。
モデリングプロセスを支援するグラフ理論の重要な概念とアルゴリズムに関する包括的なアイデアを提供する。
本報告は,実世界の地理空間的課題と機会に取り組む上でのグラフ理論の実際的意義に関する洞察を提供する。
この分野での広範な研究、革新的技術、方法論を列挙している。 Geospatial sciences include a wide range of applications, from environmental monitoring transportation to infrastructure planning, as well as location-based analysis and services. Graph theory algorithms in mathematics have emerged as indispensable tools in these domains due to their capability to model and analyse spatial relationships efficiently. This technical report explores the applications of graph theory algorithms in geospatial sciences, highlighting their role in network analysis, spatial connectivity, geographic information systems, and various other spatial problem-solving scenarios. It provides a comprehensive idea about the key concepts and algorithms of graph theory that assist the modelling processes. The report provides insights into the practical significance of graph theory in addressing real-world geospatial challenges and opportunities. It lists the extensive research, innovative technologies and methodologies implemented in this field. | 翻訳日:2023-09-08 15:17:49 公開日:2023-09-06 |
| # 運動解析によるロバスト視覚追跡 Robust Visual Tracking by Motion Analyzing ( http://arxiv.org/abs/2309.03247v1 ) ライセンス: Link先を確認 | Mohammed Leo and Kurban Ubul and ShengJie Cheng and Michael Ma | (参考訳) 近年,ビデオオブジェクト・セグメンテーション (VOS) がビデオオブジェクト追跡 (VOT) の補完手法として出現している。
VOSはターゲット周辺のすべてのピクセルの分類に重点を置いており、正確な形状のラベル付けを可能にしている。
しかし、従来のセグメンテーションモジュールは通常、隣接するフレーム間の情報を無視して、フレームごとにピクセルを分類する。
本稿では,固有テンソル構造を用いて運動パターンを分析することで,この制限に対処する新しいアルゴリズムを提案する。
タッカー2テンソル分解によって得られるテンソル構造は、ターゲットの動きを記述するのに有効であることが証明される。
この情報を取り入れることで、SOTAによるLaSOT\cite{fan2019lasot}, AVisT\cite{noman2022avist}, OTB100\cite{7001050}, GOT-10k\cite{huang2019got} LaSOT\cite{fan2019lasot}の4つのベンチマークの競争結果を得た。
さらに,提案するトラッカーはリアルタイム動作が可能であり,実用的応用に価値が付加される。 In recent years, Video Object Segmentation (VOS) has emerged as a complementary method to Video Object Tracking (VOT). VOS focuses on classifying all the pixels around the target, allowing for precise shape labeling, while VOT primarily focuses on the approximate region where the target might be. However, traditional segmentation modules usually classify pixels frame by frame, disregarding information between adjacent frames. In this paper, we propose a new algorithm that addresses this limitation by analyzing the motion pattern using the inherent tensor structure. The tensor structure, obtained through Tucker2 tensor decomposition, proves to be effective in describing the target's motion. By incorporating this information, we achieved competitive results on Four benchmarks LaSOT\cite{fan2019lasot}, AVisT\cite{noman2022avist}, OTB100\cite{7001050}, and GOT-10k\cite{huang2019got} LaSOT\cite{fan2019lasot} with SOTA. Furthermore, the proposed tracker is capable of real-time operation, adding value to its practical application. | 翻訳日:2023-09-08 15:17:39 公開日:2023-09-06 |
| # evoclinical: 自動がん登録システムのためのアクティブトランスファー学習を備えたサイバーサイバーデジタルツインの進化 EvoCLINICAL: Evolving Cyber-Cyber Digital Twin with Active Transfer Learning for Automated Cancer Registry System ( http://arxiv.org/abs/2309.03246v1 ) ライセンス: Link先を確認 | Chengjie Lu, Qinghua Xu, Tao Yue, Shaukat Ali, Thomas Schwitalla, Jan F. Nyg{\aa}rd | (参考訳) ノルウェーがん登録 (CRN) は、ノルウェーの異なる医療機関(例えば、医療機関、病院)から癌メッセージを受け取ることで、がん患者の情報を収集している。
このようなメッセージは、GURIという自動がん登録システムによって検証される。
がん研究の基礎を築き、そのステークホルダーに重要ながん関連統計を提供するため、その正しい手術は重要である。
guri用のcyber digital twin(ccdt)の構築は、実システムとの集中的なインタラクションを必要とせずに、guriの運用状態の様々な実験と高度な分析を容易化する。
しかし、新しい診断・治療、技術進歩などにより、GURIは常に進化している。
したがって、ccdtはguriと同期するように進化するべきです。
このような同期を実現する上での鍵となる課題は、ccdtの進化には新しいguriでラベル付けされた豊富なデータが必要であることである。
この課題に対処するために、我々は、前バージョンのGURI向けに開発されたCCDTを事前訓練されたモデルとみなし、新しいGURIバージョンをクエリすることでラベル付けされたデータセットを微調整するEvoCLINICALを提案する。
EvoCLINICALは遺伝的アルゴリズムを用いて、候補データセットからがんメッセージの最適なサブセットを選択し、GURIをクエリする。
3つの進化過程におけるEvoCLINicalの評価を行った。
精度,リコール,F1スコアはいずれも91%以上であり,EvoCLINicalの有効性を示した。
さらに,EvoCLINicalの能動的学習部をランダム選択に置き換えて,EvoCLINicalの全体的な性能に対する伝達学習の寄与を研究する。
その結果, アクティブラーニングの学習能力は, 連続的に向上することがわかった。 The Cancer Registry of Norway (CRN) collects information on cancer patients by receiving cancer messages from different medical entities (e.g., medical labs, and hospitals) in Norway. Such messages are validated by an automated cancer registry system: GURI. Its correct operation is crucial since it lays the foundation for cancer research and provides critical cancer-related statistics to its stakeholders. Constructing a cyber-cyber digital twin (CCDT) for GURI can facilitate various experiments and advanced analyses of the operational state of GURI without requiring intensive interactions with the real system. However, GURI constantly evolves due to novel medical diagnostics and treatment, technological advances, etc. Accordingly, CCDT should evolve as well to synchronize with GURI. A key challenge of achieving such synchronization is that evolving CCDT needs abundant data labelled by the new GURI. To tackle this challenge, we propose EvoCLINICAL, which considers the CCDT developed for the previous version of GURI as the pretrained model and fine-tunes it with the dataset labelled by querying a new GURI version. EvoCLINICAL employs a genetic algorithm to select an optimal subset of cancer messages from a candidate dataset and query GURI with it. We evaluate EvoCLINICAL on three evolution processes. The precision, recall, and F1 score are all greater than 91%, demonstrating the effectiveness of EvoCLINICAL. Furthermore, we replace the active learning part of EvoCLINICAL with random selection to study the contribution of transfer learning to the overall performance of EvoCLINICAL. Results show that employing active learning in EvoCLINICAL increases its performances consistently. | 翻訳日:2023-09-08 15:17:15 公開日:2023-09-06 |
| # 音声テキスト共有潜時表現を用いた忠実誘導による高能率音声キャプション Parameter Efficient Audio Captioning With Faithful Guidance Using Audio-text Shared Latent Representation ( http://arxiv.org/abs/2309.03340v1 ) ライセンス: Link先を確認 | Arvind Krishna Sridhar, Yinyi Guo, Erik Visser, Rehana Mahfuz | (参考訳) マルチモーダルテキスト生成タスク用に事前学習されたトランスフォーマーアーキテクチャを開発する研究が盛んである。
性能は向上するが、このようなモデルはしばしば過度にパラメータ化されるため、幻覚と大きなメモリフットプリントに悩まされ、エッジデバイスへのデプロイが困難になる。
本稿では,これら2つの課題に対処し,自動音声キャプションの適用について述べる。
まず,幻覚音声キャプション生成のためのデータ拡張手法を提案し,音声テキスト共有潜在空間に基づく類似性が幻覚検出に適していることを示す。
そこで本研究では,より少ないデータで学習した大規模モデルと同等の性能を持つ小型音声キャプションモデルを実現する,パラメータ効率の高い推定時間忠実復号アルゴリズムを提案する。
ビーム復号ステップの間、小さなモデルは音声テキスト共有潜在表現を使用して、生成されたテキストと対応する入力オーディオを意味的に整合させる。
グリーディロールアウト中間ビームの潜在表現投影とオーディオクリップとのコサイン類似性を組み込むことにより、ビーム確率に忠実な誘導を導入する。
提案手法は,従来の音声キャプションと意味的類似度指標を用いて,性能と複雑性のトレードオフを図りながら,ベースラインに対するアルゴリズムの有効性を検証した。 There has been significant research on developing pretrained transformer architectures for multimodal-to-text generation tasks. Albeit performance improvements, such models are frequently overparameterized, hence suffer from hallucination and large memory footprint making them challenging to deploy on edge devices. In this paper, we address both these issues for the application of automated audio captioning. First, we propose a data augmentation technique for generating hallucinated audio captions and show that similarity based on an audio-text shared latent space is suitable for detecting hallucination. Then, we propose a parameter efficient inference time faithful decoding algorithm that enables smaller audio captioning models with performance equivalent to larger models trained with more data. During the beam decoding step, the smaller model utilizes an audio-text shared latent representation to semantically align the generated text with corresponding input audio. Faithful guidance is introduced into the beam probability by incorporating the cosine similarity between latent representation projections of greedy rolled out intermediate beams and audio clip. We show the efficacy of our algorithm on benchmark datasets and evaluate the proposed scheme against baselines using conventional audio captioning and semantic similarity metrics while illustrating tradeoffs between performance and complexity. | 翻訳日:2023-09-08 15:11:00 公開日:2023-09-06 |
| # SADIR:3次元画像再構成のための形状認識拡散モデル SADIR: Shape-Aware Diffusion Models for 3D Image Reconstruction ( http://arxiv.org/abs/2309.03335v1 ) ライセンス: Link先を確認 | Nivetha Jayakumar, Tonmoy Hossain, Miaomiao Zhang | (参考訳) 限られた2次元画像からの3次元画像再構成は、コンピュータビジョンと画像解析における長年にわたる課題である。
ディープラーニングベースのアプローチはこの分野で優れたパフォーマンスを達成しているが、既存のディープネットワークは画像に表示されるオブジェクトの形状構造を効果的に活用できないことが多い。
その結果、復元された物体のトポロジーはよく保存されず、不連続、穴、異なる部分間の不一致接続などのアーティファクトが存在する。
本稿では,これらの問題に対処する3次元画像再構成のための拡散モデルに基づく形状認識ネットワーク,SADIRを提案する。
3次元復元のための画像強度の空間相関を主とする従来の手法とは対照的に,本モデルでは,トレーニングデータから学習した形状事前情報を用いて復元過程を導出する。
そこで我々は,変形モデルに基づく平均形状を同時に学習する共同学習ネットワークを開発した。
各復元された画像は、平均形状の変形型と見なされる。
我々は,脳と心臓の磁気共鳴画像(MRI)におけるSADIRモデルの有効性を検証した。
実験結果から,本手法は画像中の物体の形状構造をよりよく保存し,再現誤差を低くしてベースラインよりも優れていた。 3D image reconstruction from a limited number of 2D images has been a long-standing challenge in computer vision and image analysis. While deep learning-based approaches have achieved impressive performance in this area, existing deep networks often fail to effectively utilize the shape structures of objects presented in images. As a result, the topology of reconstructed objects may not be well preserved, leading to the presence of artifacts such as discontinuities, holes, or mismatched connections between different parts. In this paper, we propose a shape-aware network based on diffusion models for 3D image reconstruction, named SADIR, to address these issues. In contrast to previous methods that primarily rely on spatial correlations of image intensities for 3D reconstruction, our model leverages shape priors learned from the training data to guide the reconstruction process. To achieve this, we develop a joint learning network that simultaneously learns a mean shape under deformation models. Each reconstructed image is then considered as a deformed variant of the mean shape. We validate our model, SADIR, on both brain and cardiac magnetic resonance images (MRIs). Experimental results show that our method outperforms the baselines with lower reconstruction error and better preservation of the shape structure of objects within the images. | 翻訳日:2023-09-08 15:10:40 公開日:2023-09-06 |
| # マルチリレーショナルグラフ学習による胸部X線分類のエキスパート不確かさと重症度 Expert Uncertainty and Severity Aware Chest X-Ray Classification by Multi-Relationship Graph Learning ( http://arxiv.org/abs/2309.03331v1 ) ライセンス: Link先を確認 | Mengliang Zhang, Xinyue Hu, Lin Gu, Liangchen Liu, Kazuma Kobayashi, Tatsuya Harada, Ronald M. Summers and Yingying Zhu | (参考訳) 胸部X線(CXR)を呈する患者は、しばしば複数の肺疾患を患っている。
複雑な病理、画像中の異なる肺病変の微妙なテクスチャ変化、および患者の状態の違いにより患者の状態を評価する場合、放射線科医は、長期臨床訓練や専門的指導を受けたとしても不確かになる可能性があり、cxrレポートに基づく疾患ラベルの抽出に多くのノイズが生じる。
本稿では,cxrレポートから疾患ラベルを再抽出し,疾患の重症度と分類の不確実性を考慮してより現実的化する。
私たちの貢献は次のとおりです。
1) 臨床専門家と議論するキーワードを用いた規則に基づくアプローチにより, 重症度と不確実性を有するラベルを抽出した。
2) 胸部x線診断のさらなる説明性を向上させるため, 専門的不確実性認識損失関数を用いたマルチリレーショナルグラフ学習法を考案した。
3. マルチリレーショナルグラフ学習手法は, 疾患分類結果も解釈できる。
実験の結果,疾患の重症度と不確実性を考慮したモデルが従来の最先端手法を上回っていることがわかった。 Patients undergoing chest X-rays (CXR) often endure multiple lung diseases. When evaluating a patient's condition, due to the complex pathologies, subtle texture changes of different lung lesions in images, and patient condition differences, radiologists may make uncertain even when they have experienced long-term clinical training and professional guidance, which makes much noise in extracting disease labels based on CXR reports. In this paper, we re-extract disease labels from CXR reports to make them more realistic by considering disease severity and uncertainty in classification. Our contributions are as follows: 1. We re-extracted the disease labels with severity and uncertainty by a rule-based approach with keywords discussed with clinical experts. 2. To further improve the explainability of chest X-ray diagnosis, we designed a multi-relationship graph learning method with an expert uncertainty-aware loss function. 3. Our multi-relationship graph learning method can also interpret the disease classification results. Our experimental results show that models considering disease severity and uncertainty outperform previous state-of-the-art methods. | 翻訳日:2023-09-08 15:10:21 公開日:2023-09-06 |
| # MEGANet: 弱境界ポリプセグメンテーションのためのマルチスケールエッジガイドアテンションネットワーク MEGANet: Multi-Scale Edge-Guided Attention Network for Weak Boundary Polyp Segmentation ( http://arxiv.org/abs/2309.03329v1 ) ライセンス: Link先を確認 | Nhat-Tan Bui and Dinh-Hieu Hoang and Quang-Thuc Nguyen and Minh-Triet Tran and Ngan Le | (参考訳) 大腸癌の早期診断には,効率的なポリープ分画が重要な役割を担っている。
しかし、ポリプのセグメンテーションには、背景の複雑な分布、ポリプのサイズや形状の変化、不連続の境界など、多くの課題がある。
前景(すなわちポリープ自体)と背景(輪郭組織)の境界を定義することは困難である。
これらの課題を軽減するために,大腸内視鏡画像内のポリプセグメンテーションに適したマルチスケールエッジガイド注意ネットワーク(MEGANet)を提案する。
このネットワークは、注目機構を備えた古典的エッジ検出技術の融合からインスピレーションを得ている。
これらの技術を組み合わせることで、MEGANetは、特にエッジとバウンダリの高周波情報を効果的に保存する。
MEGANetはエンドツーエンドのフレームワークとして設計されており、入力画像から機能をキャプチャして抽象化するエンコーダ、有能な機能に焦点を当てるデコーダ、ポリプバウンダリをアクセントするLaplacian Operatorを使用するEdge-Guided Attention Module(EGA)の3つの主要なモジュールを含んでいる。
5つのベンチマークデータセットに対する定性的かつ定量的な大規模な実験は、私たちのEGANetが6つの評価基準の下で既存のSOTAメソッドよりも優れていることを示した。
我々のコードは \url{https://github.com/DinhHieuHoang/MEGANet} で入手できる。 Efficient polyp segmentation in healthcare plays a critical role in enabling early diagnosis of colorectal cancer. However, the segmentation of polyps presents numerous challenges, including the intricate distribution of backgrounds, variations in polyp sizes and shapes, and indistinct boundaries. Defining the boundary between the foreground (i.e. polyp itself) and the background (surrounding tissue) is difficult. To mitigate these challenges, we propose Multi-Scale Edge-Guided Attention Network (MEGANet) tailored specifically for polyp segmentation within colonoscopy images. This network draws inspiration from the fusion of a classical edge detection technique with an attention mechanism. By combining these techniques, MEGANet effectively preserves high-frequency information, notably edges and boundaries, which tend to erode as neural networks deepen. MEGANet is designed as an end-to-end framework, encompassing three key modules: an encoder, which is responsible for capturing and abstracting the features from the input image, a decoder, which focuses on salient features, and the Edge-Guided Attention module (EGA) that employs the Laplacian Operator to accentuate polyp boundaries. Extensive experiments, both qualitative and quantitative, on five benchmark datasets, demonstrate that our EGANet outperforms other existing SOTA methods under six evaluation metrics. Our code is available at \url{https://github.com/DinhHieuHoang/MEGANet} | 翻訳日:2023-09-08 15:10:00 公開日:2023-09-06 |
| # 弱駆動型散逸光学格子におけるブリルアンモード:単純理論モデルとポンプ-プローブ分光 Brillouin modes in weakly driven dissipative optical lattices: simple theoretical model vs pump-probe spectroscopy ( http://arxiv.org/abs/2309.03325v1 ) ライセンス: Link先を確認 | David Cubero, Kefeng Jiang, Alexander Staron, Casey Scoggins, Daniel Wingert, Stone Oliver, and Samir Bali | (参考訳) 3次元の散逸性光学格子に閉じ込められた原子はポテンシャル井戸の内部で振動し、時には隣接する井戸に飛びつき、あらゆる方向に拡散する。
弱いプローブビームによる照明は格子を変調し、プローブの移動方向と垂直に移動するブリルアンモードと呼ばれる原子密度波を伝播させる。
これらのモードを理論的に実験的に検討し、空間周期が基礎となる光学ポテンシャルの周期の倍数ではない駆動電位摂動の場合、低温閉じ込め原子におけるブリルアンモード生成のより深い理解を可能にする。
有向伝搬における2つの異なるメカニズムの役割を解明し、一つは伝搬変調と井戸内で振動する原子の平均速度との速度マッチングと、もう一つは変調周波数と発振周波数との周波数マッチングから生じるものである。 Atoms confined in a three-dimensional dissipative optical lattice oscillate inside potential wells, occasionally hopping to adjacent wells, thereby diffusing in all directions. Illumination by a weak probe beam modulates the lattice, yielding propagating atomic density waves, referred to as Brillouin modes which travel perpendicular to the direction of travel of the probe. We investigate theoretically and experimentally these modes in the case of a driving potential perturbation whose spatial period is not a multiple of the period of the underlying optical potential, allowing for a deeper understanding of Brillouin mode generation in cold confined atoms. The role of two distinct mechanisms for directed propagation is elucidated, one arising from a velocity-matching between the propagating modulation and the average velocity of the atom oscillating inside a well, and the other arising from a frequency-matching between the the modulation frequency and the oscillation frequencies. | 翻訳日:2023-09-08 15:09:32 公開日:2023-09-06 |
| # REBOOT: 効率的なリアルタイムデキスタラスマニピュレーションのための再利用データ REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous Manipulation ( http://arxiv.org/abs/2309.03322v1 ) ライセンス: Link先を確認 | Zheyuan Hu, Aaron Rovinsky, Jianlan Luo, Vikash Kumar, Abhishek Gupta, Sergey Levine | (参考訳) モデルベースの制御システムと模倣学習アルゴリズムの両方にとって、コンタクトリッチなインタラクションを含む巧妙な操作タスクは大きな課題となる。
この複雑さは、接触を動的に確立し破壊し、非包括力のバランスをとり、大きな自由度を制御するために、多指ロボットハンドの必要性から生じる。
強化学習(rl)は、その汎用的適用性と、最適な操作戦略を自律的に獲得する能力から、有望なアプローチを提供する。
しかし、実世界の応用は、大量のサンプルを生成し、環境をリセットし、報酬信号を得る必要性によってしばしば妨げられる。
本稿では,これらの課題を軽減すべく,rlを用いた巧妙な操作スキルを学ぶための効率的なシステムを提案する。
我々のアプローチの主な考え方は、サンプル効率のRLとリプレイバッファブートストラップの最近の進歩の統合である。
この組み合わせにより、異なるタスクやオブジェクトからのデータを新しいタスクのトレーニングの出発点として活用し、学習効率を大幅に向上できます。
さらに,本システムは,模倣に基づくピックアップポリシと学習報酬機能による学習リセットを取り入れ,手動リセットや報酬エンジニアリングの必要性をなくし,実世界のトレーニングサイクルを完了させる。
例えば,4本指のロボットハンドを用いた実世界の複雑な操作スキルの迅速な獲得など,新しいタスクの再生バッファ初期化として過去のデータを再利用するメリットを実証する。
(ビデオ:https://sites.google.com/view/reboot-dexterous) Dexterous manipulation tasks involving contact-rich interactions pose a significant challenge for both model-based control systems and imitation learning algorithms. The complexity arises from the need for multi-fingered robotic hands to dynamically establish and break contacts, balance non-prehensile forces, and control large degrees of freedom. Reinforcement learning (RL) offers a promising approach due to its general applicability and capacity to autonomously acquire optimal manipulation strategies. However, its real-world application is often hindered by the necessity to generate a large number of samples, reset the environment, and obtain reward signals. In this work, we introduce an efficient system for learning dexterous manipulation skills with RL to alleviate these challenges. The main idea of our approach is the integration of recent advances in sample-efficient RL and replay buffer bootstrapping. This combination allows us to utilize data from different tasks or objects as a starting point for training new tasks, significantly improving learning efficiency. Additionally, our system completes the real-world training cycle by incorporating learned resets via an imitation-based pickup policy as well as learned reward functions, eliminating the need for manual resets and reward engineering. We demonstrate the benefits of reusing past data as replay buffer initialization for new tasks, for instance, the fast acquisition of intricate manipulation skills in the real world on a four-fingered robotic hand. (Videos: https://sites.google.com/view/reboot-dexterous) | 翻訳日:2023-09-08 15:09:14 公開日:2023-09-06 |
| # CoNeS:マルチシーケンスMRI翻訳のためのシフト変調を用いた条件付きニューラルネットワーク CoNeS: Conditional neural fields with shift modulation for multi-sequence MRI translation ( http://arxiv.org/abs/2309.03320v1 ) ライセンス: Link先を確認 | Yunjie Chen, Marius Staring, Olaf M. Neve, Stephan R. Romeijn, Erik F. Hensen, Berit M. Verbist, Jelmer M. Wolterink, Qian Tao | (参考訳) マルチシーケンスMRI(Multi-sequence magnetic resonance imaging)は、現代の臨床研究とディープラーニング研究の両方に広く応用されている。
しかし、臨床実践では、画像取得プロトコルやコントラスト剤による患者の禁忌により、MRIの1つ以上の配列が欠落し、マルチシーケンスデータに基づいて訓練された深層学習モデルの利用が制限されることがしばしば起こる。
有望なアプローチの1つは、生成モデルを利用して欠落した配列を合成することである。
この問題に対処する最先端の手法は、通常はスペクトルバイアスに悩まされる畳み込みニューラルネットワーク(CNN)に基づいている。
本稿では、ボクセル座標を入力として取り込んだモデルであるシフト変調付き条件付きニューラルネットワーク(CoNeS)を提案し、マルチシーケンスMRI変換のための対象画像の表現を学習する。
提案モデルは、画素間マッピングのデコーダとしてcnnの代わりに多層パーセプトロン(mlp)を用いる。
したがって、各対象画像は、学習された潜在コードによるシフト変調により、ソース画像上で条件付けられたニューラルフィールドとして表現される。
BraTS 2018と前庭神経癌患者の社内臨床データセットによる実験により、提案手法は、視覚的および定量的に多系列MRI翻訳における最先端の方法より優れていることが示された。
さらに,従来のcnnモデルに共通するスペクトルバイアス問題を克服できることを示すため,スペクトル解析を行った。
臨床下流作業における合成画像の利用を更に評価するために,合成画像を用いたセグメンテーションネットワークの推論を行った。 Multi-sequence magnetic resonance imaging (MRI) has found wide applications in both modern clinical studies and deep learning research. However, in clinical practice, it frequently occurs that one or more of the MRI sequences are missing due to different image acquisition protocols or contrast agent contraindications of patients, limiting the utilization of deep learning models trained on multi-sequence data. One promising approach is to leverage generative models to synthesize the missing sequences, which can serve as a surrogate acquisition. State-of-the-art methods tackling this problem are based on convolutional neural networks (CNN) which usually suffer from spectral biases, resulting in poor reconstruction of high-frequency fine details. In this paper, we propose Conditional Neural fields with Shift modulation (CoNeS), a model that takes voxel coordinates as input and learns a representation of the target images for multi-sequence MRI translation. The proposed model uses a multi-layer perceptron (MLP) instead of a CNN as the decoder for pixel-to-pixel mapping. Hence, each target image is represented as a neural field that is conditioned on the source image via shift modulation with a learned latent code. Experiments on BraTS 2018 and an in-house clinical dataset of vestibular schwannoma patients showed that the proposed method outperformed state-of-the-art methods for multi-sequence MRI translation both visually and quantitatively. Moreover, we conducted spectral analysis, showing that CoNeS was able to overcome the spectral bias issue common in conventional CNN models. To further evaluate the usage of synthesized images in clinical downstream tasks, we tested a segmentation network using the synthesized images at inference. | 翻訳日:2023-09-08 15:08:49 公開日:2023-09-06 |
| # 機械学習によるフィットネス近似 Fitness Approximation through Machine Learning ( http://arxiv.org/abs/2309.03318v1 ) ライセンス: Link先を確認 | Itai Tzruia, Tomer Halperin, Moshe Sipper, Achiya Elyasaf | (参考訳) 本稿では、Gymnasium(ゲーム)シミュレータの進化的エージェントに着目し、機械学習(ML)モデルを用いた遺伝的アルゴリズム(GA)におけるフィットネス近似を実行するための新しいアプローチを提案する。
サンプルのデータセットと実際のフィットネススコアを維持することで、私たちは、フィットネス近似MLモデルの進化的な実行を通じて継続的に更新します。
異なる方法を比較します。
1)実際のフィットネスと近似フィットネスの切り替え
2)人口をサンプリングし、
3) 試料の重み付け。
実験の結果は、ほぼ適合性の計算の比率に応じて、完全に実行されたGAと同一またはわずかに低いフィットネススコアを持つ進化ランタイムにおいて、顕著な改善が示されている。
我々のアプローチは汎用的で、多くの異なるドメインに簡単に適用できます。 We present a novel approach to performing fitness approximation in genetic algorithms (GAs) using machine-learning (ML) models, focusing on evolutionary agents in Gymnasium (game) simulators -- where fitness computation is costly. Maintaining a dataset of sampled individuals along with their actual fitness scores, we continually update throughout an evolutionary run a fitness-approximation ML model. We compare different methods for: 1) switching between actual and approximate fitness, 2) sampling the population, and 3) weighting the samples. Experimental findings demonstrate significant improvement in evolutionary runtimes, with fitness scores that are either identical or slightly lower than that of the fully run GA -- depending on the ratio of approximate-to-actual-fitness computation. Our approach is generic and can be easily applied to many different domains. | 翻訳日:2023-09-08 15:08:23 公開日:2023-09-06 |
| # ロボット卓球:高速学習システムにおける事例研究 Robotic Table Tennis: A Case Study into a High Speed Learning System ( http://arxiv.org/abs/2309.03315v1 ) ライセンス: Link先を確認 | David B. D'Ambrosio, Jonathan Abelian, Saminda Abeyruwan, Michael Ahn, Alex Bewley, Justin Boyd, Krzysztof Choromanski, Omar Cortes, Erwin Coumans, Tianli Ding, Wenbo Gao, Laura Graesser, Atil Iscen, Navdeep Jaitly, Deepali Jain, Juhana Kangaspunta, Satoshi Kataoka, Gus Kouretas, Yuheng Kuang, Nevena Lazic, Corey Lynch, Reza Mahjourian, Sherry Q. Moore, Thinh Nguyen, Ken Oslund, Barney J Reed, Krista Reymann, Pannag R. Sanketi, Anish Shankar, Pierre Sermanet, Vikas Sindhwani, Avi Singh, Vincent Vanhoucke, Grace Vesom, and Peng Xu | (参考訳) 実世界のロボット学習システムを深く掘り下げて,これまでの研究で,数百の卓球集会を人間と行うことができ,ボールを目的の目標に正確に戻すことができることを示した。
このシステムは、高度に最適化された知覚サブシステム、高速低レイテンシロボットコントローラ、現実世界の損傷を防止し、ゼロショット転送のためのポリシーを訓練するシミュレーションパラダイム、そして物理的なロボットに対する自律的なトレーニングと評価を可能にする自動現実環境リセットを組み立てる。
我々は,様々なレイテンシ源の緩和,トレーニングとデプロイメントの分散シフトの考慮,知覚システムの堅牢性,ポリシのハイパーパラメータへの感受性,行動空間の選択など,一般的に広く普及しない多数の設計決定を含む,完全なシステム記述を補完する。
システムのコンポーネントと実験結果の詳細を示すビデオは、https://youtu.be/ufcnwjb42i0で見ることができる。 We present a deep-dive into a real-world robotic learning system that, in previous work, was shown to be capable of hundreds of table tennis rallies with a human and has the ability to precisely return the ball to desired targets. This system puts together a highly optimized perception subsystem, a high-speed low-latency robot controller, a simulation paradigm that can prevent damage in the real world and also train policies for zero-shot transfer, and automated real world environment resets that enable autonomous training and evaluation on physical robots. We complement a complete system description, including numerous design decisions that are typically not widely disseminated, with a collection of studies that clarify the importance of mitigating various sources of latency, accounting for training and deployment distribution shifts, robustness of the perception system, sensitivity to policy hyper-parameters, and choice of action space. A video demonstrating the components of the system and details of experimental results can be found at https://youtu.be/uFcnWjB42I0. | 翻訳日:2023-09-08 15:08:11 公開日:2023-09-06 |
| # 2体相互作用を持つポインタ状態と量子ダーウィン主義 Pointer states and quantum Darwinism with 2-body interactions ( http://arxiv.org/abs/2309.03299v1 ) ライセンス: Link先を確認 | Paul Duruisseau, Akram Touil, and Sebastian Deffner | (参考訳) 量子ダーウィン主義は量子宇宙における古典的客観性の出現を説明する。
しかし、これまで量子ダーウィン論のほとんどの研究は特定のモデルとその定常的性質に焦点を当ててきた。
量子-古典遷移の理解を深めるためには、ハミルトンが古典的現実をサポートするために満たさなければならない一般的な基準を特定することが望ましい。
この目的のために,すべてのモデルを2体インタラクションで分類し,システムと環境の分離可能な相互作用を持つモデルのみがポインタ基底をサポート可能であることを示す。
さらに、「完璧な」量子ダーウィン論は、環境内相互作用が存在しない場合にのみ現れることを示す。
我々の分析は、続く力学の解によって補完される。
情報スクランブルを示すシステムでは、古典的客観性の動的出現は、非局所的な量子相関の拡散と直接競合している。
本研究で得られた厳密な知見は, 4つの代表モデルの数値解析で示される。 Quantum Darwinism explains the emergence of classical objectivity within a quantum universe. However, to date most research in quantum Darwinism has focused on specific models and their stationary properties. To further our understanding of the quantum-to-classical transition it appears desirable to identify the general criteria a Hamiltonian has to fulfill to support classical reality. To this end, we categorize all models with 2-body interactions, and we show that only those with separable interaction of system and environment can support a pointer basis. We further show that "perfect" quantum Darwinism can only emerge if there are no intra-environmental interactions. Our analysis is complemented by the solution of the ensuing dynamics. We find that in systems that exhibit information scrambling, the dynamical emergence of classical objectivity is in direct competition with the non-local spread of quantum correlations. Our rigorous findings are illustrated with the numerical analysis of four representative models. | 翻訳日:2023-09-08 15:07:53 公開日:2023-09-06 |
| # 補足合成データを用いたアクティブシューター検出とロバストトラッキング Active shooter detection and robust tracking utilizing supplemental synthetic data ( http://arxiv.org/abs/2309.03381v1 ) ライセンス: Link先を確認 | Joshua R. Waite, Jiale Feng, Riley Tavassoli, Laura Harris, Sin Yong Tan, Subhadeep Chakraborty, Soumik Sarkar | (参考訳) アメリカにおける銃暴力に関する懸念が高まり、公共の安全を改善するシステムの開発に焦点が当てられている。
このようなシステムを開発する1つのアプローチは、乱射事件の予防や緩和に役立つシューターを検出し追跡することである。
そこで本研究では,銃の装填によってシステムが脅威を見失わないため,追跡性が向上する銃ではなく,全体として射撃者を検出することを提案した。
しかし、銃器の公開データは、銃のデータセット単独よりもはるかに限定的で、作成が難しい。
そこで我々は,unreal engine環境から得られた合成データを用いたトレーニングの有効性を向上させるために,ドメインランダム化とトランスファー学習の利用を検討する。
これにより、モデルがより広い範囲のデータでトレーニングされ、異なる状況に一般化する能力が向上します。
これらの技術をyolov8とdeep oc-sortで使用し,raspberry piとjetson nanoの両方を含むエッジハードウェア上で動作可能なシューティングトラッキングシステムの初期バージョンを実装した。 The increasing concern surrounding gun violence in the United States has led to a focus on developing systems to improve public safety. One approach to developing such a system is to detect and track shooters, which would help prevent or mitigate the impact of violent incidents. In this paper, we proposed detecting shooters as a whole, rather than just guns, which would allow for improved tracking robustness, as obscuring the gun would no longer cause the system to lose sight of the threat. However, publicly available data on shooters is much more limited and challenging to create than a gun dataset alone. Therefore, we explore the use of domain randomization and transfer learning to improve the effectiveness of training with synthetic data obtained from Unreal Engine environments. This enables the model to be trained on a wider range of data, increasing its ability to generalize to different situations. Using these techniques with YOLOv8 and Deep OC-SORT, we implemented an initial version of a shooter tracking system capable of running on edge hardware, including both a Raspberry Pi and a Jetson Nano. | 翻訳日:2023-09-08 14:59:41 公開日:2023-09-06 |
| # RoDia: 音声からのルーマニア方言識別のための新しいデータセット RoDia: A New Dataset for Romanian Dialect Identification from Speech ( http://arxiv.org/abs/2309.03378v1 ) ライセンス: Link先を確認 | Codrut Rotaru, Nicolae-Catalin Ristea, Radu Tudor Ionescu | (参考訳) 方言識別は,音声認識や話者検証など,様々な応用の強化など,音声処理や言語技術において重要な課題である。
ほとんどの研究は広範に話されている言語における方言識別に費やされてきたが、ルーマニアのような低資源言語における方言識別には限定的な注意が払われている。
この研究ギャップを解決するために,ルーマニア語の方言識別のための最初のデータセットであるRoDiaを紹介する。
RoDiaデータセットには、ルーマニアの5つの異なる地域の音声サンプルの様々なコンパイルが含まれており、都市環境と農村環境の両方をカバーする。
データセットとともに、将来の研究のベースラインとして使用される一連の競争モデルを紹介します。
上位スコアモデルは、マクロF1スコアが59.83%、マイクロF1スコアが62.08%に達し、タスクが困難であることを示している。
そこで我々はロディアがルーマニア語の方言識別の課題に取り組む研究を刺激する貴重な資源であると信じている。
私たちはデータセットとコードをhttps://github.com/codrut2/rodiaで公開しています。 Dialect identification is a critical task in speech processing and language technology, enhancing various applications such as speech recognition, speaker verification, and many others. While most research studies have been dedicated to dialect identification in widely spoken languages, limited attention has been given to dialect identification in low-resource languages, such as Romanian. To address this research gap, we introduce RoDia, the first dataset for Romanian dialect identification from speech. The RoDia dataset includes a varied compilation of speech samples from five distinct regions of Romania, covering both urban and rural environments, totaling 2 hours of manually annotated speech data. Along with our dataset, we introduce a set of competitive models to be used as baselines for future research. The top scoring model achieves a macro F1 score of 59.83% and a micro F1 score of 62.08%, indicating that the task is challenging. We thus believe that RoDia is a valuable resource that will stimulate research aiming to address the challenges of Romanian dialect identification. We publicly release our dataset and code at https://github.com/codrut2/RoDia. | 翻訳日:2023-09-08 14:59:25 公開日:2023-09-06 |
| # マルチクイットの真の絡み合いテストの改善 Improved tests of genuine entanglement for multiqudits ( http://arxiv.org/abs/2309.03369v1 ) ライセンス: Link先を確認 | Xia Zhang, Naihuan Jing, Hui Zhao, Ming Liu, Haitao Ma | (参考訳) 我々は、密度行列の一般化されたブロッホ表現を用いて、重要な多部量子状態のクラスに対する真の多部量子絡み合いの基準を改良する。
実用的基準はワイル作用素に基づいて設計されており、高次元系における真の多重粒子絡みの検出に使用できる。
このテストは、最近のいくつかの基準よりもかなり強いことが示されている。 We give an improved criterion of genuine multipartite entanglement for an important class of multipartite quantum states using generalized Bloch representations of the density matrices. The practical criterion is designed based on the Weyl operators and can be used for detecting genuine multipartite entanglement in higher dimensional systems. The test is shown to be significantly stronger than some of the most recent criteria. | 翻訳日:2023-09-08 14:59:06 公開日:2023-09-06 |
| # 低リソースダウンストリームタスクのための自己改善型マスクデジタル標高モデル Self-Supervised Masked Digital Elevation Models Encoding for Low-Resource Downstream Tasks ( http://arxiv.org/abs/2309.03367v1 ) ライセンス: Link先を確認 | Priyam Mazumdar, Aiman Soliman, Volodymyr Kindratenko, Luigi Marini, Kenton McHenry | (参考訳) ラベル付きデータの品質の欠如は、ディープラーニングモデルをトレーニングするための大きなボトルネックの1つです。
タスクが複雑化するにつれて、過剰適合と不安定な学習に対するペナルティが高くなる。
今日の典型的なパラダイムは自己監督学習(Self-Supervised Learning)であり、モデルが非構造化データとラベルなしデータの大規模なコーパスから学習を試み、その知識を必要なタスクに伝達する。
他のモダリティにおける自己スーパービジョンの例としては、大きな言語モデルのためのBERT、音声認識のためのWav2Vec、そして全てトランスフォーマーを使用してマスク付き予測タスクを解決するMasked AutoEncoderがある。
GeoAIは、何十年にもわたって収集されてきたデータから、自己管理の方法論を活用することができる。
我々のゴールは、地表面の詳細な地形を提供するDEM(Digital Elevation Models)から建物と道路のセグメンテーションを抽出することである。
提案したアーキテクチャは、ImageNet上で事前訓練されたMasked Autoencoderであり(ImageNetとDEMの間に大きなドメイン差があるという制限がある)、セグメントをデコードするためのUperNet Headを備えている。
約5%と0.5%のデータをそれぞれ活用し,450および50のトレーニング画像のみを用いて実験を行った。
建物のセグメンテーションタスクでは、450枚の画像と69.1%のIoUと50枚の画像しか持たない82.1%のIntersection over Union (IoU)が得られる。
より困難な道路検出タスクでは、450枚の画像で82.7%のIoU、わずか50枚の画像で73.2%のIoUが得られる。
今日の地球表面に関する手書きのデータセットは、常に変化する地形の性質のために、すぐに時代遅れになる。
これにより、さまざまなダウンストリームタスクに使用できるデータ効率の学習者の必要性が明確になる。 The lack of quality labeled data is one of the main bottlenecks for training Deep Learning models. As the task increases in complexity, there is a higher penalty for overfitting and unstable learning. The typical paradigm employed today is Self-Supervised learning, where the model attempts to learn from a large corpus of unstructured and unlabeled data and then transfer that knowledge to the required task. Some notable examples of self-supervision in other modalities are BERT for Large Language Models, Wav2Vec for Speech Recognition, and the Masked AutoEncoder for Vision, which all utilize Transformers to solve a masked prediction task. GeoAI is uniquely poised to take advantage of the self-supervised methodology due to the decades of data collected, little of which is precisely and dependably annotated. Our goal is to extract building and road segmentations from Digital Elevation Models (DEM) that provide a detailed topography of the earths surface. The proposed architecture is the Masked Autoencoder pre-trained on ImageNet (with the limitation that there is a large domain discrepancy between ImageNet and DEM) with an UperNet Head for decoding segmentations. We tested this model with 450 and 50 training images only, utilizing roughly 5% and 0.5% of the original data respectively. On the building segmentation task, this model obtains an 82.1% Intersection over Union (IoU) with 450 Images and 69.1% IoU with only 50 images. On the more challenging road detection task the model obtains an 82.7% IoU with 450 images and 73.2% IoU with only 50 images. Any hand-labeled dataset made today about the earths surface will be immediately obsolete due to the constantly changing nature of the landscape. This motivates the clear necessity for data-efficient learners that can be used for a wide variety of downstream tasks. | 翻訳日:2023-09-08 14:59:01 公開日:2023-09-06 |
| # ViewMix: 自己指導型学習におけるロバスト表現の拡張 ViewMix: Augmentation for Robust Representation in Self-Supervised Learning ( http://arxiv.org/abs/2309.03360v1 ) ライセンス: Link先を確認 | Arjon Das, Xin Zhong | (参考訳) 統合埋め込みアーキテクチャに基づく自己教師型学習手法は、データ拡張の構成を、その強力な表現学習能力の重要な要素とみなしている。
地域的なドロップアウト戦略は、教師付き手法におけるオブジェクトのより少ない指示的部分に焦点を合わせるためにモデルを導くことが証明されているが、正のペアを生成する自己監督手法では採用されていない。
これは,地域ドロップアウト手法が自己管理手法の入力サンプリングプロセスに適していないためである。
正の対から情報画素を落とすことは非効率な訓練をもたらすが、特定の物体のパッチを別の対に置き換えることで、異なる正の対間の一致を最大化することを防ぐことができる。
さらに, 共同埋め込み表現学習法は, 初等訓練結果の頑健さを損なわない。
そこで本稿では,画像の異なるビューを生成する際に,各ビューから別のビューへパッチをカット・ペーストする,自己教師型学習のためのViewMix拡張ポリシーを提案する。
この拡張戦略によって生み出された異なる視点を活用することで、複数のジョイント埋め込みベースの自己監督手法がより優れたローカライゼーション能力を獲得し、対応するベースライン手法を一貫して上回った。
また,viewmix拡張ポリシーの導入により,最先端手法における表現の堅牢性が向上することが示されている。
さらに, 計算時間の実験と解析により, ViewMix のオーバヘッドが他の計算時間に比べて増加しないことが示された。 Joint Embedding Architecture-based self-supervised learning methods have attributed the composition of data augmentations as a crucial factor for their strong representation learning capabilities. While regional dropout strategies have proven to guide models to focus on lesser indicative parts of the objects in supervised methods, it hasn't been adopted by self-supervised methods for generating positive pairs. This is because the regional dropout methods are not suitable for the input sampling process of the self-supervised methodology. Whereas dropping informative pixels from the positive pairs can result in inefficient training, replacing patches of a specific object with a different one can steer the model from maximizing the agreement between different positive pairs. Moreover, joint embedding representation learning methods have not made robustness their primary training outcome. To this end, we propose the ViewMix augmentation policy, specially designed for self-supervised learning, upon generating different views of the same image, patches are cut and pasted from one view to another. By leveraging the different views created by this augmentation strategy, multiple joint embedding-based self-supervised methodologies obtained better localization capability and consistently outperformed their corresponding baseline methods. It is also demonstrated that incorporating ViewMix augmentation policy promotes robustness of the representations in the state-of-the-art methods. Furthermore, our experimentation and analysis of compute times suggest that ViewMix augmentation doesn't introduce any additional overhead compared to other counterparts. | 翻訳日:2023-09-08 14:58:30 公開日:2023-09-06 |
| # アンサンブル線形補間器:センシングの役割 Ensemble linear interpolators: The role of ensembling ( http://arxiv.org/abs/2309.03354v1 ) ライセンス: Link先を確認 | Mingqi Wu, Qiang Sun | (参考訳) インターポレータは不安定です。
例えば、mininum $\ell_2$ norm least square interpolatorは、ノイズのあるデータを扱う際に境界のないテストエラーを示す。
本稿では,個々の補間器のサンプル外予測リスクによって測定されたアンサンブルの安定化と一般化性能の向上について検討する。
バッグングは、並列に実装できる一般的なランダム化に基づくアンサンブル法であるため、タグ付き線形補間器に着目する。
マルチプライヤ・ブートストラップを用いた最小二乗推定器を導入し,スケッチした最小二乗推定器の平均値として定式化することができる。
提案された乗算ブートストラップは、Bernolliブートストラップと呼ばれるより興味深いバリエーションとともに、特別なケースとして置き換えられた古典的なブートストラップを含んでいる。
試料サイズが特徴寸法に比例してスケールする比例状態に着目し,過パラメータ化および過パラメータ化状態におけるスケッチおよび袋詰めされた最小二乗推定器の標本外予測リスクについて検討した。
その結果,スケッチやバッグングの統計的役割が明らかになった。
特に、スケッチはアスペクト比を変更し、最小$\ell_2$ norm estimatorの補間閾値をシフトする。
しかし, 過度な分散による補間しきい値付近では, スケッチ推定器の危険性は引き続き非有界である。
対照的に、バグングはこのばらつきを効果的に軽減し、サンプル外の予測リスクを限定する。
この安定性向上特性をさらに理解するために,バギングが暗黙の正則化の形式として機能し,バギング推定器と明示的な正則化の同値性によって裏付けられることを確かめる。
いくつかの拡張についても論じる。 Interpolators are unstable. For example, the mininum $\ell_2$ norm least square interpolator exhibits unbounded test errors when dealing with noisy data. In this paper, we study how ensemble stabilizes and thus improves the generalization performance, measured by the out-of-sample prediction risk, of an individual interpolator. We focus on bagged linear interpolators, as bagging is a popular randomization-based ensemble method that can be implemented in parallel. We introduce the multiplier-bootstrap-based bagged least square estimator, which can then be formulated as an average of the sketched least square estimators. The proposed multiplier bootstrap encompasses the classical bootstrap with replacement as a special case, along with a more intriguing variant which we call the Bernoulli bootstrap. Focusing on the proportional regime where the sample size scales proportionally with the feature dimensionality, we investigate the out-of-sample prediction risks of the sketched and bagged least square estimators in both underparametrized and overparameterized regimes. Our results reveal the statistical roles of sketching and bagging. In particular, sketching modifies the aspect ratio and shifts the interpolation threshold of the minimum $\ell_2$ norm estimator. However, the risk of the sketched estimator continues to be unbounded around the interpolation threshold due to excessive variance. In stark contrast, bagging effectively mitigates this variance, leading to a bounded limiting out-of-sample prediction risk. To further understand this stability improvement property, we establish that bagging acts as a form of implicit regularization, substantiated by the equivalence of the bagged estimator with its explicitly regularized counterpart. We also discuss several extensions. | 翻訳日:2023-09-08 14:58:07 公開日:2023-09-06 |
| # ブラインド法医学によるデジタルビデオの音源カメラ識別と検出 Source Camera Identification and Detection in Digital Videos through Blind Forensics ( http://arxiv.org/abs/2309.03353v1 ) ライセンス: Link先を確認 | Venkata Udaya Sameer, Shilpa Mukhopadhyay, Ruchira Naskar and Ishaan Dali | (参考訳) デジタルビデオにおけるソースカメラの識別は、未知のデジタルビデオをそのソースデバイスに関連付けるという問題である。
デジタルビデオのソース検出における既存の技術は、PRNU(Photo Response Non-Uniformity)という形でビデオ内の実際のソースの指紋を見つけ、各デバイスにおけるSPN(Sensor Pattern Noise)と照合する。
最も高い相関は正しい源を示す。
機械学習を用いた特徴量に基づく手法を用いて,映像ソースの識別の問題を検討する。
本稿では,特徴抽出,特徴選択,その後の情報源分類に基づく,映像ソース認証と識別の盲点法医学的手法を提案する。
主な目的は、ビデオのクレームソースが実際に元のソースであるかどうかを決定することである。
そうでなければ、元のソースを特定します。
従来の指紋認証法と比較して,提案手法の有効性が実証された。 Source camera identification in digital videos is the problem of associating an unknown digital video with its source device, within a closed set of possible devices. The existing techniques in source detection of digital videos try to find a fingerprint of the actual source in the video in form of PRNU (Photo Response Non--Uniformity), and match it against the SPN (Sensor Pattern Noise) of each possible device. The highest correlation indicates the correct source. We investigate the problem of identifying a video source through a feature based approach using machine learning. In this paper, we present a blind forensic technique of video source authentication and identification, based on feature extraction, feature selection and subsequent source classification. The main aim is to determine whether a claimed source for a video is actually its original source. If not, we identify its original source. Our experimental results prove the efficiency of the proposed method compared to traditional fingerprint based technique. | 翻訳日:2023-09-08 14:57:34 公開日:2023-09-06 |
| # ニューラルネットワークによる高分解能画像の高速SAR粗さ推定 Using Neural Networks for Fast SAR Roughness Estimation of High Resolution Images ( http://arxiv.org/abs/2309.03351v1 ) ライセンス: Link先を確認 | Li Fan, Jeova Farias Sales Rocha Neto | (参考訳) 合成開口レーダ(sar)画像の解析はリモートセンシングアプリケーションにおいて重要なステップであり,本質的なスペックルノイズのため課題となっている。
1つの典型的な解決策は、$G_I^0$分布を用いてデータをモデル化し、その粗さ情報を抽出することである。
これにより、特に高解像度画像において、SARデータから粗さパラメータを迅速かつ確実に推定する必要がある。
残念なことに、従来のパラメータ推定手順は遅く、予測失敗を起こしやすい。
本研究では,まず,G_I^0$サンプルのパラメータを推定する方法を学習し,次に未知データの粗さを推定するニューラルネットワークに基づく推定フレームワークを提案する。
このアプローチは,単純なネットワークを用いた場合であっても,従来の推定手順よりも,推定誤差が少なく,障害発生率が低い推定器に繋がることを示す。
さらに,この手法を一般化して画像入力を処理できることを示すとともに,合成データから数秒間トレーニングしても,高分解能実sar画像に対してリアルタイムの画素単位の粗さ推定が可能となる。 The analysis of Synthetic Aperture Radar (SAR) imagery is an important step in remote sensing applications, and it is a challenging problem due to its inherent speckle noise. One typical solution is to model the data using the $G_I^0$ distribution and extract its roughness information, which in turn can be used in posterior imaging tasks, such as segmentation, classification and interpretation. This leads to the need of quick and reliable estimation of the roughness parameter from SAR data, especially with high resolution images. Unfortunately, traditional parameter estimation procedures are slow and prone to estimation failures. In this work, we proposed a neural network-based estimation framework that first learns how to predict underlying parameters of $G_I^0$ samples and then can be used to estimate the roughness of unseen data. We show that this approach leads to an estimator that is quicker, yields less estimation error and is less prone to failures than the traditional estimation procedures for this problem, even when we use a simple network. More importantly, we show that this same methodology can be generalized to handle image inputs and, even if trained on purely synthetic data for a few seconds, is able to perform real time pixel-wise roughness estimation for high resolution real SAR imagery. | 翻訳日:2023-09-08 14:57:18 公開日:2023-09-06 |
| # 視覚言語モデルのための分布認識型プロンプトチューニング Distribution-Aware Prompt Tuning for Vision-Language Models ( http://arxiv.org/abs/2309.03406v1 ) ライセンス: Link先を確認 | Eulrang Cho, Jooyeon Kim, Hyunwoo J. Kim | (参考訳) 事前学習された視覚言語モデル(VLM)は、大規模データから学習した知識を活用して、様々な下流タスクにおいて印象的な性能を示した。
一般に、ターゲットタスクにおけるVLMの性能は、入力画像やテキストにコンテキストを追加するプロンプトチューニングによってさらに向上することができる。
対象タスクからのデータを活用することで,様々なプロンプトチューニング手法が文献で研究されている。
プロンプトチューニングの鍵は、モデルパラメータが固定された学習可能なベクトルによる2つのモダリティ間の特徴空間アライメントである。
それぞれのモダリティの埋め込みが潜在空間に 'well-arranged' されると、アライメントがより効果的になる。
この観測にインスパイアされ、我々は視覚言語モデルのための分散対応プロンプトチューニング(DAPT)を提案した。
具体的には、クラス間の距離を最大化し、同じクラスからの埋め込み間の距離によって測定される分散内を最小化することで、プロンプトを学習する。
11のベンチマークデータセットに対する広範な実験により,本手法が一般化可能性を大幅に向上することが示された。
コードはhttps://github.com/mlvlab/daptで入手できる。 Pre-trained vision-language models (VLMs) have shown impressive performance on various downstream tasks by utilizing knowledge learned from large data. In general, the performance of VLMs on target tasks can be further improved by prompt tuning, which adds context to the input image or text. By leveraging data from target tasks, various prompt-tuning methods have been studied in the literature. A key to prompt tuning is the feature space alignment between two modalities via learnable vectors with model parameters fixed. We observed that the alignment becomes more effective when embeddings of each modality are `well-arranged' in the latent space. Inspired by this observation, we proposed distribution-aware prompt tuning (DAPT) for vision-language models, which is simple yet effective. Specifically, the prompts are learned by maximizing inter-dispersion, the distance between classes, as well as minimizing the intra-dispersion measured by the distance between embeddings from the same class. Our extensive experiments on 11 benchmark datasets demonstrate that our method significantly improves generalizability. The code is available at https://github.com/mlvlab/DAPT. | 翻訳日:2023-09-08 14:51:00 公開日:2023-09-06 |
| # 混合過程におけるコミュニケーションと参考歌の役割:プロフェッショナルミックスエンジニアの視点から The Role of Communication and Reference Songs in the Mixing Process: Insights from Professional Mix Engineers ( http://arxiv.org/abs/2309.03404v1 ) ライセンス: Link先を確認 | Soumya Sai Vanka, MAryam Safi, Jean-Baptiste Rolland, and Gy\"orgy Fazekas | (参考訳) 効果的な音楽の混合には技術的および創造的な微妙さが必要だが、クライアントとの明確なコミュニケーションは不可欠である。
混合エンジニアは、クライアントの期待や好みを理解し、望ましい音を達成するために協力する必要があります。
ミックスの所望の音に対する暗黙の合意は、しばしば、アーティストとエンジニアの間で交換される参照歌やデモミックスのようなガイドを使って確立され、時には意味的な言葉を使って口頭で表現される。
本稿では,技術者がクライアントとどのように相互作用し,そのフィードバックを用いてミキシングプロセスのガイドを行うかを理解することを目的とした2段階の探索的研究の成果を示す。
第1フェーズでは,コミュニケーション戦略,創造的プロセス,意思決定基準に関する洞察を収集するために,混合技術者5人と半構造化面接を行った。
これらの質問紙からの推測に基づき,第2段階で22名の混合技術者からなる大規模グループを対象にオンラインアンケートを設計,実施した。
本研究の結果は, 混合プロセスにおける協調, 共感, 意図の重要性を浮き彫りにし, これらの実践を支援するスマートなマルチトラック混合システムの開発に寄与することができる。
これらの知見の意義を強調することにより,音楽制作の協調性に関する研究の進展に寄与し,革新的なミキシングツールの設計と実装に有効なレコメンデーションを提供する。 Effective music mixing requires technical and creative finesse, but clear communication with the client is crucial. The mixing engineer must grasp the client's expectations, and preferences, and collaborate to achieve the desired sound. The tacit agreement for the desired sound of the mix is often established using guides like reference songs and demo mixes exchanged between the artist and the engineer and sometimes verbalised using semantic terms. This paper presents the findings of a two-phased exploratory study aimed at understanding how professional mixing engineers interact with clients and use their feedback to guide the mixing process. For phase one, semi-structured interviews were conducted with five mixing engineers with the aim of gathering insights about their communication strategies, creative processes, and decision-making criteria. Based on the inferences from these interviews, an online questionnaire was designed and administered to a larger group of 22 mixing engineers during the second phase. The results of this study shed light on the importance of collaboration, empathy, and intention in the mixing process, and can inform the development of smart multi-track mixing systems that better support these practices. By highlighting the significance of these findings, this paper contributes to the growing body of research on the collaborative nature of music production and provides actionable recommendations for the design and implementation of innovative mixing tools. | 翻訳日:2023-09-08 14:50:42 公開日:2023-09-06 |
| # 長い配列における合理的異常検出 Reasonable Anomaly Detection in Long Sequences ( http://arxiv.org/abs/2309.03401v1 ) ライセンス: Link先を確認 | Yalong Jiang, Changkang Li | (参考訳) ビデオ異常検出は、サンプルを表現するアプローチが欠如しているため、難しい作業である。
既存のほとんどのアプローチの視覚的表現は、適切な検出を達成するのに十分な手がかりを与えることができない観察の短期的なシーケンスによって制限されている。
本稿では,オブジェクトの動作パターンを長期的シーケンスから学習することで完全に表現することを提案する。
まず, 長期観測で一貫した時間依存性を表現するために, スタック状態機械(ssm)モデルを提案する。
SSMモデルでは、過去の状態に基づいて将来の状態を予測し、固有な正常なパターンの予測と観察されたパターンのばらつきにより、正常な動きパターンに反する異常を判定する。
データセットと既存のデータに対する提案手法を評価するために,広範な実験を行った。
最先端の手法の改善が観察できる。
私たちのコードはhttps://github.com/AllenYLJiang/Anomaly-Detection-in-Sequencesで利用可能です。 Video anomaly detection is a challenging task due to the lack in approaches for representing samples. The visual representations of most existing approaches are limited by short-term sequences of observations which cannot provide enough clues for achieving reasonable detections. In this paper, we propose to completely represent the motion patterns of objects by learning from long-term sequences. Firstly, a Stacked State Machine (SSM) model is proposed to represent the temporal dependencies which are consistent across long-range observations. Then SSM model functions in predicting future states based on past ones, the divergence between the predictions with inherent normal patterns and observed ones determines anomalies which violate normal motion patterns. Extensive experiments are carried out to evaluate the proposed approach on the dataset and existing ones. Improvements over state-of-the-art methods can be observed. Our code is available at https://github.com/AllenYLJiang/Anomaly-Detection-in-Sequences. | 翻訳日:2023-09-08 14:50:18 公開日:2023-09-06 |
| # bpニューラルネットワークを用いた新しい虹彩認識法とgpu(graphics processing unit)による並列計算 A novel method for iris recognition using BP neural network and parallel computing by the aid of GPUs (Graphics Processing Units) ( http://arxiv.org/abs/2309.03390v1 ) ライセンス: Link先を確認 | Farahnaz Hosseini, Hossein Ebrahimpour, Samaneh Askari | (参考訳) 本稿では,虹彩認識システムの設計における新しい手法を提案する。
この方法では、まずアイリス画像からハールウェーブレットの特徴を抽出する。
これらの特徴を利用する利点は、高速抽出と各虹彩に固有の点である。
次に、下位伝播ニューラルネットワーク(BPNN)を分類器として使用する。
本システムでは, BPNN並列アルゴリズムとそのGPU実装をCUDAの助けを借りて, 学習プロセスの高速化に活用している。
最後に,このアルゴリズムを連続的に行う方法として,システム性能と高速化結果を示す。 In this paper, we seek a new method in designing an iris recognition system. In this method, first the Haar wavelet features are extracted from iris images. The advantage of using these features is the high-speed extraction, as well as being unique to each iris. Then the back propagation neural network (BPNN) is used as a classifier. In this system, the BPNN parallel algorithms and their implementation on GPUs have been used by the aid of CUDA in order to speed up the learning process. Finally, the system performance and the speeding outcomes in a way that this algorithm is done in series are presented. | 翻訳日:2023-09-08 14:50:02 公開日:2023-09-06 |
| # 離散時間進化を改善するための簡単な方法 Simple Ways to improve Discrete Time Evolution ( http://arxiv.org/abs/2309.03389v1 ) ライセンス: Link先を確認 | Johann Ostmeyer | (参考訳) 数値物理学のほとんどすべての分野において$\exp(Ht)$のような指数作用素の鈴木・トラッター分解が必要である。
しばしば、検討中の指数は、例えば量子コンピュータ上の局所ゲートとして、2つ以上の演算子に分割されなければならない。
本研究では,これらの汎用的スズキ-トローター分解に対して,ちょうど2つの作用素に対して導出される高最適化スキームがいかに適用可能かを示す。
この最初のトリックの後、効率的な分解の方法と、利用可能な多種多様な変数をどう選択するかを説明します。
さらに,スズキ-トローター分解が正準アンサッツであるような多くの問題は,taylor や chebyshev 展開のような異なる方法でよりよくアプローチできることを示す。
特に, 複素零点を用いた線形因数分解に基づいて, 切り離された多項式展開を効率よく, 数値的に安定に実装する方法を導出する。 Suzuki-Trotter decompositions of exponential operators like $\exp(Ht)$ are required in almost every branch of numerical physics. Often the exponent under consideration has to be split into more than two operators, for instance as local gates on quantum computers. In this work, we demonstrate how highly optimised schemes originally derived for exactly two operators can be applied to such generic Suzuki-Trotter decompositions. After this first trick, we explain what makes an efficient decomposition and how to choose from the large variety available. Furthermore we demonstrate that many problems for which a Suzuki-Trotter decomposition might appear to be the canonical ansatz, are better approached with different methods like Taylor or Chebyshev expansions. In particular, we derive an efficient and numerically stable method to implement truncated polynomial expansions based on a linear factorisation using their complex zeros. | 翻訳日:2023-09-08 14:49:55 公開日:2023-09-06 |
| # SNNは真にエネルギー効率が高いか?
ハードウェア・パースペクティブの$$ Are SNNs Truly Energy-efficient? $-$ A Hardware Perspective ( http://arxiv.org/abs/2309.03388v1 ) ライセンス: Link先を確認 | Abhiroop Bhattacharjee, Ruokai Yin, Abhishek Moitra, Priyadarshini Panda | (参考訳) スパイキングニューラルネットワーク(SNN)は、バイオインスパイアされたアクティベーション関数とスパースバイナリスパイクデータ表現を利用して、そのエネルギー効率のよい機械学習能力に注目を集めている。
最近のSNNアルゴリズムの進歩は、大規模コンピュータビジョンタスクにおいて高い精度を達成するが、そのエネルギー効率の主張は、特定の非現実的な推定基準に依存する。
本研究では,SATAとSpikeSimという,大規模SNN推論のための2つのハードウェアベンチマークプラットフォームについて検討する。
SATAはスポーシティ対応のシストリックアレイアクセラレータであり、SpikeSimはインメモリコンピューティング(IMC)ベースのアナログクロスバーに実装されたSNNを評価している。
これらのツールを用いて,最近のsnアルゴリズムの実際のエネルギー効率改善は,ハードウェアのボトルネックにより推定値と大きく異なることがわかった。
ハードウェア上でのSNNの効率的なデプロイには,時間経過の計算とデータ移動,神経モジュールのオーバーヘッド,SNNのクロスバー非理想に対する脆弱性など,重要な障害を特定し,対処する。 Spiking Neural Networks (SNNs) have gained attention for their energy-efficient machine learning capabilities, utilizing bio-inspired activation functions and sparse binary spike-data representations. While recent SNN algorithmic advances achieve high accuracy on large-scale computer vision tasks, their energy-efficiency claims rely on certain impractical estimation metrics. This work studies two hardware benchmarking platforms for large-scale SNN inference, namely SATA and SpikeSim. SATA is a sparsity-aware systolic-array accelerator, while SpikeSim evaluates SNNs implemented on In-Memory Computing (IMC) based analog crossbars. Using these tools, we find that the actual energy-efficiency improvements of recent SNN algorithmic works differ significantly from their estimated values due to various hardware bottlenecks. We identify and address key roadblocks to efficient SNN deployment on hardware, including repeated computations & data movements over timesteps, neuronal module overhead, and vulnerability of SNNs towards crossbar non-idealities. | 翻訳日:2023-09-08 14:49:40 公開日:2023-09-06 |
| # 自律走行における運動予測の効率的なベースライン Efficient Baselines for Motion Prediction in Autonomous Driving ( http://arxiv.org/abs/2309.03387v1 ) ライセンス: Link先を確認 | Carlos G\'omez-Hu\'elamo, Marcos V. Conde, Rafael Barea, Manuel Oca\~na, Luis M. Bergasa | (参考訳) 複数の周辺エージェントの動作予測(MP)は、単純なロボットから自律走行スタック(ADS)まで、任意の複雑な環境において重要なタスクである。
現在の手法では、入力データが通常、物理情報のレンダリングトップビューであり、最も関連性の高いエージェントの過去のトラジェクトリであるエンドツーエンドパイプラインを使用してこの問題に対処している。
その意味では、信頼できるADSは時間に基づいて合理的な予測を生成する必要がある。
しかし、多くのアプローチが単純なConvNetとLSTMを使って社会的潜在機能を得るが、State-Of-The-Art(SOTA)モデルは、情報ソース(マップと過去のトラジェクトリ)の両方を使用する場合、リアルタイムアプリケーションには複雑すぎるかもしれない。
さらに、これらのモデルの性能は、特に注釈付き高精細(HD)マップを得るのに費用がかかる交通シナリオごとに利用可能な入力数に大きく依存する。
本研究では,よく知られたargoverse 1モーション予測ベンチマークの効率的なベースラインを提案する。
我々は,注意機構やGNNを含むMPのためのSOTA技術を用いたコンパクトモデルの開発を目指している。
軽量なモデルでは, 移動可能な領域からの点や可算中心線といった標準的な社会的情報や解釈可能な地図情報を, ブラックボックスのcnnベースあるいは過剰複雑グラフ法とは対照的に, 運動的制約に基づく新しい前処理ステップを用いて利用し, 他の sota 法よりも操作性やパラメータの少ない精度で高次的マルチモーダルトラジェクタを生成できる。
私たちのコードはhttps://github.com/cram3r95/mapfe4mpで公開しています。 Motion Prediction (MP) of multiple surroundings agents is a crucial task in arbitrarily complex environments, from simple robots to Autonomous Driving Stacks (ADS). Current techniques tackle this problem using end-to-end pipelines, where the input data is usually a rendered top-view of the physical information and the past trajectories of the most relevant agents; leveraging this information is a must to obtain optimal performance. In that sense, a reliable ADS must produce reasonable predictions on time. However, despite many approaches use simple ConvNets and LSTMs to obtain the social latent features, State-Of-The-Art (SOTA) models might be too complex for real-time applications when using both sources of information (map and past trajectories) as well as little interpretable, specially considering the physical information. Moreover, the performance of such models highly depends on the number of available inputs for each particular traffic scenario, which are expensive to obtain, particularly, annotated High-Definition (HD) maps. In this work, we propose several efficient baselines for the well-known Argoverse 1 Motion Forecasting Benchmark. We aim to develop compact models using SOTA techniques for MP, including attention mechanisms and GNNs. Our lightweight models use standard social information and interpretable map information such as points from the driveable area and plausible centerlines by means of a novel preprocessing step based on kinematic constraints, in opposition to black-box CNN-based or too-complex graphs methods for map encoding, to generate plausible multimodal trajectories achieving up-to-pair accuracy with less operations and parameters than other SOTA methods. Our code is publicly available at https://github.com/Cram3r95/mapfe4mp . | 翻訳日:2023-09-08 14:49:20 公開日:2023-09-06 |
| # 慢性疾患予測のためのコミュニティベース階層型ポジカル・アンラベルド(pu)モデル融合 Community-Based Hierarchical Positive-Unlabeled (PU) Model Fusion for Chronic Disease Prediction ( http://arxiv.org/abs/2309.03386v1 ) ライセンス: Link先を確認 | Yang Wu, Xurui Li, Xuhong Zhang, Yangyang Kang, Changlong Sun and Xiaozhong Liu | (参考訳) PU学習(英: Positive-Unlabeled Learning)は、慢性疾患スクリーニング問題に対処するために使用できる、少数の陽性データインスタンスとともに、ラベルのないデータが多数存在するバイナリ分類問題によって提示される課題である。
最先端のPU学習手法は様々なリスク推定装置の開発をもたらしたが、異なる集団間の差異は無視されている。
そこで本研究では,新しい正ラベル学習木(putree)アルゴリズムを提案する。
PUtreeは、慢性疾患予測のタスクにおいて、年齢や収入のブラケットなどのコミュニティを考慮するように設計されている。
本稿では,コミュニティベースのPUモデルを階層的に構築し,提供物を集約する二分決定手法を提案する。
最適化された非リーフPUノード分割のために,木上の各PUモデルを抽出することができる。
さらに,マスク回復型データ拡張戦略により,個々のコミュニティにおけるモデルの十分なトレーニングが可能になる。
さらに,本提案手法は,階層的なPU関係を捉えるための逆PUリスク推定器と,各ツリーパスからのデータを統合するモデル融合ネットワークを備え,ロバストなバイナリ分類結果をもたらす。
PUtreeの優れた性能と2つのベンチマークと新しい糖尿病予測データセットのバリエーションを示す。 Positive-Unlabeled (PU) Learning is a challenge presented by binary classification problems where there is an abundance of unlabeled data along with a small number of positive data instances, which can be used to address chronic disease screening problem. State-of-the-art PU learning methods have resulted in the development of various risk estimators, yet they neglect the differences among distinct populations. To address this issue, we present a novel Positive-Unlabeled Learning Tree (PUtree) algorithm. PUtree is designed to take into account communities such as different age or income brackets, in tasks of chronic disease prediction. We propose a novel approach for binary decision-making, which hierarchically builds community-based PU models and then aggregates their deliverables. Our method can explicate each PU model on the tree for the optimized non-leaf PU node splitting. Furthermore, a mask-recovery data augmentation strategy enables sufficient training of the model in individual communities. Additionally, the proposed approach includes an adversarial PU risk estimator to capture hierarchical PU-relationships, and a model fusion network that integrates data from each tree path, resulting in robust binary classification results. We demonstrate the superior performance of PUtree as well as its variants on two benchmarks and a new diabetes-prediction dataset. | 翻訳日:2023-09-08 14:48:48 公開日:2023-09-06 |
| # 強不均質磁場中における捕捉イオンのレーザー冷却の実験的検討 Experimental implementation of laser cooling of trapped ions in strongly inhomogeneous magnetic fields ( http://arxiv.org/abs/2309.03385v1 ) ライセンス: Link先を確認 | Christian Mangeng, Yanning Yin, Richard Karl, and Stefan Willitsch | (参考訳) 2つの永久リング磁石によって発生する強い四極子磁場の存在下で、分割線形ポールトラップに閉じ込められた$^{40}$ca$^+$ イオンのドップラーレーザー冷却を実証した。
800から1600G/mmの磁場勾配は、捕捉されたイオンのエネルギーレベルに高い位置依存的なゼーマンシフトをもたらす。
適切な波長と偏光を持つ2つの397 nm冷却レーザービームと1つの866 nmレプタンパーレーザービームを用いて効率的なレーザー冷却を実証する。
イオンのクーロン結晶は磁場がない状態で閉じ込められたものと同様の世俗的な温度を示す。
さらに、ゼーマン効果の位置依存性を利用してフィールド強度のマップを生成する。
この研究は、これらの種間の低温相互作用を研究するためのイオンと磁気トラップからなる、低温イオンと中性分子のハイブリッドトラップ実験の開発の基礎を形成し、非均一磁場にトラップイオンを用いる量子科学実験の新しい可能性を開く。 We demonstrate the Doppler laser cooling of $^{40}$Ca$^+$ ions confined in a segmented linear Paul trap in the presence of a strong quadrupolar magnetic field generated by two permanent ring magnets. Magnetic field gradients of 800 to 1600 G/mm give rise to a highly position-dependent Zeeman shift on the energy levels of the trapped ions. Efficient laser cooling is demonstrated using two 397 nm cooling laser beams with appropriate wavelengths and polarizations and one 866 nm repumper laser beam. Coulomb crystals of ions are found to exhibit similar secular temperatures to those trapped in absence of the magnetic field. In addition, the position dependency of the Zeeman effect is used to generate a map of the field strength. This work forms the basis for developing hybrid trapping experiments for cold ions and neutral molecules that consist of an ion and a magnetic trap to study cold interactions between these species, and opens up new possibilities for quantum-science experiments that employ trapped ions in inhomogeneous magnetic fields. | 翻訳日:2023-09-08 14:48:29 公開日:2023-09-06 |
| # 胸部腹部CTにおける腎異常分画の検討 Kidney abnormality segmentation in thorax-abdomen CT scans ( http://arxiv.org/abs/2309.03383v1 ) ライセンス: Link先を確認 | Gabriel Efrain Humpire Mamani and Nikolas Lessmann and Ernst Th. Scholten and Mathias Prokop and Colin Jacobs and Bram van Ginneken | (参考訳) 本研究は,嚢胞,病変,腫瘤,転移,原発性腫瘍などの腎異常を同定し,定量化する臨床医を支援するために,腎パレンキマと腎異常を区分する深層学習手法を提案する。
胸腹部CTでは215例の造影CT検査を行い,その半数に1例以上の異常を認めた。
最初の3D U-Netネットワークの独自のバージョンの実装から始まり、エンド・ツー・エンドのマルチレゾリューション・アプローチ、タスク固有のデータ拡張のセット、トップ・k$を使った修正されたロス関数、空間的なドロップアウトの4つの追加コンポーネントを組み込んだ。
さらに,後処理戦略を考案した。
アブレーション試験では, 腎異常セグメンテーションが改善し, 4例中3例は腎発作セグメンテーションが改善した。
その後、データセット上でnnUNetフレームワークをトレーニングしました。
最適化された3D U-NetとnnUNetを特別な後処理と組み合わせることで、我々は圧倒的に優れた結果を得た。
2つのテストセット(異常なし20スキャン、異常なし30スキャン)で腎実質を分節する0.965点と0.947点のdiceスコアを達成し、それぞれ0.944点と0.925点の独立した観察者よりも優れていた。
それらを含む30検体内の腎臓異常の分画において、トップパフォーマンス法はDiceスコア0.585を達成し、独立した第2のヒト観察者が0.664を達成し、コンピュータ化された方法のさらなる改善の可能性を示した。
すべてのトレーニングデータは、cc-by 4.0ライセンスのhttps://doi.org/10.5281/zenodo.8014289で研究コミュニティに提供されている。 In this study, we introduce a deep learning approach for segmenting kidney parenchyma and kidney abnormalities to support clinicians in identifying and quantifying renal abnormalities such as cysts, lesions, masses, metastases, and primary tumors. Our end-to-end segmentation method was trained on 215 contrast-enhanced thoracic-abdominal CT scans, with half of these scans containing one or more abnormalities. We began by implementing our own version of the original 3D U-Net network and incorporated four additional components: an end-to-end multi-resolution approach, a set of task-specific data augmentations, a modified loss function using top-$k$, and spatial dropout. Furthermore, we devised a tailored post-processing strategy. Ablation studies demonstrated that each of the four modifications enhanced kidney abnormality segmentation performance, while three out of four improved kidney parenchyma segmentation. Subsequently, we trained the nnUNet framework on our dataset. By ensembling the optimized 3D U-Net and the nnUNet with our specialized post-processing, we achieved marginally superior results. Our best-performing model attained Dice scores of 0.965 and 0.947 for segmenting kidney parenchyma in two test sets (20 scans without abnormalities and 30 with abnormalities), outperforming an independent human observer who scored 0.944 and 0.925, respectively. In segmenting kidney abnormalities within the 30 test scans containing them, the top-performing method achieved a Dice score of 0.585, while an independent second human observer reached a score of 0.664, suggesting potential for further improvement in computerized methods. All training data is available to the research community under a CC-BY 4.0 license on https://doi.org/10.5281/zenodo.8014289 | 翻訳日:2023-09-08 14:48:12 公開日:2023-09-06 |
| # ジョセフソンパラメトリック発振器を用いたイジングマシン A Josephson Parametric Oscillator-Based Ising Machine ( http://arxiv.org/abs/2309.03407v1 ) ライセンス: Link先を確認 | Sasan Razmkhah, Mehdi Kamal, Nobuyuki Yoshikawa, Massoud Pedram | (参考訳) イジングマシンはNP完全組合せ最適化問題を高速に解くための有望なソリューションとして登場し、従来の計算手法の能力を超越している。
加熱過程におけるハミルトン基底状態の効率的な決定により、Isingマシンは最適化問題に対処するためにCPUを効率的に補完することができる。
これらのイジングマシンを実現するために、二安定発振器はイジングモデルの原子スピンと相互作用をエミュレートするために必須である。
本研究では,スケーラブルな超伝導イジングマシンの基本単位として,ジョセフソンパラメトリック振動子(jpo)を用いたタイル構造を提案する。
超伝導体ベースの発振器であるJPOの双安定特性を利用して、提案機は7.5GHzの周波数で動作でき、CMOSベースのシステムに比べて消費電力は大幅に少ない(3桁)。
さらに、提案したタイル構造とLHZアーキテクチャとの互換性により、大規模統合の実現性が保証される。
騒音環境下でのタイルのシミュレーションを行い,その機能検証を行った。
その結果をハミルトニアンモデルの解析解と比較し,その動作特性を検証した。
この検証は、Isingマシンの実装におけるJPOベースのタイルの有効性と有効性を示し、量子コンピューティングにおける効率的でスケーラブルな組合せ最適化のための新しい道を開く。 Ising machines have emerged as a promising solution for rapidly solving NP-complete combinatorial optimization problems, surpassing the capabilities of traditional computing methods. By efficiently determining the ground state of the Hamiltonian during the annealing process, Ising machines can effectively complement CPUs in tackling optimization challenges. To realize these Ising machines, a bi-stable oscillator is essential to emulate the atomic spins and interactions of the Ising model. This study introduces a Josephson parametric oscillator (JPO)-based tile structure, serving as a fundamental unit for scalable superconductor-based Ising machines. Leveraging the bi-stable nature of JPOs, which are superconductor-based oscillators, the proposed machine can operate at frequencies of 7.5GHz while consuming significantly less power (by three orders of magnitude) than CMOS-based systems. Furthermore, the compatibility of the proposed tile structure with the Lechner-Hauke-Zoller (LHZ) architecture ensures its viability for large-scale integration. We conducted simulations of the tile in a noisy environment to validate its functionality. We verified its operational characteristics by comparing the results with the analytical solution of its Hamiltonian model. This verification demonstrates the feasibility and effectiveness of the JPO-based tile in implementing Ising machines, opening new avenues for efficient and scalable combinatorial optimization in quantum computing. | 翻訳日:2023-09-08 14:37:22 公開日:2023-09-06 |
| # 近所の計測とモデリング Measuring and Modeling Neighborhoods ( http://arxiv.org/abs/2110.14014v5 ) ライセンス: Link先を確認 | Cory McCartan, Jacob R. Brown, and Kosuke Imai | (参考訳) 粒度の地理的データは、地域がどのように形成され、どのように政治に影響を及ぼすかを理解する新しい機会を提供する。
同時に、地域固有の主観性は、それらの測定とモデリングにおいて方法論的な課題を生み出す。
我々は、回答者が自分の近所を地図上に描いたりできるオープンソースの調査機器を開発した。
また,地域と回答者の特性がどのように主観的地域を決定するかを分析する統計モデルを提案する。
我々は、マイアミ、ニューヨーク、フェニックスの有権者から主観的な近隣住民を収集し、ニューヨーク市の住民に市政委員会の地区に含める関心のある地域を惹きつけるよう求めた。
我々の分析によると、他の要因を一定に保ちながら、白人の回答者は近隣により多くの白人住民がいる国勢調査ブロックを含めている。
同様に、民主党と共和党は共同党派地域を含める傾向にある。
さらに,本モデルでは,標準近傍測度よりも精度の高いサンプル外予測を行う。 Granular geographic data present new opportunities to understand how neighborhoods are formed, and how they influence politics. At the same time, the inherent subjectivity of neighborhoods creates methodological challenges in measuring and modeling them. We develop an open-source survey instrument that allows respondents to draw their neighborhoods on a map. We also propose a statistical model to analyze how the characteristics of respondents and local areas determine subjective neighborhoods. We conduct two surveys: collecting subjective neighborhoods from voters in Miami, New York City, and Phoenix, and asking New York City residents to draw a community of interest for inclusion in their city council district. Our analysis shows that, holding other factors constant, White respondents include census blocks with more White residents in their neighborhoods. Similarly, Democrats and Republicans are more likely to include co-partisan areas. Furthermore, our model provides more accurate out-of-sample predictions than standard neighborhood measures. | 翻訳日:2023-09-07 20:39:25 公開日:2023-09-06 |
| # lipschitz-constrained self-attention による注意的収縮流 Attentive Contractive Flow with Lipschitz-constrained Self-Attention ( http://arxiv.org/abs/2109.12135v4 ) ライセンス: Link先を確認 | Avideep Mukherjee, Badri Narayan Patro, Vinay P. Namboodiri | (参考訳) 正規化フローは、可逆変換を用いて分布から抽出可能な密度推定を求めるエレガントな方法を提供する。
主な課題は、可逆性制約を保ちつつモデルの表現性を向上させることである。
そこで我々は,局所的な自己着想を取り入れることを提案する。
しかし, 従来の自己拘束機構は可逆流を得るための要求を満たせず, 流れの正規化に内在的に組み込むことはできない。
そこで本研究では,フローベース生成モデル(contractive flow)の特別なカテゴリを利用する,Attentive Contractive Flow (ACF) という新しい手法を提案する。
我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
これは、これらのモデルの表現力を向上するだけでなく(ディム計量当たりのビットの改善)、トレーニングにおいてはるかに高速な収束をもたらすことが示される。
テスト画像間の補間を含む定性的な結果は、サンプルがより現実的で、データ内の局所的な相関をよく捉えていることを示す。
さらに, AWGNを用いて摂動解析を行い, ACFモデル(特にドット積変種)が付加雑音に対してより良く, より一貫した耐性を示すことを示す。 Normalizing flows provide an elegant method for obtaining tractable density estimates from distributions by using invertible transformations. The main challenge is to improve the expressivity of the models while keeping the invertibility constraints intact. We propose to do so via the incorporation of localized self-attention. However, conventional self-attention mechanisms don't satisfy the requirements to obtain invertible flows and can't be naively incorporated into normalizing flows. To address this, we introduce a novel approach called Attentive Contractive Flow (ACF) which utilizes a special category of flow-based generative models - contractive flows. We demonstrate that ACF can be introduced into a variety of state of the art flow models in a plug-and-play manner. This is demonstrated to not only improve the representation power of these models (improving on the bits per dim metric), but also to results in significantly faster convergence in training them. Qualitative results, including interpolations between test images, demonstrate that samples are more realistic and capture local correlations in the data well. We evaluate the results further by performing perturbation analysis using AWGN demonstrating that ACF models (especially the dot-product variant) show better and more consistent resilience to additive noise. | 翻訳日:2023-09-07 20:38:46 公開日:2023-09-06 |
| # Neural-IMLS:表面再構成のための自己制御型最小二乗移動ネットワーク Neural-IMLS: Self-supervised Implicit Moving Least-Squares Network for Surface Reconstruction ( http://arxiv.org/abs/2109.04398v4 ) ライセンス: Link先を確認 | Zixiong Wang, Pengfei Wang, Pengshuai Wang, Qiujie Dong, Junjie Gao, Shuangmin Chen, Shiqing Xin, Changhe Tu, Wenping Wang | (参考訳) 入力点雲、特に実際のスキャンがうるさいため、表面の再構成は非常に困難である。
マルチレイヤーパーセプトロン (MLP) と暗黙移動最小二乗関数 (IMLS) が基底表面の二重表現を提供するのを観察し, 自己監督型生点雲から雑音耐性符号距離関数 (SDF) を直接学習する新しいアプローチであるニューラルIMLSを導入する。
我々は、MLSを用いて、MLPによって報告される距離値の正規化を行い、MLSを実行するためのデータポイントの正規化を行う。
また,MLP と IMLS の相互学習機構の恩恵を受けるニューラルネットワークが収束すると,ゼロレベルセットが基礎となる表面を近似した忠実な SDF が生成されることも証明した。
合成スキャンや実スキャンなど,様々なベンチマークで広範な実験を行った。
実験結果から, ノイズや欠落部分のある様々なベンチマークにおいて, 忠実な形状を再構築できることが示唆された。
ソースコードは~\url{https://github.com/bearprin/Neural-IMLS} にある。 Surface reconstruction is very challenging when the input point clouds, particularly real scans, are noisy and lack normals. Observing that the Multilayer Perceptron (MLP) and the implicit moving least-square function (IMLS) provide a dual representation of the underlying surface, we introduce Neural-IMLS, a novel approach that directly learns the noise-resistant signed distance function (SDF) from unoriented raw point clouds in a self-supervised fashion. We use the IMLS to regularize the distance values reported by the MLP while using the MLP to regularize the normals of the data points for running the IMLS. We also prove that at the convergence, our neural network, benefiting from the mutual learning mechanism between the MLP and the IMLS, produces a faithful SDF whose zero-level set approximates the underlying surface. We conducted extensive experiments on various benchmarks, including synthetic scans and real scans. The experimental results show that {\em Neural-IMLS} can reconstruct faithful shapes on various benchmarks with noise and missing parts. The source code can be found at~\url{https://github.com/bearprin/Neural-IMLS}. | 翻訳日:2023-09-07 20:38:25 公開日:2023-09-06 |
| # LIMDD:安定化状態を含む量子コンピューティングシミュレーションのための決定図 LIMDD: A Decision Diagram for Simulation of Quantum Computing Including Stabilizer States ( http://arxiv.org/abs/2108.00931v5 ) ライセンス: Link先を確認 | Lieuwe Vinkhuijzen, Tim Coopmans, David Elkouss, Vedran Dunjko, Alfons Laarman | (参考訳) 量子状態と量子演算の表現とシミュレーションの効率的な方法は、量子回路の最適化に不可欠である。
決定図(DD)は、もともとブール関数を表すためによく研究されたデータ構造であり、量子システムの関連する側面を捉えることができるが、その限界はよく理解されていない。
本研究では,既存のdd系構造と安定化器形式とのギャップを解明し,そのギャップを橋渡しする。
まず,ddsは重要な量子状態を簡潔に表現することが提案されたが,特定の安定状態に対して指数空間を必要とすることを示した。
これを解決するために、より強力な決定図であるローカル可逆マップDD(LIMDD)を導入します。
ポリサイズのLIMDDで表される量子状態の集合は、安定状態と他の決定図の変形の結合を厳密に含んでいることを証明する。
最後に、LIMDDを効率的にシミュレートできる回路が存在するが、出力状態は2つの最先端シミュレーションパラダイム(Clifford + $T$回路の安定化器分解技術とMatrix-Product States)で簡潔に表現できない。
2つのアプローチを組み合わせることで、limddsは量子コンピューティングのシミュレーションと解析のための、より強力なソリューションへの道を開いた。 Efficient methods for the representation and simulation of quantum states and quantum operations are crucial for the optimization of quantum circuits. Decision diagrams (DDs), a well-studied data structure originally used to represent Boolean functions, have proven capable of capturing relevant aspects of quantum systems, but their limits are not well understood. In this work, we investigate and bridge the gap between existing DD-based structures and the stabilizer formalism, an important tool for simulating quantum circuits in the tractable regime. We first show that although DDs were suggested to succinctly represent important quantum states, they actually require exponential space for certain stabilizer states. To remedy this, we introduce a more powerful decision diagram variant, called Local Invertible Map-DD (LIMDD). We prove that the set of quantum states represented by poly-sized LIMDDs strictly contains the union of stabilizer states and other decision diagram variants. Finally, there exist circuits which LIMDDs can efficiently simulate, while their output states cannot be succinctly represented by two state-of-the-art simulation paradigms: the stabilizer decomposition techniques for Clifford + $T$ circuits and Matrix-Product States. By uniting two successful approaches, LIMDDs thus pave the way for fundamentally more powerful solutions for simulation and analysis of quantum computing. | 翻訳日:2023-09-07 20:38:00 公開日:2023-09-06 |
| # パルス再構成によるパラメトリックハミルトニアンの制御最適化 Control optimization for parametric hamiltonians by pulse reconstruction ( http://arxiv.org/abs/2102.12316v4 ) ライセンス: Link先を確認 | Piero Luchi, Francesco Turro, Valentina Amitrano and Francesco Pederiva, Xian Wu, Kyle Wendt, Jonathan L Dubois and Sofia Quaglioni | (参考訳) 最適な制御技術は、カスタマイズされた量子ゲートを生成するために必要な制御パルスを調整する手段を提供する。
しかし、カスタマイズされたゲートを生成するのに必要な大量の(古典的な)計算は、特にパルス最適化を繰り返す必要がある場合、このアプローチの有効性を急速に損なう可能性がある。
本研究では,時間変動量に依存するハミルトニアンの制御パルスを生成するのに必要な計算時間を短縮する手法を提案する。
単純な補間スキームを用いて,所定のパラメータ値の離散セットに対して予め求めたパルス群から制御パルスを正確に再構成する。
高い忠実度と計算労力の大幅な削減を図った再構成が得られる。
超伝導量子ビットに基づく2つの相互作用中性子のユニタリ(実)時間発展のデバイスレベル量子シミュレーションへの提案手法の適用結果について報告する。 Optimal control techniques provide a means to tailor the control pulses required to generate customized quantum gates, which helps to improve the resilience of quantum simulations to gate errors and device noise. However, the significant amount of (classical) computation required to generate customized gates can quickly undermine the effectiveness of this approach, especially when pulse optimization needs to be iterated. We propose a method to reduce the computational time required to generate the control pulse for a Hamiltonian that is parametrically dependent on a time-varying quantity. We use simple interpolation schemes to accurately reconstruct the control pulses from a set of pulses obtained in advance for a discrete set of predetermined parameter values. We obtain a reconstruction with very high fidelity and a significant reduction in computational effort. We report the results of the application of the proposed method to device-level quantum simulations of the unitary (real) time evolution of two interacting neutrons based on superconducting qubits. | 翻訳日:2023-09-07 20:37:37 公開日:2023-09-06 |
| # 因果学習を用いたブラックボックス予測アルゴリズムの動作説明 Explaining the Behavior of Black-Box Prediction Algorithms with Causal Learning ( http://arxiv.org/abs/2006.02482v4 ) ライセンス: Link先を確認 | Numair Sani, Daniel Malinsky, Ilya Shpitser | (参考訳) ブラックボックス予測モデル(例えば、画像ピクセルデータで訓練されたディープニューラルネットワーク)のポストホックな説明可能性に対する因果的アプローチがますます人気になっている。
しかし、既存のアプローチには2つの重要な欠点がある。
(i)「説明単位」とは、例えば画像画素のような関連する予測モデルへのマイクロレベルの入力であり、アルゴリズムの振る舞いをどう変えるかを理解するのに役立つマクロレベルの特徴を解釈するよりも、より有用である。
(II) 既存のアプローチでは、特徴量と対象モデル予測の間に未測定の矛盾は存在しないと仮定しており、説明単位がマクロレベルの変数である場合に保持できない。
私たちの焦点は、アナリストがターゲット予測アルゴリズムの内部動作にアクセスできず、特定の入力に応答してモデルの出力を問い合わせる能力のみを提供する重要な設定にあります。
このような状況下での因果的説明を提供するために,特徴間の任意の不測な相違を可能にする因果的図形表現の学習を提案する。
得られたグラフは、モデル予測に因果的に影響を及ぼす解釈可能な特徴と、共起によるモデル予測にのみ関連している特徴とを区別できることを示す。
我々のアプローチは、適切な説明が介入論的な意味で「異論者」である要因を指し示す因果説明の反実理論によって動機付けられている。 Causal approaches to post-hoc explainability for black-box prediction models (e.g., deep neural networks trained on image pixel data) have become increasingly popular. However, existing approaches have two important shortcomings: (i) the "explanatory units" are micro-level inputs into the relevant prediction model, e.g., image pixels, rather than interpretable macro-level features that are more useful for understanding how to possibly change the algorithm's behavior, and (ii) existing approaches assume there exists no unmeasured confounding between features and target model predictions, which fails to hold when the explanatory units are macro-level variables. Our focus is on the important setting where the analyst has no access to the inner workings of the target prediction algorithm, rather only the ability to query the output of the model in response to a particular input. To provide causal explanations in such a setting, we propose to learn causal graphical representations that allow for arbitrary unmeasured confounding among features. We demonstrate the resulting graph can differentiate between interpretable features that causally influence model predictions versus those that are merely associated with model predictions due to confounding. Our approach is motivated by a counterfactual theory of causal explanation wherein good explanations point to factors that are "difference-makers" in an interventionist sense. | 翻訳日:2023-09-07 20:36:57 公開日:2023-09-06 |
| # 量子データの鍛造:古典的にiqpベースの量子テストを打ち破る Forging quantum data: classically defeating an IQP-based quantum test ( http://arxiv.org/abs/1912.05547v3 ) ライセンス: Link先を確認 | Gregory D. Kahanamoku-Meyer | (参考訳) 近年、量子コンピューティングの実験は、古典的なコンピュータが特定の計算を行う能力を上回るものとなり、これは「量子計算の優位性」と呼ばれるマイルストーンとなった。
しかし、これらの実験で量子デバイスの出力を検証するには、非常に大きな古典的計算が必要であった。
量子能力を示すためのエキサイティングな次のステップは、より大きなシステムサイズをテストし、検証できるように、効率的な古典的検証による量子計算の利点のテストを実装することである。
量子性の効率的な検証のための最初の提案の一つは、クラスIQPの回路内に秘密の古典的ビットストリングを隠して、回路の出力分布からのサンプルが秘密と相関する(arXiv:0809.0847)。
このプロトコルの古典的硬さは、IQP回路を直接シミュレートすることが難しいという証拠によって支持されているが、他の(非シミュレート的な)古典的攻撃に対するプロトコルのセキュリティは未解決のままである。
本研究では,このプロトコルが古典的偽造に対して安全でないことを実証する。
古典的な)証明器が量子であることを検証者に納得させるだけでなく、実際に与えられたプロトコルインスタンスの裏にある秘密鍵を抽出できる古典的なアルゴリズムを記述する。
さらに, 鍵抽出アルゴリズムは, 数百キュービットという問題に対して, 効果的であることを示す。
最後に,本アルゴリズムの実装と,原論文の著者によるオンライン投稿の「25ドルチャレンジ」の根底にある秘密ベクトルについて述べる。 Recently, quantum computing experiments have for the first time exceeded the capability of classical computers to perform certain computations -- a milestone termed "quantum computational advantage." However, verifying the output of the quantum device in these experiments required extremely large classical computations. An exciting next step for demonstrating quantum capability would be to implement tests of quantum computational advantage with efficient classical verification, such that larger system sizes can be tested and verified. One of the first proposals for an efficiently-verifiable test of quantumness consists of hiding a secret classical bitstring inside a circuit of the class IQP, in such a way that samples from the circuit's output distribution are correlated with the secret (arXiv:0809.0847). The classical hardness of this protocol has been supported by evidence that directly simulating IQP circuits is hard, but the security of the protocol against other (non-simulating) classical attacks has remained an open question. In this work we demonstrate that the protocol is not secure against classical forgery. We describe a classical algorithm that can not only convince the verifier that the (classical) prover is quantum, but can in fact can extract the secret key underlying a given protocol instance. Furthermore, we show that the key extraction algorithm is efficient in practice for problem sizes of hundreds of qubits. Finally, we provide an implementation of the algorithm, and give the secret vector underlying the "$25 challenge" posted online by the authors of the original paper. | 翻訳日:2023-09-07 20:36:33 公開日:2023-09-06 |
| # 非定常熱・物質移動シミュレーションを高速化する新しい物理形機械学習戦略 A novel physics-informed machine learning strategy to accelerate unsteady heat and mass transfer simulations ( http://arxiv.org/abs/2206.06817v2 ) ライセンス: Link先を確認 | Joongoo Jeon, Juhyeong Lee, Ricardo Vinuesa, Sung Joong Kim | (参考訳) 中央処理装置(cpus)の性能の急速な向上にもかかわらず、非定常熱と物質移動のシミュレーションは特に大きな領域において計算コストが非常に高い。
機械学習(ML)の大きな波が加速計算流体力学(CFD)研究で伝播している一方で、最近の研究では、トレーニングと予測時間のギャップが単一トレーニングアプローチで増加するにつれてエラー増加を完全に抑制することは非現実的であることが明らかになっている。
本研究では,ML-CFDクロス計算を用いた非定常熱および物質移動シミュレーションを高速化するための残差に基づく物理情報伝達学習(RePIT)戦略を提案する。
我々の仮説は、連続ML-CFDクロス計算が周期的に実行され、増大する残差を低減できるだけでなく、最新のCFD時系列データ(トランスファーラーニングアプローチ)でネットワークパラメータを更新する、というものである。
ML-CFDのクロスポイントは、第一原理解法(物理インフォームド方式)の残留モニタリング手法に類似した手法を用いて決定される。
提案手法の有効性を自然対流シミュレーションに基づいて評価し,単一訓練法と比較した。
単回トレーニングでは, 残留尺度変化は100時間程度で発生し, 非物理的パターンを示す予測時系列と, 基礎的真理との大きな違いがみられた。
逆に、RePIT戦略は、設定範囲内で連続性を保ち、すべての変数と位置に対する基底真理と良好な一致を示した。
シミュレーションはパラメータ更新時間を含む1.9回加速された。
結論として、この普遍戦略は、高い精度を維持しながらCFDシミュレーションの計算コストを大幅に削減する可能性がある。 Despite the rapid advancements in the performance of central processing units (CPUs), the simulation of unsteady heat and mass transfer is computationally very costly, particularly in large domains. While a big wave of machine learning (ML) has propagated in accelerating computational fluid dynamics (CFD) studies, recent research has revealed that it is unrealistic to completely suppress the error increase as the gap between the training and prediction times increases in single training approach. In this study, we propose a residual-based physics-informed transfer learning (RePIT) strategy to accelerate unsteady heat and mass transfer simulations using ML-CFD cross computation. Our hypothesis is that long-term CFD simulations become feasible if continuous ML-CFD cross computation is periodically carried out to not only reduce increased residuals but also update network parameters with the latest CFD time series data (transfer learning approach). The cross point of ML-CFD is determined using a method similar to residual monitoring methods of first principle solvers (physics-informed manner). The feasibility of the proposed strategy was evaluated based on natural convection simulation and compared to the single training approach. In the single training approach, a residual scale change occurred around 100 timesteps leading to predicted time series exhibiting non-physical pattern as well as a large difference from the ground truth. Conversely, it was confirmed that the RePIT strategy maintained the continuity residual within the set range and showed good agreement with the ground truth for all variables and locations. The simulation was accelerated by 1.9 times, including the parameter-updating time. In conclusion, this universal strategy has the potential to significantly reduce the computational cost of CFD simulations while maintaining high accuracy. | 翻訳日:2023-09-07 20:28:55 公開日:2023-09-06 |
| # 時間依存型Schr\"{o}ディンガー方程式に対する正確な五角形行列解 An Accurate Pentadiagonal Matrix Solution for the Time-Dependent Schr\"{o}dinger Equation ( http://arxiv.org/abs/2205.13467v4 ) ライセンス: Link先を確認 | Ankit Kumar | (参考訳) 量子力学的時間進化作用素のユニタリ形式の一つはケイリーの近似によって与えられる。
同様の数値的な実装は、ハミルトニアンの第二導関数を三点公式に置き換えることであり、これは線型方程式の三対角系へと繋がる。
本研究では,精度の高い5点ステンシルを用いて,暗黙の五角形クランク・ニコルソンスキームに波動関数を識別する。
結果解は標準解よりはるかに正確であることが証明された。
また, 2成分のウェーブパック力学の解法と, 実験室の観点からの製品状態が, 質量中心から見て製品状態のままであるような条件の導出についても論じた。
これは複雑な二成分力学を2つの独立した単粒子問題に分離するための深い応用である。 One of the unitary forms of the quantum mechanical time evolution operator is given by Cayley's approximation. A numerical implementation of the same involves the replacement of second derivatives in Hamiltonian with the three-point formula, which leads to a tridiagonal system of linear equations. In this work, we invoke the highly accurate five-point stencil to discretize the wave function onto an Implicit-Explicit pentadiagonal Crank-Nicolson scheme. It is demonstrated that the resultant solutions are significantly more accurate than the standard ones. We also discuss the resolution of bipartite wavepacket dynamics and derive conditions under which a product state from the laboratory perspective remains a product state from the center-of-mass point of view. This has profound applications for decoupling complicated bipartite dynamics into two independent single-particle problems. | 翻訳日:2023-09-07 20:28:23 公開日:2023-09-06 |
| # クラウドファンディング成功予測のための視覚情報の抽出 Extraction of Visual Information to Predict Crowdfunding Success ( http://arxiv.org/abs/2203.14806v2 ) ライセンス: Link先を確認 | S. J. Blanchard, T. J. Noseworthy, E. Pancer, M. Poole | (参考訳) 研究者は、起業家の活動とダイナミクスに関する洞察を得るために、クラウドファンディングプラットフォームに目を向けるようになった。
これまでの研究は、テクノロジー、コミュニケーション、マーケティング戦略などクラウドファンディングの成功に影響を及ぼす様々な要因を調査してきたが、画像から自動的に抽出される視覚要素の役割は、あまり注目されていない。
これは、クラウドファンディングプラットフォームが注意グラフと高解像度画像の重要性を強調していることを考えると驚きであり、以前の研究では、画像特性が製品評価に大きな影響を与えることが示されている。
実際、Kickstarterのデータを利用した経験的記事(n = 202)の包括的なレビューは、その分析に視覚情報の組み入れに焦点を当てている。
その結果、画像数でコントロールできるのは29.70%に過ぎず、画像の詳細は12%に満たないことがわかった。
本稿では,画像処理とビジネス領域との関連性に関する文献を概観し,視覚的数(画像数,動画数)と画像詳細の2種類の視覚的変数について述べる。
色, 構成, 図形的関係を論じる以前の研究に基づいて, 顔の数, 描写された概念の数, それらの概念を識別する容易さなど, クラウドファンディングでまだ検討されていない視覚的シーン要素を紹介した。
ビジュアルカウントと画像詳細の予測値を示すために、kickstarterのデータを分析した。
結果は、ビジュアルカウント機能は成功の予測要因のトップ3のうちの2つであることを強調する。
以上の結果から,カラーマターなどの画像の詳細な特徴が多用され,視覚的シーン要素の計測も有用であることが示唆された。
我々は、著者が画像の詳細を抽出するのに役立つrとpythonのコードでこの記事を補足する(https://osf.io/ujnzp/)。 Researchers have increasingly turned to crowdfunding platforms to gain insights into entrepreneurial activity and dynamics. While previous studies have explored various factors influencing crowdfunding success, such as technology, communication, and marketing strategies, the role of visual elements that can be automatically extracted from images has received less attention. This is surprising, considering that crowdfunding platforms emphasize the importance of attention-grabbing and high-resolution images, and previous research has shown that image characteristics can significantly impact product evaluations. Indeed, a comprehensive review of empirical articles (n = 202) that utilized Kickstarter data, focusing on the incorporation of visual information in their analyses. Our findings reveal that only 29.70% controlled for the number of images, and less than 12% considered any image details. In this manuscript, we review the literature on image processing and its relevance to the business domain, highlighting two types of visual variables: visual counts (number of pictures and number of videos) and image details. Building upon previous work that discussed the role of color, composition and figure-ground relationships, we introduce visual scene elements that have not yet been explored in crowdfunding, including the number of faces, the number of concepts depicted, and the ease of identifying those concepts. To demonstrate the predictive value of visual counts and image details, we analyze Kickstarter data. Our results highlight that visual count features are two of the top three predictors of success. Our results also show that simple image detail features such as color matter a lot, and our proposed measures of visual scene elements can also be useful. We supplement our article with R and Python codes that help authors extract image details (https://osf.io/ujnzp/). | 翻訳日:2023-09-07 20:27:57 公開日:2023-09-06 |
| # ワッサーシュタイン力学による強い後部収縮速度 Strong posterior contraction rates via Wasserstein dynamics ( http://arxiv.org/abs/2203.10754v3 ) ライセンス: Link先を確認 | Emanuele Dolera, Stefano Favaro, Edoardo Mainini | (参考訳) ベイズ統計学において、後部収縮率(PCR)は、サンプルサイズが無限に近づくにつれて、後部分布が真のモデルの任意の小さな近傍に集中する速度を、適切な方法で定量化する。
本稿では,関数のパラメータ空間上での強いノルム距離に関して,PCRの新しいアプローチを開発する。
Critical to our approach is the combination of a local Lipschitz-continuity for the posterior distribution with a dynamic formulation of the Wasserstein distance, which allows to set forth an interesting connection between PCRs and some classical problems arising in mathematical analysis, probability and statistics, e.g., Laplace methods for approximating integrals, Sanov's large deviation principles in the Wasserstein distance, rates of convergence of mean Glivenko-Cantelli theorems, and estimates of weighted Poincar\'e-Wirtinger constants.
まず、正則無限次元指数族におけるモデルに対するPCR定理を提示し、モデルの十分な統計量を利用して、その定理を一般支配モデルに拡張する。
これらの結果は、無限次元におけるラプラス積分と重み付けポアンカル・ワイルティンガー定数を独立に評価する新しい手法の開発に依存している。
提案手法は,正規パラメトリックモデル,多項モデル,有限次元および無限次元ロジスティック・ガウスモデル,無限次元線形回帰モデルに適用できる。
一般に,本手法は有限次元モデルにおいて最適PCRに導かれるが,無限次元モデルでは先行分布がPCRに与える影響を明確に示す。 In Bayesian statistics, posterior contraction rates (PCRs) quantify the speed at which the posterior distribution concentrates on arbitrarily small neighborhoods of a true model, in a suitable way, as the sample size goes to infinity. In this paper, we develop a new approach to PCRs, with respect to strong norm distances on parameter spaces of functions. Critical to our approach is the combination of a local Lipschitz-continuity for the posterior distribution with a dynamic formulation of the Wasserstein distance, which allows to set forth an interesting connection between PCRs and some classical problems arising in mathematical analysis, probability and statistics, e.g., Laplace methods for approximating integrals, Sanov's large deviation principles in the Wasserstein distance, rates of convergence of mean Glivenko-Cantelli theorems, and estimates of weighted Poincar\'e-Wirtinger constants. We first present a theorem on PCRs for a model in the regular infinite-dimensional exponential family, which exploits sufficient statistics of the model, and then extend such a theorem to a general dominated model. These results rely on the development of novel techniques to evaluate Laplace integrals and weighted Poincar\'e-Wirtinger constants in infinite-dimension, which are of independent interest. The proposed approach is applied to the regular parametric model, the multinomial model, the finite-dimensional and the infinite-dimensional logistic-Gaussian model and the infinite-dimensional linear regression. In general, our approach leads to optimal PCRs in finite-dimensional models, whereas for infinite-dimensional models it is shown explicitly how the prior distribution affect PCRs. | 翻訳日:2023-09-07 20:27:27 公開日:2023-09-06 |
| # deepad: アルツハイマー病進行のロバストなディープラーニングモデルによる実世界臨床応用 DeepAD: A Robust Deep Learning Model of Alzheimer's Disease Progression for Real-World Clinical Applications ( http://arxiv.org/abs/2203.09096v4 ) ライセンス: Link先を確認 | Somaye Hashemifar, Claudia Iriondo, Evan Casey, Mohsen Hejrati | (参考訳) 患者の将来の軌跡を予測する能力は、アルツハイマー病(AD)のような複雑な疾患の治療薬の開発に向けた重要なステップである。
しかし、病気の進行を予測するために開発されたほとんどの機械学習アプローチは、単一タスクモデルまたは単一モダリティモデルであり、高次元画像を用いたマルチタスク学習を含む設定では直接適用できない。
さらに、これらのアプローチのほとんどは単一のデータセット(すなわちコホート)で訓練されており、他のコホートには一般化できない。
本稿では,複数コホートからの経時的臨床・神経画像データを分析し,AD進行を予測するためのマルチモーダル・マルチタスク深層学習モデルを提案する。
提案モデルでは,3次元畳み込みニューラルネットワークの高次元MRI特徴と臨床および人口統計情報を含む他のデータモダリティを統合し,患者の将来の軌跡を予測する。
本モデルでは,研究固有の画像バイアス,特に研究間領域シフトを緩和するために,敵対的損失を用いる。
さらに,シャープネス・アウェア・最小化(SAM)最適化手法を適用し,モデル一般化をさらに改善した。
提案モデルでは, 実験結果の評価と検証のために, 各種データセット上で実験を行った。
私たちの結果は
1)我々のモデルはベースラインモデルよりも大幅に改善され、
2) 3次元畳み込みニューラルネットワークから抽出したニューロイメージング特徴を用いたモデルは,MRI由来の容積特徴に適用した場合に,同じモデルより優れている。 The ability to predict the future trajectory of a patient is a key step toward the development of therapeutics for complex diseases such as Alzheimer's disease (AD). However, most machine learning approaches developed for prediction of disease progression are either single-task or single-modality models, which can not be directly adopted to our setting involving multi-task learning with high dimensional images. Moreover, most of those approaches are trained on a single dataset (i.e. cohort), which can not be generalized to other cohorts. We propose a novel multimodal multi-task deep learning model to predict AD progression by analyzing longitudinal clinical and neuroimaging data from multiple cohorts. Our proposed model integrates high dimensional MRI features from a 3D convolutional neural network with other data modalities, including clinical and demographic information, to predict the future trajectory of patients. Our model employs an adversarial loss to alleviate the study-specific imaging bias, in particular the inter-study domain shifts. In addition, a Sharpness-Aware Minimization (SAM) optimization technique is applied to further improve model generalization. The proposed model is trained and tested on various datasets in order to evaluate and validate the results. Our results showed that 1) our model yields significant improvement over the baseline models, and 2) models using extracted neuroimaging features from 3D convolutional neural network outperform the same models when applied to MRI-derived volumetric features. | 翻訳日:2023-09-07 20:27:02 公開日:2023-09-06 |
| # ソースおよび容量条件下におけるカーネル分類の誤差スケーリング則 Error Scaling Laws for Kernel Classification under Source and Capacity Conditions ( http://arxiv.org/abs/2201.12655v3 ) ライセンス: Link先を確認 | Hugo Cui, Bruno Loureiro, Florent Krzakala, Lenka Zdeborov\'a | (参考訳) カーネル分類の問題を考える。
サンプル数による予測誤差の減衰率の最悪のケース境界はいくつかの分類器で知られているが、実際のデータセットの学習曲線を正確に記述できないことが多い。
本研究では, 標準の情報源とキャパシティ条件を満たす重要なデータセットのクラスについて検討し, 数値的に示すような実データ集合を多数含む。
ガウス設計の下では、ソース係数とキャパシティ係数の関数として誤分類(予測)誤差の減衰率を導出する。
我々は2つの標準カーネル分類設定、すなわちマージン最大化サポートベクターマシン(svm)とリッジ分類を行い、この2つの手法を対比する。
我々のレートは、このクラスのデータセットの学習曲線を強く記述しており、実際のデータでも観察されている。
我々の結果は、実際のデータセットで正確であるカーネル分類のスケーリング法則の指数の明示的な予測と見なすこともできる。 We consider the problem of kernel classification. While worst-case bounds on the decay rate of the prediction error with the number of samples are known for some classifiers, they often fail to accurately describe the learning curves of real data sets. In this work, we consider the important class of data sets satisfying the standard source and capacity conditions, comprising a number of real data sets as we show numerically. Under the Gaussian design, we derive the decay rates for the misclassification (prediction) error as a function of the source and capacity coefficients. We do so for two standard kernel classification settings, namely margin-maximizing Support Vector Machines (SVM) and ridge classification, and contrast the two methods. We find that our rates tightly describe the learning curves for this class of data sets, and are also observed on real data. Our results can also be seen as an explicit prediction of the exponents of a scaling law for kernel classification that is accurate on some real datasets. | 翻訳日:2023-09-07 20:26:39 公開日:2023-09-06 |
| # 最適かつ差動的にプライベートなデータ取得:中央および局所的メカニズム Optimal and Differentially Private Data Acquisition: Central and Local Mechanisms ( http://arxiv.org/abs/2201.03968v2 ) ライセンス: Link先を確認 | Alireza Fallah, Ali Makhdoumi, Azarakhsh Malekian, Asuman Ozdaglar | (参考訳) プライバシに敏感なユーザからデータを収集するプラットフォームの問題を考え,その基盤となる関心パラメータを推定する。
我々は、個人が金銭的報酬やサービスと引き換えに彼女の(検証可能な)データを共有できるが、同時に、差動プライバシーを使って定量化する(プライベートな)異質なプライバシーコストを持つベイズ最適メカニズム設計問題として、この問題を定式化する。
ユーザに対してプライバシ保証を提供するための2つの一般的な差分プライバシー設定について検討する。
いずれの設定においても,推定誤差の最小上限を定め,ユーザに対する不均質なプライバシ損失レベルに対する最適推定値を導出する。
この特徴に基づいて,ユーザのプライバシ感を真に報告する推定器と支払いの最適選択として,メカニズム設計の問題を提起する。
プライバシ感受性の分布に関する規則性条件の下で,プライバシ設定の両方において,この問題を解決する効率的なアルゴリズム機構を考案する。
中央設定における我々のメカニズムは、時間$\mathcal{O}(n \log n)$で実装することができ、$n$はユーザ数であり、ローカル設定における我々のメカニズムは、PTAS(Polynomial Time Approximation Scheme)を許容する。 We consider a platform's problem of collecting data from privacy sensitive users to estimate an underlying parameter of interest. We formulate this question as a Bayesian-optimal mechanism design problem, in which an individual can share her (verifiable) data in exchange for a monetary reward or services, but at the same time has a (private) heterogeneous privacy cost which we quantify using differential privacy. We consider two popular differential privacy settings for providing privacy guarantees for the users: central and local. In both settings, we establish minimax lower bounds for the estimation error and derive (near) optimal estimators for given heterogeneous privacy loss levels for users. Building on this characterization, we pose the mechanism design problem as the optimal selection of an estimator and payments that will elicit truthful reporting of users' privacy sensitivities. Under a regularity condition on the distribution of privacy sensitivities we develop efficient algorithmic mechanisms to solve this problem in both privacy settings. Our mechanism in the central setting can be implemented in time $\mathcal{O}(n \log n)$ where $n$ is the number of users and our mechanism in the local setting admits a Polynomial Time Approximation Scheme (PTAS). | 翻訳日:2023-09-07 20:26:24 公開日:2023-09-06 |
| # 演算量子平均ケース距離 Operational Quantum Average-Case Distances ( http://arxiv.org/abs/2112.14283v5 ) ライセンス: Link先を確認 | Filip B. Maciejewski and Zbigniew Pucha{\l}a and Micha{\l} Oszmaniec | (参考訳) 一般実験において, 量子状態, 測定値, チャネル間の距離測定を, その統計的識別性に基づいて導入する。
具体的には、量子オブジェクトがランダム回路に絡み合っているプロトコルの出力統計値間の平均全変動距離(tvd)を分析し、標準ベースで測定する。
近似4設計の回路では、平均tvdは基礎となるオブジェクトの単純な明示関数 -- 平均ケース距離 (acd) によって近似できることを示す。
量子優位実験におけるノイズの影響を解析し、量子メモリのない高次元状態やチャネルの効率的な識別に応用する。
NISQ装置の品質を評価するのにACDの方が、トレース距離やダイヤモンド標準のような一般的な距離測定よりも適していると主張する。 We introduce distance measures between quantum states, measurements, and channels based on their statistical distinguishability in generic experiments. Specifically, we analyze the average Total Variation Distance (TVD) between output statistics of protocols in which quantum objects are intertwined with random circuits and measured in standard basis. We show that for circuits forming approximate 4-designs, the average TVDs can be approximated by simple explicit functions of the underlying objects -- the average-case distances (ACDs). We apply them to analyze the effects of noise in quantum advantage experiments and for efficient discrimination of high-dimensional states and channels without quantum memory. We argue that ACDs are better suited for assessing the quality of NISQ devices than common distance measures such as trace distance or the diamond norm. | 翻訳日:2023-09-07 20:25:59 公開日:2023-09-06 |
| # 準2次元双極子縮合における自己結合液滴 Self-bound droplets in quasi-two-dimensional dipolar condensates ( http://arxiv.org/abs/2112.09314v4 ) ライセンス: Link先を確認 | Yuqi Wang, Tao Shi, Su Yi | (参考訳) 擬二次元幾何学における自己有界双極子滴の基底状態特性をガウス状態理論を用いて研究する。
その結果, 真空とコヒーレント状態の2つの量子相が存在することがわかった。
さらに、多重量子相の結果として、放射径と原子数曲線が二重ディップ構造を示すことを示す。
特に、自己結合型液滴の臨界原子数は量子位相によって決定され、量子状態の区別とガウス状態理論の検証が可能となる。 We study the ground-state properties of self-bound dipolar droplets in quasi-two-dimensional geometry by using the Gaussian state theory. We show that there exist two quantum phases corresponding to the macroscopic squeezed vacuum and squeezed coherent states. We further show that the radial size versus atom number curve exhibits a double-dip structure, as a result of the multiple quantum phases. In particular, we find that the critical atom number for the self-bound droplets is determined by the quantum phases, which allows us to distinguish the quantum state and validates the Gaussian state theory. | 翻訳日:2023-09-07 20:25:49 公開日:2023-09-06 |
| # 因果条件シフト下での転送可能な時系列予測 Transferable Time-Series Forecasting under Causal Conditional Shift ( http://arxiv.org/abs/2111.03422v3 ) ライセンス: Link先を確認 | Zijian Li, Ruichu Cai, Tom Z.J Fu, Zhifeng Hao, Kun Zhang | (参考訳) 本稿では,実際に頻繁に遭遇するにもかかわらず,文献であまり探索されていない時系列予測のための半教師付きドメイン適応の問題に焦点をあてる。
時系列領域適応に関する既存の方法は、主に静的データのために設計されたパラダイムに従い、データオフセット、時間ラグ、および変動データ分散によって生じるドメイン固有の複雑な条件依存を処理できない。
これらの課題に対処するために,時系列データにおける変分条件付き依存関係を分析し,因果構造が通常領域間で安定であることを見出し,さらに因果条件付きシフト仮定を提起する。
この仮定に則って,時系列データの因果生成過程を考察し,時系列予測に基づく半教師付き領域適応問題に対するエンドツーエンドモデルを提案する。
提案手法は, クロスドメインデータ間のグランガーカウサル構造を検出するだけでなく, 正確かつ解釈可能な予測結果を用いて, クロスドメイン時系列予測問題に対処する。
さらに, 対象領域の一般化誤差を経験的リスクと異なる領域からの因果構造との相違によって限定した, 提案手法の優位性を理論的に解析する。
時系列予測における半教師付き領域適応法の有効性を,合成データと実データの両方で実証した。 This paper focuses on the problem of semi-supervised domain adaptation for time-series forecasting, which is underexplored in literatures, despite being often encountered in practice. Existing methods on time-series domain adaptation mainly follow the paradigm designed for the static data, which cannot handle domain-specific complex conditional dependencies raised by data offset, time lags, and variant data distributions. In order to address these challenges, we analyze variational conditional dependencies in time-series data and find that the causal structures are usually stable among domains, and further raise the causal conditional shift assumption. Enlightened by this assumption, we consider the causal generation process for time-series data and propose an end-to-end model for the semi-supervised domain adaptation problem on time-series forecasting. Our method can not only discover the Granger-Causal structures among cross-domain data but also address the cross-domain time-series forecasting problem with accurate and interpretable predicted results. We further theoretically analyze the superiority of the proposed method, where the generalization error on the target domain is bounded by the empirical risks and by the discrepancy between the causal structures from different domains. Experimental results on both synthetic and real data demonstrate the effectiveness of our method for the semi-supervised domain adaptation method on time-series forecasting. | 翻訳日:2023-09-07 20:25:40 公開日:2023-09-06 |
| # 機械読解における推論ショートカットの測定と緩和に関する調査 A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine Reading Comprehension ( http://arxiv.org/abs/2209.01824v2 ) ライセンス: Link先を確認 | Xanh Ho, Johannes Mario Meissner, Saku Sugawara, and Akiko Aizawa | (参考訳) ショートカット学習の問題はNLPで広く知られており、近年は重要な研究分野となっている。
データ内の意図しない相関により、高度な言語理解と推論能力を示すことを意図したタスクを簡単に解決できる。
本稿では,機械読影理解(MRC)の分野に着目し,様々なショートカットに悩まされるハイレベルな言語理解を示す重要な課題である。
近道の計測と緩和のための利用可能な手法を要約し,近道研究のさらなる進展を示唆する。
重要な点として, MRCにおけるショートカット緩和に関する懸念として, 1) 公共チャレンジセットの欠如, 有効かつ再利用可能な評価に必要な構成要素, (2) 他の領域で顕著な特定の緩和手法の欠如, を挙げる。 The issue of shortcut learning is widely known in NLP and has been an important research focus in recent years. Unintended correlations in the data enable models to easily solve tasks that were meant to exhibit advanced language understanding and reasoning capabilities. In this survey paper, we focus on the field of machine reading comprehension (MRC), an important task for showcasing high-level language understanding that also suffers from a range of shortcuts. We summarize the available techniques for measuring and mitigating shortcuts and conclude with suggestions for further progress in shortcut research. Importantly, we highlight two concerns for shortcut mitigation in MRC: (1) the lack of public challenge sets, a necessary component for effective and reusable evaluation, and (2) the lack of certain mitigation techniques that are prominent in other areas. | 翻訳日:2023-09-07 20:20:25 公開日:2023-09-06 |
| # 多基準決定問題に対する統一ベイズ的枠組み Unified Bayesian Frameworks for Multi-criteria Decision-making Problems ( http://arxiv.org/abs/2208.13390v4 ) ライセンス: Link先を確認 | Majid Mohammadi | (参考訳) 本稿では,MCDM法と課題の確率論的解釈を利用して,多基準意思決定(MCDM)問題の様々な側面に取り組むためのベイズ的枠組みを紹介する。
ベイズモデルの柔軟性を活用することで、提案フレームワークは、グループ決定問題や基準相関などのMCDMの主要な課題に対する統計的にエレガントな解決策を提供する。
さらに、これらのモデルは、通常の分布や三角形の分布を含む意思決定者(DM)の選好における様々な不確実性や、インターバル選好に対応できる。
大規模グループMCDMシナリオに対処するため、確率混合モデルを開発し、DMの同種部分群の同定を可能にする。
さらに,DM選好に基づく基準と代替品の相対的重要性を評価するために,確率的ランキング方式を考案した。
様々な数値的な例を用いて,提案手法の有効性を実証し,その特徴を他の手法と比較して強調する。 This paper introduces Bayesian frameworks for tackling various aspects of multi-criteria decision-making (MCDM) problems, leveraging a probabilistic interpretation of MCDM methods and challenges. By harnessing the flexibility of Bayesian models, the proposed frameworks offer statistically elegant solutions to key challenges in MCDM, such as group decision-making problems and criteria correlation. Additionally, these models can accommodate diverse forms of uncertainty in decision makers' (DMs) preferences, including normal and triangular distributions, as well as interval preferences. To address large-scale group MCDM scenarios, a probabilistic mixture model is developed, enabling the identification of homogeneous subgroups of DMs. Furthermore, a probabilistic ranking scheme is devised to assess the relative importance of criteria and alternatives based on DM(s) preferences. Through experimentation on various numerical examples, the proposed frameworks are validated, demonstrating their effectiveness and highlighting their distinguishing features in comparison to alternative methods. | 翻訳日:2023-09-07 20:20:11 公開日:2023-09-06 |
| # スケルトンに基づく行動認識のための生成的行動記述プロンプト Generative Action Description Prompts for Skeleton-based Action Recognition ( http://arxiv.org/abs/2208.05318v2 ) ライセンス: Link先を確認 | Wangmeng Xiang, Chao Li, Yuxuan Zhou, Biao Wang, Lei Zhang | (参考訳) 骨格に基づく行動認識は近年注目されている。
骨格に基づく行動認識への現在のアプローチは、通常ワンホット分類タスクとして定式化され、アクション間の意味的関係を完全に活用しない。
例えば、"make victory sign" と "thumb up" は、手のジェスチャーの2つのアクションであり、その大きな違いは手の動きにある。
この情報はアクションクラスのカテゴリ別の1-hotエンコーディングとは無関係であるが、アクション記述から明らかにすることができる。
したがって、訓練における行動記述の利用は表現学習の恩恵を受ける可能性がある。
本研究では,骨格に基づく行動認識のためのGAP(Generative Action-Description Prompts)アプローチを提案する。
具体的には,事前学習された大規模言語モデルを知識エンジンとして活用し,行動の身体部分の動きに対するテキスト記述を自動的に生成し,テキストエンコーダを用いて異なる身体部分の特徴ベクトルを生成し,行動表現学習のための骨格エンコーダを監督するマルチモーダルトレーニングスキームを提案する。
提案手法は,計算コストを増加させることなく,様々なベースラインモデルに対して顕著に改善できることを示す。
GAPは、NTU RGB+D、NTU RGB+D 120、NW-UCLAなど、人気のあるスケルトンベースのアクション認識ベンチマークにおいて、新しい最先端技術を実現している。
ソースコードはhttps://github.com/MartinXM/GAPで公開されている。 Skeleton-based action recognition has recently received considerable attention. Current approaches to skeleton-based action recognition are typically formulated as one-hot classification tasks and do not fully exploit the semantic relations between actions. For example, "make victory sign" and "thumb up" are two actions of hand gestures, whose major difference lies in the movement of hands. This information is agnostic from the categorical one-hot encoding of action classes but could be unveiled from the action description. Therefore, utilizing action description in training could potentially benefit representation learning. In this work, we propose a Generative Action-description Prompts (GAP) approach for skeleton-based action recognition. More specifically, we employ a pre-trained large-scale language model as the knowledge engine to automatically generate text descriptions for body parts movements of actions, and propose a multi-modal training scheme by utilizing the text encoder to generate feature vectors for different body parts and supervise the skeleton encoder for action representation learning. Experiments show that our proposed GAP method achieves noticeable improvements over various baseline models without extra computation cost at inference. GAP achieves new state-of-the-arts on popular skeleton-based action recognition benchmarks, including NTU RGB+D, NTU RGB+D 120 and NW-UCLA. The source code is available at https://github.com/MartinXM/GAP. | 翻訳日:2023-09-07 20:19:20 公開日:2023-09-06 |
| # 一般化 Lotka-Volterra モデルにおける創発的非エルミート物理学 Emergent non-Hermitian physics in generalized Lotka-Volterra model ( http://arxiv.org/abs/2207.04473v2 ) ライセンス: Link先を確認 | Tengzhou Zhang and Zi Cai | (参考訳) 本稿では,一般のロトカ・ボルテラ方程式によって記述された捕食者-捕食者の生態モデルから生じる非エルミート物理学について考察する。
位相空間において、この非線形方程式はカオス的および局所的力学の両方を示し、臨界点によって分離される。
これらの異なるダイナミクスは、線形化された運動方程式における有効ハミルトニアンの周期性と非エルミティキシーの間の相互作用に由来する。
さらに、代数的発散のような臨界点の力学は、非エルミート物理学の文脈において例外的な点として理解することができる。 In this paper, we study the non-Hermitian physics emerging from a predator-prey ecological model described by a generalized Lotka-Volterra equation. In the phase space, this nonlinear equation exhibits both chaotic and localized dynamics, which are separated by a critical point. These distinct dynamics originate from the interplay between the periodicity and non-Hermiticity of the effective Hamiltonian in the linearized equation of motion. Moreover, the dynamics at the critical point, such as algebraic divergence, can be understood as an exceptional point in the context of non-Hermitian physics. | 翻訳日:2023-09-07 20:17:05 公開日:2023-09-06 |
| # 量子ネットワークにおける会議鍵合意 Conference key agreement in a quantum network ( http://arxiv.org/abs/2207.01643v2 ) ライセンス: Link先を確認 | Alexander Pickston, Joseph Ho, Andr\'es Ulibarrena, Federico Grasselli, Massimiliano Proietti, Christopher L. Morrison, Peter Barrow, Francesco Graffitti and Alessandro Fedrizzi | (参考訳) 量子会議鍵契約(QCKA)により、複数のユーザが共有マルチパーティの絡み合った状態からセキュアなキーを確立することができる。
N-qubit Greenberger-Horne-Zeilinger(GHZ)状態の単一コピーを用いて、セキュアなN-user会議鍵ビットを消去する一方、N-1エンタングルメントペアは従来のペアワイズプロトコルで消費される。
我々は、GHZ状態またはQCKAに必要なベルペア数を、ネットワークルーティング技術を用いて取り除くことができるフォトニック6ユーザ量子ネットワークからなるテストベッドにおいて、GHZ状態がもたらす利点を実証する。
asymptotic limitでは,2つのプロトコルを比較することで,カンファレンスキーレートが2倍以上向上したことを報告する。
有限鍵効果を考慮した場合、GHZプロトコルのリソースアドバンテージが持続することを示すためにデータセットを外挿する。 Quantum conference key agreement (QCKA) allows multiple users to establish a secure key from a shared multi-partite entangled state. In a quantum network, this protocol can be efficiently implemented using a single copy of a N-qubit Greenberger-Horne-Zeilinger (GHZ) state to distil a secure N-user conference key bit, whereas up to N-1 entanglement pairs are consumed in the traditional pair-wise protocol. We demonstrate the advantage provided by GHZ states in a testbed consisting of a photonic six-user quantum network, where four users can distil either a GHZ state or the required number of Bell pairs for QCKA using network routing techniques. In the asymptotic limit, we report a more than two-fold enhancement of the conference key rate when comparing the two protocols. We extrapolate our data set to show that the resource advantage for the GHZ protocol persists when taking into account finite-key effects. | 翻訳日:2023-09-07 20:16:57 公開日:2023-09-06 |
| # エネルギーによるグラフの畳み込みの理解 Understanding convolution on graphs via energies ( http://arxiv.org/abs/2206.10991v5 ) ライセンス: Link先を確認 | Francesco Di Giovanni, James Rowbottom, Benjamin P. Chamberlain, Thomas Markovich, Michael M. Bronstein | (参考訳) グラフニューラルネットワーク(GNN)は一般的にメッセージパッシングによって動作し、隣人から受信した情報に基づいてノードの状態が更新される。
ほとんどのメッセージパッシングモデルはグラフ畳み込みとして機能し、エッジ上に伝播する前に共有線形変換によって特徴が混合される。
ノード分類タスクでは、グラフの畳み込みには2つの制限がある。
これらのモデルがローパスフィルタとして振る舞うため、両方の現象が生じるとよく信じられているため、特徴のディリクレエネルギーは層に沿って減少し、最終的に特徴が区別できないような滑らかな効果をもたらす。
本研究では,単純なグラフ畳み込みモデルが実際に高周波数を増大させ,過度にシャープ化されるという漸近的な振る舞いを生じさせることを厳密に証明する。
対称重みを持つ線形グラフ畳み込みは、ディリクレエネルギーを一般化する多粒子エネルギーを最小化することを示し、この設定では、重み行列は正の(負の)固有値を通じてエッジワイズアトラクション(反発)を誘導し、特徴が平滑化されているかシャープ化されているかを制御する。
また、解析を非線形GNNに拡張し、既存の時間連続GNNが常に低周波数で支配されていることを示す。
最後に,実世界実験とアブレーションにより理論的知見を検証した。 Graph Neural Networks (GNNs) typically operate by message-passing, where the state of a node is updated based on the information received from its neighbours. Most message-passing models act as graph convolutions, where features are mixed by a shared, linear transformation before being propagated over the edges. On node-classification tasks, graph convolutions have been shown to suffer from two limitations: poor performance on heterophilic graphs, and over-smoothing. It is common belief that both phenomena occur because such models behave as low-pass filters, meaning that the Dirichlet energy of the features decreases along the layers incurring a smoothing effect that ultimately makes features no longer distinguishable. In this work, we rigorously prove that simple graph-convolutional models can actually enhance high frequencies and even lead to an asymptotic behaviour we refer to as over-sharpening, opposite to over-smoothing. We do so by showing that linear graph convolutions with symmetric weights minimize a multi-particle energy that generalizes the Dirichlet energy; in this setting, the weight matrices induce edge-wise attraction (repulsion) through their positive (negative) eigenvalues, thereby controlling whether the features are being smoothed or sharpened. We also extend the analysis to non-linear GNNs, and demonstrate that some existing time-continuous GNNs are instead always dominated by the low frequencies. Finally, we validate our theoretical findings through ablations and real-world experiments. | 翻訳日:2023-09-07 20:16:38 公開日:2023-09-06 |
| # 非凸ペアワイズ融合に基づくクラスタ化フェデレーション学習 Clustered Federated Learning based on Nonconvex Pairwise Fusion ( http://arxiv.org/abs/2211.04218v2 ) ライセンス: Link先を確認 | Xue Yu, Ziyi Liu, Wu Wang and Yifan Sun | (参考訳) 本研究では、FLの定式化の1つであるクラスタ化フェデレーション学習(FL)について検討し、デバイスをクラスタに分割し、各クラスタがそのデータを局所化モデルに最適に適合させる。
パラメータのペア差に非凸ペナルティを組み込んだクラスタリングFLフレームワークを提案する。
このフレームワークは、クラスタの数とクラスタ内のデバイスセットを事前に知ることなく、クラスタ構造を自動的に識別することができる。
提案手法を実装するために,Fusion Penalized Federated Clustering (FPFC) と呼ばれる新しいFL法を提案する。
乗算器の標準交互方向法(ADMM)に基づいて、FPFCは並列に実装され、各通信ラウンドにおけるデバイスのサブセットのみを更新し、デバイス毎の可変負荷を可能にする。
これらの戦略は、プライバシーを確保しながら通信コストを大幅に削減し、flにとって実用的なものとなる。
また、FL設定におけるハイパーパラメータチューニングのための新しいウォームアップ戦略を提案し、FPFCの非同期変種(asyncFPFC)を探索する。
理論解析は、一般の非凸損失を持つFPFCの収束保証を提供し、二乗損失を持つ線形モデルの下で統計収束率を確立する。
大規模な実験は、ロバスト性や一般化能力を含む既存の手法よりもFPFCの利点を実証している。 This study investigates clustered federated learning (FL), one of the formulations of FL with non-i.i.d. data, where the devices are partitioned into clusters and each cluster optimally fits its data with a localized model. We propose a clustered FL framework that incorporates a nonconvex penalty to pairwise differences of parameters. This framework can automatically identify cluster structures without a priori knowledge of the number of clusters and the set of devices in each cluster. To implement the proposed framework, we introduce a novel clustered FL method called Fusion Penalized Federated Clustering (FPFC). Building upon the standard alternating direction method of multipliers (ADMM), FPFC is implemented in parallel, updates only a subset of devices at each communication round, and allows for variable workload per device. These strategies significantly reduce the communication cost while ensuring privacy, making it practical for FL. We also propose a new warmup strategy for hyperparameter tuning in FL settings and explore the asynchronous variant of FPFC (asyncFPFC). Theoretical analysis provides convergence guarantees for FPFC with general nonconvex losses and establishes the statistical convergence rate under a linear model with squared loss. Extensive experiments demonstrate the advantages of FPFC over existing methods, including robustness and generalization capability. | 翻訳日:2023-09-07 20:08:32 公開日:2023-09-06 |
| # 理論的に抽出されたワイヤーフレーム解析:教師付きから自己教師付き学習へ Holistically-Attracted Wireframe Parsing: From Supervised to Self-Supervised Learning ( http://arxiv.org/abs/2210.12971v2 ) ライセンス: Link先を確認 | Nan Xue, Tianfu Wu, Song Bai, Fu-Dong Wang, Gui-Song Xia, Liangpei Zhang, Philip H.S. Torr | (参考訳) 本稿では,線分と接合部で形成される線枠を含む2次元画像の幾何学的解析法である線枠解析(hawp)について述べる。
HAWPは、閉形式4D幾何ベクトル場を用いて線分を符号化するパシモニクス・ホロスティック・アトラクション(HAT)場表現を利用する。
The proposed HAWP consists of three sequential components empowered by end-to-end and HAT-driven designs: (1) generating a dense set of line segments from HAT fields and endpoint proposals from heatmaps, (2) binding the dense line segments to sparse endpoint proposals to produce initial wireframes, and (3) filtering false positive proposals through a novel endpoint-decoupled line-of-interest aligning (EPD LOIAlign) module that captures the co-occurrence between endpoint proposals and HAT fields for better verification.
我々の新しい設計のおかげで、HAWPv2は完全教師付き学習において強力なパフォーマンスを示し、HAWPv3は自己教師付き学習において優れた再現性スコアと効率的なトレーニング(単一のGPU上で24GPU時間)を達成する。
さらに、HAWPv3は、ワイヤーフレームの真理ラベルを提供することなく、配布外画像のワイヤフレーム解析の有望な可能性を示す。 This article presents Holistically-Attracted Wireframe Parsing (HAWP), a method for geometric analysis of 2D images containing wireframes formed by line segments and junctions. HAWP utilizes a parsimonious Holistic Attraction (HAT) field representation that encodes line segments using a closed-form 4D geometric vector field. The proposed HAWP consists of three sequential components empowered by end-to-end and HAT-driven designs: (1) generating a dense set of line segments from HAT fields and endpoint proposals from heatmaps, (2) binding the dense line segments to sparse endpoint proposals to produce initial wireframes, and (3) filtering false positive proposals through a novel endpoint-decoupled line-of-interest aligning (EPD LOIAlign) module that captures the co-occurrence between endpoint proposals and HAT fields for better verification. Thanks to our novel designs, HAWPv2 shows strong performance in fully supervised learning, while HAWPv3 excels in self-supervised learning, achieving superior repeatability scores and efficient training (24 GPU hours on a single GPU). Furthermore, HAWPv3 exhibits a promising potential for wireframe parsing in out-of-distribution images without providing ground truth labels of wireframes. | 翻訳日:2023-09-07 20:08:07 公開日:2023-09-06 |
| # 最適収束保証付き二階min-max最適化法 Explicit Second-Order Min-Max Optimization Methods with Optimal Convergence Guarantee ( http://arxiv.org/abs/2210.12860v3 ) ライセンス: Link先を確認 | Tianyi Lin, Panayotis Mertikopoulos and Michael I. Jordan | (参考訳) 我々は,非制約のmin-max最適化問題の大域的サドル点を求めるために,正確なニュートン型正規化手法を提案し,解析する。
1次法と比較して,2次情報による収束率のグローバル化はより深く関与するため,min-max最適化のための2次法の理解は比較的限られている。
本稿では,不正確な場合であっても,2次情報を用いて段階外手法を高速化する方法を検討する。
具体的には、提案アルゴリズムが有界集合内に留まる反復を生成し、平均的な反復は制限ギャップ関数の項で$O(\epsilon^{-2/3})$イテレーション内に$\epsilon$-saddle点に収束することを示す。
我々のアルゴリズムはこの文脈で理論的に確立された下限に一致し、解析は有界性を必要としない二階法に対して単純で直感的な収束解析を提供する。
最後に,提案アルゴリズムの効率性を実証する,合成および実データに関する一連の数値実験を示す。 We propose and analyze exact and inexact regularized Newton-type methods for finding a global saddle point of \emph{convex-concave} unconstrained min-max optimization problems. Compared to first-order methods, our understanding of second-order methods for min-max optimization is relatively limited, as obtaining global rates of convergence with second-order information is much more involved. In this paper, we examine how second-order information can be used to speed up extra-gradient methods, even under inexactness. Specifically, we show that the proposed algorithms generate iterates that remain within a bounded set and the averaged iterates converge to an $\epsilon$-saddle point within $O(\epsilon^{-2/3})$ iterations in terms of a restricted gap function. Our algorithms match the theoretically established lower bound in this context and our analysis provides a simple and intuitive convergence analysis for second-order methods without any boundedness requirements. Finally, we present a series of numerical experiments on synthetic and real data that demonstrate the efficiency of the proposed algorithms. | 翻訳日:2023-09-07 20:07:45 公開日:2023-09-06 |
| # 量子ゲージネットワーク:新しい種類のテンソルネットワーク Quantum Gauge Networks: A New Kind of Tensor Network ( http://arxiv.org/abs/2210.12151v4 ) ライセンス: Link先を確認 | Kevin Slagle | (参考訳) テンソルネットワークは低次元量子物理学をシミュレートするための強力なツールであるが、テンソルネットワークアルゴリズムは高い空間次元において非常に計算コストが高い。
量子ゲージネットワーク(quantum gauge network)は、シミュレーションの計算コストがより大きな空間次元に対して明示的に増加しないテンソルネットワークアンサッツの一種である。
量子力学のゲージ図から着想を得た。量子力学は空間の各パッチの局所波動関数で構成され、隣接するパッチはユニタリ接続によって関連付けられる。
量子ゲージネットワーク(qgn)は、局所波動関数のヒルベルト空間次元と接続が切断される以外、同様の構造を持つ。
一般化波動関数あるいは行列積状態(MPS)からQGNを得る方法について述べる。
多くの作用素に対する任意の波動関数の2k$-point相関関数はすべて、結合次元 $o(m^k)$ の qgn によって正確に符号化できる。
対照的に、わずか$k=1$の場合、指数的に大きい2^{M/6}$の結合次元は、一般に量子ビットのMPSに対して必要である。
任意の空間次元における量子力学の近似シミュレーションのための簡単なQGNアルゴリズムを提供する。
近似力学は時間に依存しないハミルトニアンの正確なエネルギー保存を達成でき、空間対称性も正確に維持できる。
フェルミオンハミルトニアンの量子クエンチを最大3次元の空間次元でシミュレートしてアルゴリズムをベンチマークする。 Although tensor networks are powerful tools for simulating low-dimensional quantum physics, tensor network algorithms are very computationally costly in higher spatial dimensions. We introduce quantum gauge networks: a different kind of tensor network ansatz for which the computation cost of simulations does not explicitly increase for larger spatial dimensions. We take inspiration from the gauge picture of quantum dynamics, which consists of a local wavefunction for each patch of space, with neighboring patches related by unitary connections. A quantum gauge network (QGN) has a similar structure, except the Hilbert space dimensions of the local wavefunctions and connections are truncated. We describe how a QGN can be obtained from a generic wavefunction or matrix product state (MPS). All $2k$-point correlation functions of any wavefunction for $M$ many operators can be encoded exactly by a QGN with bond dimension $O(M^k)$. In comparison, for just $k=1$, an exponentially larger bond dimension of $2^{M/6}$ is generically required for an MPS of qubits. We provide a simple QGN algorithm for approximate simulations of quantum dynamics in any spatial dimension. The approximate dynamics can achieve exact energy conservation for time-independent Hamiltonians, and spatial symmetries can also be maintained exactly. We benchmark the algorithm by simulating the quantum quench of fermionic Hamiltonians in up to three spatial dimensions. | 翻訳日:2023-09-07 20:07:23 公開日:2023-09-06 |
| # 暗号通貨取引ペアの最適設定 Optimal Settings for Cryptocurrency Trading Pairs ( http://arxiv.org/abs/2210.10971v2 ) ライセンス: Link先を確認 | Di Zhang, Qiang Niu, Youzhou Zhou | (参考訳) 暗号通貨の目標は分散化である。
原則として、全ての通貨は等しい状態にある。
伝統的な株式市場とは異なり、デフォルト通貨(fiat)は存在せず、取引ペアは自由に設定できる。
しかし、2通貨ごとに取引市場を設置するのは現実的ではない。
経営コストを抑え、十分な流動性を確保するためには、これらの大量取引ペアをカバーし、すべての硬貨が到達可能であることを優先しなければならない。
これは最適化の問題である。
その特異性は次の通りである。
1) ほとんど(>99.5%)の取引ペア間の取引量は直接観察できない。
2)接続制約、すなわち、全ての通貨が取引可能であることを保証します。
この問題を解決するために、2段階のプロセスを使います。
1) 正規化された非正規化固有値分解(regularized eigenvalue decomposition)に基づいて不足値を埋める。
2) 最適取引ペアの探索は, 分枝および束縛過程に基づき, ヒューリスティック探索および刈り取り戦略を用いて行う。
実験の結果は以下の通りである。
1) 発行枚数に制限がない場合は,より分散的な取引ペアの設定が得られ,大規模な通貨ペア間の取引ペアの確立を提唱する。
2)すべての交換において最適化の余地がある。
不適切な取引ペアの設定は、主に小さなコインを引用するように主観的に設定したり、時間内に現れる大きなコインを追跡しなかったりすることで引き起こされる。
3)トレーディングペアが少なすぎるとカバレッジが低下し、トレーディングペアが頻繁に市場に調整される必要がある。
取引所は適切なバランスをとるべきである。 The goal of cryptocurrencies is decentralization. In principle, all currencies have equal status. Unlike traditional stock markets, there is no default currency of denomination (fiat), thus the trading pairs can be set freely. However, it is impractical to set up a trading market between every two currencies. In order to control management costs and ensure sufficient liquidity, we must give priority to covering those large-volume trading pairs and ensure that all coins are reachable. We note that this is an optimization problem. Its particularity lies in: 1) the trading volume between most (>99.5%) possible trading pairs cannot be directly observed. 2) It satisfies the connectivity constraint, that is, all currencies are guaranteed to be tradable. To solve this problem, we use a two-stage process: 1) Fill in missing values based on a regularized, truncated eigenvalue decomposition, where the regularization term is used to control what extent missing values should be limited to zero. 2) Search for the optimal trading pairs, based on a branch and bound process, with heuristic search and pruning strategies. The experimental results show that: 1) If the number of denominated coins is not limited, we will get a more decentralized trading pair settings, which advocates the establishment of trading pairs directly between large currency pairs. 2) There is a certain room for optimization in all exchanges. The setting of inappropriate trading pairs is mainly caused by subjectively setting small coins to quote, or failing to track emerging big coins in time. 3) Too few trading pairs will lead to low coverage; too many trading pairs will need to be adjusted with markets frequently. Exchanges should consider striking an appropriate balance between them. | 翻訳日:2023-09-07 20:07:01 公開日:2023-09-06 |
| # サンプル効率のよいパーソナライゼーション: ユーザパラメータを低ランク+スパースコンポーネントとしてモデル化する Sample-Efficient Personalization: Modeling User Parameters as Low Rank Plus Sparse Components ( http://arxiv.org/abs/2210.03505v3 ) ライセンス: Link先を確認 | Soumyabrata Pal, Prateek Varshney, Prateek Jain, Abhradeep Guha Thakurta, Gagan Madan, Gaurav Aggarwal, Pradeep Shenoy and Gaurav Srivastava | (参考訳) ユーザ/ドメイン/企業毎の機械学習(ml)予測のパーソナライズは,実用的なレコメンデーションシステムにとって重要である。
標準的なパーソナライズアプローチでは、制限可能な固定されたグローバルモデルに入力されるユーザ/ドメイン固有の埋め込みを学習する。
一方、ユーザ/ドメイン毎のパーソナライズ/ファインチューニングモデル(メタラーニング)は、ストレージ/インフラストラクチャ構造コストが高い。
さらに、スケーラブルなパーソナライゼーションアプローチに関する厳密な理論的研究は非常に限られている。
そこで本稿では,ネットワークの重みを低ランク成分とスパース成分の和としてモデル化するメタラーニング手法を提案する。
これは、複数の個人/ユーザの共通情報を低ランクな部分でキャプチャし、スパース部はユーザ固有の慣用句をキャプチャする。
次に, 線形設定におけるフレームワークについて検討し, 問題は, 少数の線形測定値を用いてランク-$r$ と $k$-カラム-スパース行列の和を推定する問題に還元する。
そこで本研究では,逐次ハードしきい値-amht-lrs-を用いた計算効率の高い交互最小化法を提案する。
理論的には、実現可能なガウス的データ設定に対して、AMHT-LRSがほぼ最適なサンプル複雑性で効率よく問題を解くことを示す。
最後に、パーソナライズにおける重要な課題は、各ユーザの機密データのプライバシを確保することだ。
我々は,強い一般化保証をも備えた微分プライベートな手法を提案することにより,この問題を緩和する。 Personalization of machine learning (ML) predictions for individual users/domains/enterprises is critical for practical recommendation systems. Standard personalization approaches involve learning a user/domain specific embedding that is fed into a fixed global model which can be limiting. On the other hand, personalizing/fine-tuning model itself for each user/domain -- a.k.a meta-learning -- has high storage/infrastructure cost. Moreover, rigorous theoretical studies of scalable personalization approaches have been very limited. To address the above issues, we propose a novel meta-learning style approach that models network weights as a sum of low-rank and sparse components. This captures common information from multiple individuals/users together in the low-rank part while sparse part captures user-specific idiosyncrasies. We then study the framework in the linear setting, where the problem reduces to that of estimating the sum of a rank-$r$ and a $k$-column sparse matrix using a small number of linear measurements. We propose a computationally efficient alternating minimization method with iterative hard thresholding -- AMHT-LRS -- to learn the low-rank and sparse part. Theoretically, for the realizable Gaussian data setting, we show that AMHT-LRS solves the problem efficiently with nearly optimal sample complexity. Finally, a significant challenge in personalization is ensuring privacy of each user's sensitive data. We alleviate this problem by proposing a differentially private variant of our method that also is equipped with strong generalization guarantees. | 翻訳日:2023-09-07 20:06:35 公開日:2023-09-06 |
| # unrolling と bilevel optimization を用いた変分モデルの学習 Learning Variational Models with Unrolling and Bilevel Optimization ( http://arxiv.org/abs/2209.12651v5 ) ライセンス: Link先を確認 | Christoph Brauer, Niklas Breustedt, Timo de Wolff, Dirk A. Lorenz | (参考訳) 本稿では,リスク最小化による教師付き学習の文脈における変動モデルの学習の問題を考える。
我々のゴールは、バイレベル最適化とアルゴリズムのアンロールによる変分モデルの学習の2つのアプローチをより深く理解することである。
前者は、変動モデルがリスク最小化問題より低いレベルの最適化問題であると考え、後者は、その問題をおよそ解くアルゴリズムによって下位レベルの最適化問題を置き換える。
どちらのアプローチも実際は使用されるが、アンローリングは計算の観点からはるかに単純である。
2つのアプローチを解析・比較するために,簡単な玩具モデルを検討し,リスクと各推定器を明示的に計算する。
アンローリングは二段階最適化手法よりも優れているが、アンローリングの性能はさらなるパラメータに大きく依存し、時には予期せぬ方法でも良いことが示される: アンローリングアルゴリズムのステップサイズは、非常に重要な問題である(そして、ステップサイズを学ぶことは大きな改善をもたらす)が、アンローリングされたイテレーションの数は、マイナーな役割を担っている。 In this paper we consider the problem of learning variational models in the context of supervised learning via risk minimization. Our goal is to provide a deeper understanding of the two approaches of learning of variational models via bilevel optimization and via algorithm unrolling. The former considers the variational model as a lower level optimization problem below the risk minimization problem, while the latter replaces the lower level optimization problem by an algorithm that solves said problem approximately. Both approaches are used in practice, but unrolling is much simpler from a computational point of view. To analyze and compare the two approaches, we consider a simple toy model, and compute all risks and the respective estimators explicitly. We show that unrolling can be better than the bilevel optimization approach, but also that the performance of unrolling can depend significantly on further parameters, sometimes in unexpected ways: While the stepsize of the unrolled algorithm matters a lot (and learning the stepsize gives a significant improvement), the number of unrolled iterations plays a minor role. | 翻訳日:2023-09-07 20:06:12 公開日:2023-09-06 |
| # jsdp: javaの確率動的プログラミングライブラリ jsdp: a Java Stochastic Dynamic Programming Library ( http://arxiv.org/abs/2209.09979v2 ) ライセンス: Link先を確認 | Roberto Rossi | (参考訳) 確率的プログラミングは不確実性の下で意思決定の問題をモデル化し解決するためのフレームワークである。
確率動的プログラミング(Stochastic Dynamic Programming)は、最適ポリシーの発見に「関数型方程式」アプローチを採用する確率的プログラミングの一分野である。
MapReduceフレームワークを運用するためにJavaで実装されたコンストラクト(ラムダ式、関数インターフェイス、コレクション、集約演算子)を活用することで、jsdpは確率動的プログラムのモデリングと解決のための汎用ライブラリを提供する。 Stochastic Programming is a framework for modelling and solving problems of decision making under uncertainty. Stochastic Dynamic Programming is a branch of Stochastic Programming that takes a "functional equation" approach to the discovery of optimal policies. By leveraging constructs - lambda expressions, functional interfaces, collections and aggregate operators - implemented in Java to operationalise the MapReduce framework, jsdp provides a general purpose library for modelling and solving Stochastic Dynamic Programs. | 翻訳日:2023-09-07 20:05:54 公開日:2023-09-06 |
| # 時間制約によるDeep Metric Learning Deep Metric Learning with Chance Constraints ( http://arxiv.org/abs/2209.09060v3 ) ライセンス: Link先を確認 | Yeti Z. Gurbuz, Ogul Can and A. Aydin Alatan | (参考訳) deep metric learning (dml) は、埋め込み空間におけるペア内/クラス間近接違反の経験的損失を最小化することを目的としている。
有限確率制約の実現可能性問題とDMLを関連付ける。
本稿では,プロキシベースdmlの最小化が一定の確率制約を満たすこと,また,プロキシベースのメソッドの最悪の場合の一般化性能は,対応するクラスサンプルのドメイン全体をカバーするクラスプロキシ周辺の最小ボール半径によって特徴付けられること,クラスごとの複数のプロキシがパフォーマンスに寄与することを示す。
プロキシベースのdmlインスタンスの最小化による確率制約を考慮し、dmlをそのような制約の交叉において実現可能な点の探索として再構成し、反復射影によって大まかに解決すべき問題を解決できるスケーラブルなアルゴリズムを提供する。
単純に、正規化されたプロキシベースの損失をトレーニングし、意図的に選択された新しいサンプルの埋め込みでプロキシを再初期化する。
提案手法を4つのよく受け入れられたDMLの損失に適用し,4つのDMLベンチマークに対して広範囲な評価を行った。
コードは、https://github.com/yetigurbuz/ccp-dmlで入手できる。 Deep metric learning (DML) aims to minimize empirical expected loss of the pairwise intra-/inter- class proximity violations in the embedding space. We relate DML to feasibility problem of finite chance constraints. We show that minimizer of proxy-based DML satisfies certain chance constraints, and that the worst case generalization performance of the proxy-based methods can be characterized by the radius of the smallest ball around a class proxy to cover the entire domain of the corresponding class samples, suggesting multiple proxies per class helps performance. To provide a scalable algorithm as well as exploiting more proxies, we consider the chance constraints implied by the minimizers of proxy-based DML instances and reformulate DML as finding a feasible point in intersection of such constraints, resulting in a problem to be approximately solved by iterative projections. Simply put, we repeatedly train a regularized proxy-based loss and re-initialize the proxies with the embeddings of the deliberately selected new samples. We applied our method with 4 well-accepted DML losses and show the effectiveness with extensive evaluations on 4 popular DML benchmarks. Code is available at: https://github.com/yetigurbuz/ccp-dml | 翻訳日:2023-09-07 20:05:44 公開日:2023-09-06 |
| # スクイーズ光を用いた浮上光学におけるリコイル加熱抑制 Suppressing Recoil Heating in Levitated Optomechanics using Squeezed Light ( http://arxiv.org/abs/2209.05858v2 ) ライセンス: Link先を確認 | C. Gonzalez-Ballestero and J. A. Zieli\'nska and M. Rossi and A. Militaru and M. Frimmer and L. Novotny and P. Maurer and O. Romero-Isart | (参考訳) 自由空間浮遊光力学におけるレーザー再コイル加熱は、光学的に閉じ込められたナノ粒子に励起光を照射することにより任意に抑制できることを示す。
スクイーズの存在は、散乱した光が与えられた機械的自由度を伝達する情報量を制御できる方法で、量子電磁力学の光-物質相互作用を修飾する。
さらに,測定精度とバックアクションノイズのトレードオフを分析し,標準量子限界を超える光検出が可能であることを示す。
現状の圧縮光源では, 1つのガウスモードを適切な入射方向でスクイーズすることで, レーザー再コイル加熱を少なくとも60%, 適切なモード整合モードで98%削減することができると予測した。
我々の結果は、運動と振動の自由度の両方において有効であり、フィードバック冷却スキームの改善と、量子構造における光学浮揚ナノ粒子のコヒーレンス時間の増加に繋がる。 We theoretically show that laser recoil heating in free-space levitated optomechanics can be arbitrarily suppressed by shining squeezed light onto an optically trapped nanoparticle. The presence of squeezing modifies the quantum electrodynamical light-matter interaction in a way that enables us to control the amount of information that the scattered light carries about a given mechanical degree of freedom. Moreover, we analyze the trade-off between measurement imprecision and back-action noise and show that optical detection beyond the standard quantum limit can be achieved. We predict that, with state-of-the-art squeezed light sources, laser recoil heating can be reduced by at least 60% by squeezing a single Gaussian mode with an appropriate incidence direction, and by 98% by squeezing a properly mode-matched mode. Our results, which are valid both for motional and librational degrees of freedom, will lead to improved feedback cooling schemes as well as boost the coherence time of optically levitated nanoparticles in the quantum regime. | 翻訳日:2023-09-07 20:05:20 公開日:2023-09-06 |
| # ニューラルスパイク復号のためのトポロジ的深層学習フレームワーク A Topological Deep Learning Framework for Neural Spike Decoding ( http://arxiv.org/abs/2212.05037v2 ) ライセンス: Link先を確認 | Edward C. Mitchell, Brittany Story, David Boothe, Piotr J. Franaszczuk, Vasileios Maroulas | (参考訳) 脳の空間配向システムは、異なるニューロンアンサンブルを使用して環境ベースのナビゲーションを支援する。
脳が空間情報をエンコードする方法の2つは、方向細胞と格子細胞である。
脳は方向を決定するために頭方向細胞を使用し、グリッド細胞は環境ベースのナビゲーションを提供するためにオーバーレイされたニューロンの層で構成される。
これらのニューロンはアンサンブルで発火し、複数のニューロンが同時に発火して単一の方向または格子を活性化する。
この発射構造を捉えて、頭方向のグリッドセルデータをデコードしたいのです。
これらのニューラルネットワーク構造を理解し、表現し、デコードするには、従来のグラフベースのモデルが提供する1次元接続よりも高階接続を含むモデルが必要である。
そこで本研究では,ニューラルネットワークのスパイクトレイン復号のためのトポロジカルディープラーニングフレームワークを開発した。
我々のフレームワークは、教師なしのsimplicial complex discoveryと、simplicial convolutional recurrent neural networkと呼ばれる新しいアーキテクチャによるディープラーニングのパワーを組み合わせる。
単純複体、頂点や辺だけでなく高次元のオブジェクトも使う位相空間は、自然にグラフを一般化し、ただの対関係以上のものを取り込む。
さらに、このアプローチはスパイクカウント以外の神経活動に関する事前の知識を必要としないため、類似度測定の必要性がなくなる。
簡易畳み込みニューラルネットワークの有効性と汎用性は,ヘッド方向とグリッドセルデータセットによる軌道予測により実証された。 The brain's spatial orientation system uses different neuron ensembles to aid in environment-based navigation. Two of the ways brains encode spatial information is through head direction cells and grid cells. Brains use head direction cells to determine orientation whereas grid cells consist of layers of decked neurons that overlay to provide environment-based navigation. These neurons fire in ensembles where several neurons fire at once to activate a single head direction or grid. We want to capture this firing structure and use it to decode head direction grid cell data. Understanding, representing, and decoding these neural structures requires models that encompass higher order connectivity, more than the 1-dimensional connectivity that traditional graph-based models provide. To that end, in this work, we develop a topological deep learning framework for neural spike train decoding. Our framework combines unsupervised simplicial complex discovery with the power of deep learning via a new architecture we develop herein called a simplicial convolutional recurrent neural network. Simplicial complexes, topological spaces that use not only vertices and edges but also higher-dimensional objects, naturally generalize graphs and capture more than just pairwise relationships. Additionally, this approach does not require prior knowledge of the neural activity beyond spike counts, which removes the need for similarity measurements. The effectiveness and versatility of the simplicial convolutional neural network is demonstrated on head direction and trajectory prediction via head direction and grid cell datasets. | 翻訳日:2023-09-07 19:58:51 公開日:2023-09-06 |
| # 逆負のサンプルを持つグラフ畳み込みニューラルネットワークの分解決定点過程 Graph Convolutional Neural Networks with Diverse Negative Samples via Decomposed Determinant Point Processes ( http://arxiv.org/abs/2212.02055v3 ) ライセンス: Link先を確認 | Wei Duan, Junyu Xuan, Maoying Qiao, Jie Lu | (参考訳) グラフ畳み込みネットワーク(GCN)は,ノードとそのトポロジから高レベル特徴を抽出することにより,グラフ表現学習において大きな成功を収めている。
GCNは一般的にメッセージパッシング機構に従うため、各ノードはその表現を更新するためにその1階目の隣人からの情報を集約する。
結果として、エッジを持つノードの表現は正の相関関係を持つべきであり、したがって正のサンプルと見なすことができる。
しかし、グラフ全体の非隣接ノードはより多く存在し、表現更新に多様で有用な情報を提供する。
2つの非隣接ノードは通常異なる表現を持ち、負のサンプルと見なすことができる。
ノード表現以外にも、グラフの構造情報は学習にも不可欠である。
本稿では,DPP(Determinant point process)における品質多様性分解を用いて,様々な負のサンプルを得た。
非隣接ノードの様々な部分集合上の分布を定義する際、グラフ構造情報とノード表現の両方を組み込む。
DPPサンプリングは行列固有値分解を必要とするため,計算効率を向上させるための最短パスベース法を提案する。
最後に,得られた負のサンプルをグラフ畳み込み演算に組み込む。
これらのアイデアは、ノード分類タスクの実験で実証的に評価される。
これらの実験により, 提案手法は, 標準表現学習の全体的な性能を向上させるだけでなく, 過小評価問題を大幅に軽減することを示した。 Graph convolutional networks (GCNs) have achieved great success in graph representation learning by extracting high-level features from nodes and their topology. Since GCNs generally follow a message-passing mechanism, each node aggregates information from its first-order neighbour to update its representation. As a result, the representations of nodes with edges between them should be positively correlated and thus can be considered positive samples. However, there are more non-neighbour nodes in the whole graph, which provide diverse and useful information for the representation update. Two non-adjacent nodes usually have different representations, which can be seen as negative samples. Besides the node representations, the structural information of the graph is also crucial for learning. In this paper, we used quality-diversity decomposition in determinant point processes (DPP) to obtain diverse negative samples. When defining a distribution on diverse subsets of all non-neighbouring nodes, we incorporate both graph structure information and node representations. Since the DPP sampling process requires matrix eigenvalue decomposition, we propose a new shortest-path-base method to improve computational efficiency. Finally, we incorporate the obtained negative samples into the graph convolution operation. The ideas are evaluated empirically in experiments on node classification tasks. These experiments show that the newly proposed methods not only improve the overall performance of standard representation learning but also significantly alleviate over-smoothing problems. | 翻訳日:2023-09-07 19:58:29 公開日:2023-09-06 |
| # GANを用いた半教師付き学習による不均衡データセットのフェイク検出 Fake detection in imbalance dataset by Semi-supervised learning with GAN ( http://arxiv.org/abs/2212.01071v2 ) ライセンス: Link先を確認 | Jinus Bordbar, Saman Ardalan, Mohammadreza Mohammadrezaie, Mohammad Ebrahim Shiri | (参考訳) ソーシャルメディアが急速に成長するにつれ、ハラスメントが広まり、研究者の間では偽の発見が魅力的な分野と見なされる。
多数のノードを持つデータのグラフ性は、データセットの分散度や不均衡クラスとして行列にかなりの量の無関係な特徴を含む、さまざまな障害を引き起こした。
これらの問題に対処するために、自動エンコーダと半教師付き学習とSGANと呼ばれるGANアルゴリズムを組み合わせた。
本稿では,より少ないラベルを配置し,SGANを分類器として適用する。
その結果,100個のラベル付きサンプルを用いた偽アカウント検出では,精度が91\%に達していた。 As social media grows faster, harassment becomes more prevalent which leads to considered fake detection a fascinating field among researchers. The graph nature of data with the large number of nodes caused different obstacles including a considerable amount of unrelated features in matrices as high dispersion and imbalance classes in the dataset. To deal with these issues Auto-encoders and a combination of semi-supervised learning and the GAN algorithm which is called SGAN were used. This paper is deploying a smaller number of labels and applying SGAN as a classifier. The result of this test showed that the accuracy had reached 91\% in detecting fake accounts using only 100 labeled samples. | 翻訳日:2023-09-07 19:58:08 公開日:2023-09-06 |
| # オートエンコーダによるQubit Readoutの強化 Enhancing Qubit Readout with Autoencoders ( http://arxiv.org/abs/2212.00080v2 ) ライセンス: Link先を確認 | Piero Luchi, Paolo E. Trevisanutto, Alessandro Roggero, Jonathan L. DuBois, Yaniv J. Rosen, Francesco Turro, Valentina Amitrano, Francesco Pederiva | (参考訳) 安定かつ正確に制御可能な量子ビットの必要性に加えて、量子コンピュータは優れた読み出し方式を利用する。
超伝導量子状態は分散結合共振器を介して伝送される読み出し信号から推定できる。
本研究では, オートエンコーダ方式で事前学習したニューラルネットワークに基づいて, 超伝導量子ビットの読み出し分類手法を提案する。
データセットから関連する特徴を抽出するために、量子ビット読み出し信号をオートエンコーダとして事前学習する。
その後、事前訓練されたネットワーク内層値を用いて、教師付き方式で入力の分類を行う。
本手法は, 従来手法よりも低い性能を示す短時間および長時間の計測において, 分類性能を向上できることを実証する。 In addition to the need for stable and precisely controllable qubits, quantum computers take advantage of good readout schemes. Superconducting qubit states can be inferred from the readout signal transmitted through a dispersively coupled resonator. This work proposes a novel readout classification method for superconducting qubits based on a neural network pre-trained with an autoencoder approach. A neural network is pre-trained with qubit readout signals as autoencoders in order to extract relevant features from the data set. Afterwards, the pre-trained network inner layer values are used to perform a classification of the inputs in a supervised manner. We demonstrate that this method can enhance classification performance, particularly for short and long time measurements where more traditional methods present lower performance. | 翻訳日:2023-09-07 19:57:31 公開日:2023-09-06 |
| # h3wb:human3.6mの3dデータセットとベンチマーク H3WB: Human3.6M 3D WholeBody Dataset and Benchmark ( http://arxiv.org/abs/2211.15692v2 ) ライセンス: Link先を確認 | Yue Zhu, Nermin Samet, David Picard | (参考訳) 本稿では、顔、手、体、足など、人体全体の正確な3dキーポイントを識別する3d人体全体のポーズ推定のためのベンチマークを提案する。
現在、完全に注釈付きで正確な3Dボディデータセットがないため、深層ネットワークは推論時に組み合わせられた特定の身体部位で個別に訓練される。
あるいは、検出ベースの方法ほど正確ではないパラメトリックなボディモデルによって提供される疑似接地を頼りにしている。
これらの問題を克服するために、COCO Wholebodyレイアウトを使用して、Human3.6Mデータセットに全身アノテーションを提供するHuman3.6M 3D WholeBody(H3WB)データセットを紹介した。
H3WBは100K画像上の133の全身キーポイントアノテーションで構成されており、新しいマルチビューパイプラインで可能になっている。
3つのタスクも提案します
一 2次元完全全身ポーズから持ち上げる3次元全身ポーズ
二 2次元不完全な全身ポーズから持ち上げる3次元全身ポーズ、及び
三 単一のRGB画像から全身の3次元ポーズ推定
さらに,これらの課題に対する一般的な手法のベースラインをいくつか報告する。
さらに,トータルキャプチャの3次元アノテーションも自動で提供し,h3wbでの使用がパフォーマンスの向上に役立つことを実験的に示す。
コードとデータセットはhttps://github.com/wholebody3d/wholebody3dで入手できる。 We present a benchmark for 3D human whole-body pose estimation, which involves identifying accurate 3D keypoints on the entire human body, including face, hands, body, and feet. Currently, the lack of a fully annotated and accurate 3D whole-body dataset results in deep networks being trained separately on specific body parts, which are combined during inference. Or they rely on pseudo-groundtruth provided by parametric body models which are not as accurate as detection based methods. To overcome these issues, we introduce the Human3.6M 3D WholeBody (H3WB) dataset, which provides whole-body annotations for the Human3.6M dataset using the COCO Wholebody layout. H3WB comprises 133 whole-body keypoint annotations on 100K images, made possible by our new multi-view pipeline. We also propose three tasks: i) 3D whole-body pose lifting from 2D complete whole-body pose, ii) 3D whole-body pose lifting from 2D incomplete whole-body pose, and iii) 3D whole-body pose estimation from a single RGB image. Additionally, we report several baselines from popular methods for these tasks. Furthermore, we also provide automated 3D whole-body annotations of TotalCapture and experimentally show that when used with H3WB it helps to improve the performance. Code and dataset is available at https://github.com/wholebody3d/wholebody3d | 翻訳日:2023-09-07 19:57:21 公開日:2023-09-06 |
| # 多体系の最適有効理論のための量子アルゴリズム Quantum algorithms for optimal effective theory of many-body systems ( http://arxiv.org/abs/2211.14854v2 ) ライセンス: Link先を確認 | Yongdan Yang, Zongkang Zhang, Xiaosi Xu, Bing-Nan Lu, Ying Li | (参考訳) 量子多体物理学における一般的な状況は、基礎となる理論は知られているが、効率的に解くには複雑すぎることである。
そのような場合、通常、より単純な有効理論を低エネルギーあるいは大規模な代替理論として構築する。
ここで、中心的なタスクは最適な有効理論を見つけ、元の理論と等価性を証明している。
近年、量子コンピューティングはその本質的並列性を利用して量子多体システムを解く可能性を示した。
したがって、効果的な理論の出現を議論し、量子コンピューティングの結果に基づいてそれらを発見するための効率的なツールを設計することは興味深い話題である。
本稿では,この方向への第一歩として,量子力学を応用して量子多体系の最適実効理論を求める2つのアプローチを提案する。
第1のアルゴリズムは量子位相推定と振幅増幅により実効ハミルトニアンの空間を探索する。
第2のアルゴリズムは、近未来のアプリケーションに期待できる変分アプローチに基づいている。 A common situation in quantum many-body physics is that the underlying theories are known but too complicated to solve efficiently. In such cases one usually builds simpler effective theories as low-energy or large-scale alternatives to the original theories. Here the central tasks are finding the optimal effective theories and proving their equivalence to the original theories. Recently quantum computing has shown the potential of solving quantum many-body systems by exploiting its inherent parallelism. It is thus an interesting topic to discuss the emergence of effective theories and design efficient tools for finding them based on the results from quantum computing. As the first step towards this direction, in this paper, we propose two approaches that apply quantum computing to find the optimal effective theory of a quantum many-body system given its full Hamiltonian. The first algorithm searches the space of effective Hamiltonians by quantum phase estimation and amplitude amplification. The second algorithm is based on a variational approach that is promising for near-future applications. | 翻訳日:2023-09-07 19:57:00 公開日:2023-09-06 |
| # CPPF++: 投票集約による不確かさを意識したSim2Real Object Poseの推定 CPPF++: Uncertainty-Aware Sim2Real Object Pose Estimation by Vote Aggregation ( http://arxiv.org/abs/2211.13398v2 ) ライセンス: Link先を確認 | Yang You, Wenhao He, Jin Liu, Hongkai Xiong, Weiming Wang, Cewu Lu | (参考訳) オブジェクトのポーズ推定は、3次元視覚領域内の重要な領域を構成する。
実世界のポーズアノテーションを利用する現代的最先端の手法は、賞賛できる性能を示しているが、そのような実世界のトレーニングデータの調達は相当なコストをもたらす。
本稿では,3次元CADモデルのみを事前知識として利用し,背景情報や乱雑な情報を含まない,特定の環境に着目する。
我々は,シミュレートからリアルなポーズ推定のための新しいCPPF++を提案する。
この方法はCPPFの基本点対投票方式に基づいており、確率レンズで再認識する。
本研究では,各点対の確率分布を正準空間内で推定することにより,投票の不確実性をモデル化する。
このアプローチは、バックグラウンドやクラッターに関連する投票を根絶するために使用される反復的ノイズフィルタリングによってさらに強化される。
さらに、n$-pointタプルを導入することで、各投票ユニットが提供するコンテキストを強化する。
提案手法と合わせて,新たなカテゴリレベルのポーズ推定データセットであるDiversePose 300を提案する。
このデータセットは、現在の最先端のメソッドをより厳格に評価し、より広く、より困難な現実のシナリオを包含するように設計されている。
実験の結果,提案手法の有効性を実証し,シミュレーションと実世界の性能の相違を著しく低減した。 Object pose estimation constitutes a critical area within the domain of 3D vision. While contemporary state-of-the-art methods that leverage real-world pose annotations have demonstrated commendable performance, the procurement of such real-world training data incurs substantial costs. This paper focuses on a specific setting wherein only 3D CAD models are utilized as a priori knowledge, devoid of any background or clutter information. We introduce a novel method, CPPF++, designed for sim-to-real pose estimation. This method builds upon the foundational point-pair voting scheme of CPPF, reconceptualizing it through a probabilistic lens. To address the challenge of voting collision, we model voting uncertainty by estimating the probabilistic distribution of each point pair within the canonical space. This approach is further augmented by iterative noise filtering, employed to eradicate votes associated with backgrounds or clutters. Additionally, we enhance the context provided by each voting unit by introducing $N$-point tuples. In conjunction with this methodological contribution, we present a new category-level pose estimation dataset, DiversePose 300. This dataset is specifically crafted to facilitate a more rigorous evaluation of current state-of-the-art methods, encompassing a broader and more challenging array of real-world scenarios. Empirical results substantiate the efficacy of our proposed method, revealing a significant reduction in the disparity between simulation and real-world performance. | 翻訳日:2023-09-07 19:56:48 公開日:2023-09-06 |
| # 学習オプティカルフローとワーピングによる将来のインスタンスセグメンテーション予測 Forecasting Future Instance Segmentation with Learned Optical Flow and Warping ( http://arxiv.org/abs/2211.08049v2 ) ライセンス: Link先を確認 | Andrea Ciamarra, Federico Becattini, Lorenzo Seidenari, Alberto Del Bimbo | (参考訳) 自律走行車の場合、シーンの現在進行中のダイナミクスを観察し、その結果、将来的なシナリオを予測して、自分自身や他人の安全を確保することが不可欠である。
これは異なるセンサーとモダリティを使って行うことができる。
本稿では,将来のセマンティックセグメンテーションを予測するための光フローの利用について検討する。
そこで我々は,流れ場を自己回帰的に予測するモデルを提案する。
このような予測は、インスタンスセグメンテーションを将来のフレームに移動する学習されたワーピング関数の推論を導くために使われる。
cityscapesデータセットの結果は、光フロー法の有効性を示している。 For an autonomous vehicle it is essential to observe the ongoing dynamics of a scene and consequently predict imminent future scenarios to ensure safety to itself and others. This can be done using different sensors and modalities. In this paper we investigate the usage of optical flow for predicting future semantic segmentations. To do so we propose a model that forecasts flow fields autoregressively. Such predictions are then used to guide the inference of a learned warping function that moves instance segmentations on to future frames. Results on the Cityscapes dataset demonstrate the effectiveness of optical-flow methods. | 翻訳日:2023-09-07 19:56:27 公開日:2023-09-06 |
| # 連合環境におけるプライバシを意識した因果構造学習に向けて Towards Privacy-Aware Causal Structure Learning in Federated Setting ( http://arxiv.org/abs/2211.06919v2 ) ライセンス: Link先を確認 | Jianli Huang, Xianjie Guo, Kui Yu, Fuyuan Cao and Jiye Liang | (参考訳) 因果構造学習は機械学習や様々な用途で広く研究され、広く利用されている。
理想的な性能を達成するために、既存の因果構造学習アルゴリズムは、複数のデータソースから大量のデータを集中化する必要がある。
しかし、プライバシ保護設定では、すべてのソースからデータを集中化し、単一のデータセットとしてまとめることは不可能である。
データプライバシを維持するため、新しい学習パラダイムとしてのフェデレーション学習は、近年、マシンラーニングにおいて大きな注目を集めている。
本稿では,フェデレーション設定におけるプライバシを意識した因果構造学習問題について検討し,データの集中化を伴わないデータプライバシ保存のための2つの新しい手法であるfederated pc (fedpc) アルゴリズムを提案する。
具体的には,まず,フェデレーテッドスケルトン学習のためのフェデレーテッド学習パラダイムにpcアルゴリズムをシームレスに適応させるための新しい階層的アグリゲーション戦略を提案し,フェデレーテッドエッジオリエンテーションのための一貫した分離セットを学習するための効果的な戦略を設計する。
この実験により,FedPCは連合学習環境における因果構造学習に有効であることが検証された。 Causal structure learning has been extensively studied and widely used in machine learning and various applications. To achieve an ideal performance, existing causal structure learning algorithms often need to centralize a large amount of data from multiple data sources. However, in the privacy-preserving setting, it is impossible to centralize data from all sources and put them together as a single dataset. To preserve data privacy, federated learning as a new learning paradigm has attracted much attention in machine learning in recent years. In this paper, we study a privacy-aware causal structure learning problem in the federated setting and propose a novel Federated PC (FedPC) algorithm with two new strategies for preserving data privacy without centralizing data. Specifically, we first propose a novel layer-wise aggregation strategy for a seamless adaptation of the PC algorithm into the federated learning paradigm for federated skeleton learning, then we design an effective strategy for learning consistent separation sets for federated edge orientation. The extensive experiments validate that FedPC is effective for causal structure learning in a federated learning setting. | 翻訳日:2023-09-07 19:56:17 公開日:2023-09-06 |
| # NNKGC:Node Neighborhoodsによる知識グラフ補完の改善 NNKGC: Improving Knowledge Graph Completion with Node Neighborhoods ( http://arxiv.org/abs/2302.06132v2 ) ライセンス: Link先を確認 | Irene Li and Boming Yang | (参考訳) 知識グラフ補完(KGC)は、クエリエンティティの欠落した関係を見つけることを目的としている。
現在のテキストベースのモデルは、エンティティ名と記述を使用して、ヘッダエンティティと特定の関係が与えられたテールエンティティを推論する。
既存のアプローチでは、ヘッドエンティティの近傍も考慮している。
しかしながら、これらの手法は平坦な構造を用いて近隣をモデル化する傾向があり、1ホップの隣人に限られる。
本稿では,知識グラフ補完のためのノード近傍拡張フレームワークを提案する。
ニューラルネットワークを用いて複数のホップからヘッドエンティティ近傍をモデル化し、ヘッドノード情報を豊かにする。
さらに,kgcを改善するために追加のエッジリンク予測タスクを導入する。
2つの公開データセットの評価は、このフレームワークが単純かつ効果的であることを示している。
ケーススタディでは、モデルが説明可能な予測を予測できることも示されている。 Knowledge graph completion (KGC) aims to discover missing relations of query entities. Current text-based models utilize the entity name and description to infer the tail entity given the head entity and a certain relation. Existing approaches also consider the neighborhood of the head entity. However, these methods tend to model the neighborhood using a flat structure and are only restricted to 1-hop neighbors. In this work, we propose a node neighborhood-enhanced framework for knowledge graph completion. It models the head entity neighborhood from multiple hops using graph neural networks to enrich the head node information. Moreover, we introduce an additional edge link prediction task to improve KGC. Evaluation on two public datasets shows that this framework is simple yet effective. The case study also shows that the model is able to predict explainable predictions. | 翻訳日:2023-09-07 19:48:11 公開日:2023-09-06 |
| # 熱機械結合系と異種領域に対する物理不定形ニューラルネットワークの混合定式化 Mixed formulation of physics-informed neural networks for thermo-mechanically coupled systems and heterogeneous domains ( http://arxiv.org/abs/2302.04954v2 ) ライセンス: Link先を確認 | Ali Harandi, Ahmad Moeineddin, Michael Kaliske, Stefanie Reese, Shahed Rezaei | (参考訳) 物理インフォームドニューラルネットワーク(PINN)は、ニューラルネットワークの損失関数を支配方程式、境界条件、初期条件に基づいて定義することで境界値問題を解決する新しいツールである。
近年の研究では、多くの工学的問題に対して損失関数を設計する場合、一階微分を使い、強形式と弱形式の両方の方程式を組み合わせることで、特に領域に異質性と可変ジャンプがある場合において、より精度が向上することが示されている。
この新しいアプローチは、混合有限要素法からアイデアを取り入れた、PINNの混合定式化と呼ばれる。
この方法では、PDEは、第一の未知が解のフラックスまたは勾配であり、第二の未知が解自身である方程式の体系として再構成される。
本研究では,混合定式化を多物理問題,特に定常熱力学的結合方程式系に応用することを提案する。
さらに,逐次訓練と完全結合型非教師付きトレーニングの両方について検討し,その精度と計算コストを比較した。
ネットワークの精度を向上させるために,境界制約を組み込んで有効な予測を行う。
次に、異なるオプティマイザとアーキテクチャが精度と効率に与える影響について調査する。
最後に,転送学習に類似したパラメトリック学習のための単純なアプローチを提案する。
このアプローチはデータと物理を組み合わせることで、計算コストに関するPINNの限界に対処し、予期せぬケースに対するシステムの応答を予測するネットワークの能力を改善する。
この研究の結果は、高速で信頼性の高い計算のための複数の結合方程式系にディープラーニングを適用できる他の多くの工学的応用に有用である。 Physics-informed neural networks (PINNs) are a new tool for solving boundary value problems by defining loss functions of neural networks based on governing equations, boundary conditions, and initial conditions. Recent investigations have shown that when designing loss functions for many engineering problems, using first-order derivatives and combining equations from both strong and weak forms can lead to much better accuracy, especially when there are heterogeneity and variable jumps in the domain. This new approach is called the mixed formulation for PINNs, which takes ideas from the mixed finite element method. In this method, the PDE is reformulated as a system of equations where the primary unknowns are the fluxes or gradients of the solution, and the secondary unknowns are the solution itself. In this work, we propose applying the mixed formulation to solve multi-physical problems, specifically a stationary thermo-mechanically coupled system of equations. Additionally, we discuss both sequential and fully coupled unsupervised training and compare their accuracy and computational cost. To improve the accuracy of the network, we incorporate hard boundary constraints to ensure valid predictions. We then investigate how different optimizers and architectures affect accuracy and efficiency. Finally, we introduce a simple approach for parametric learning that is similar to transfer learning. This approach combines data and physics to address the limitations of PINNs regarding computational cost and improves the network's ability to predict the response of the system for unseen cases. The outcomes of this work will be useful for many other engineering applications where deep learning is employed on multiple coupled systems of equations for fast and reliable computations. | 翻訳日:2023-09-07 19:48:01 公開日:2023-09-06 |
| # UAVに基づくセマンティックマッピングにおける能動学習のためのインフォームティブパス計画フレームワーク An Informative Path Planning Framework for Active Learning in UAV-based Semantic Mapping ( http://arxiv.org/abs/2302.03347v3 ) ライセンス: Link先を確認 | Julius R\"uckin, Federico Magistri, Cyrill Stachniss, Marija Popovi\'c | (参考訳) 無人航空機(UAV)は、航空地図や一般的な監視作業に頻繁に使用される。
近年のディープラーニングの進歩により、画像の自動セマンティックセグメンテーションが実現され、大規模な複雑な環境の解釈が容易になった。
一般に、セグメンテーションのための教師付きディープラーニングは、大量のピクセル単位でラベル付けされたデータに依存している。
ドメイン固有の航空環境の外観は、しばしば公開データセットで事前訓練されたモデルの使用を妨げる。
そこで,本稿では,uavsがモデル再学習のための情報的訓練画像を自律的に取得するための,新しい汎用的計画フレームワークを提案する。
複数の取得関数を活用し、確率的地形マップに融合する。
我々のフレームワークは、地図化された取得関数情報をUAVの計画目標に組み込む。
このようにして、UAVは、モデル再訓練のために手動でラベル付けされる情報的空中画像を取得する。
実世界のデータとフォトリアリスティックシミュレーションによる実験結果から,本フレームワークはモデル性能を最大化し,ラベリング労力を劇的に削減することが示された。
地図ベースのプランナーは、最先端の地域計画より優れています。 Unmanned aerial vehicles (UAVs) are frequently used for aerial mapping and general monitoring tasks. Recent progress in deep learning enabled automated semantic segmentation of imagery to facilitate the interpretation of large-scale complex environments. Commonly used supervised deep learning for segmentation relies on large amounts of pixel-wise labelled data, which is tedious and costly to annotate. The domain-specific visual appearance of aerial environments often prevents the usage of models pre-trained on publicly available datasets. To address this, we propose a novel general planning framework for UAVs to autonomously acquire informative training images for model re-training. We leverage multiple acquisition functions and fuse them into probabilistic terrain maps. Our framework combines the mapped acquisition function information into the UAV's planning objectives. In this way, the UAV adaptively acquires informative aerial images to be manually labelled for model re-training. Experimental results on real-world data and in a photorealistic simulation show that our framework maximises model performance and drastically reduces labelling efforts. Our map-based planners outperform state-of-the-art local planning. | 翻訳日:2023-09-07 19:47:33 公開日:2023-09-06 |
| # LUT-NN: セントロイド学習とテーブルルックアップによる効率的なニューラルネットワーク推論 LUT-NN: Empower Efficient Neural Network Inference with Centroid Learning and Table Lookup ( http://arxiv.org/abs/2302.03213v2 ) ライセンス: Link先を確認 | Xiaohu Tang, Yang Wang, Ting Cao, Li Lyna Zhang, Qi Chen, Deng Cai, Yunxin Liu, Mao Yang | (参考訳) オンデバイスディープニューラルネットワーク(DNN)推論は、重要なコンピューティングリソースと開発努力を消費する。
そこで本研究では,テーブルルックアップによる推論を支援する最初のシステムであるLUT-NNを提案する。
LUT-NNは、Centroidという名前のオペレータの典型的な機能を学び、これらのCentroidの結果を事前計算してルックアップテーブルに保存する。
推論中、入力と最も近いセントロイドの結果は、計算なしで近似出力としてテーブルから直接読み取ることができる。
LUT-NNは,(1)バックプロパゲーションによる微分可能なセントロイド学習,(2)並列性の異なるレベルを包括的に考慮したテーブルルックアップ推論の実行,メモリアクセスの削減,および専用ハードウェアユニットを最適性能のために3段階の近似に適応させる。
LUT-NNは、画像と音声認識、自然言語処理など、複数の実タスクで評価される。
関連する研究と比較すると、LUT-NNは精度を66%から92%改善し、オリジナルのモデルと同等のレベルに達した。
lut-nnは、フロップス (\leq$ 16x)、モデルサイズ (\leq$ 7x)、レイテンシ (\leq$ 6.8x)、メモリ (\leq$ 6.5x)、パワー (\leq$ 41.7%) を含む、あらゆる次元のコストを削減している。 On-device Deep Neural Network (DNN) inference consumes significant computing resources and development efforts. To alleviate that, we propose LUT-NN, the first system to empower inference by table lookup, to reduce inference cost. LUT-NN learns the typical features for each operator, named centroid, and precompute the results for these centroids to save in lookup tables. During inference, the results of the closest centroids with the inputs can be read directly from the table, as the approximated outputs without computations. LUT-NN integrates two major novel techniques: (1) differentiable centroid learning through backpropagation, which adapts three levels of approximation to minimize the accuracy impact by centroids; (2) table lookup inference execution, which comprehensively considers different levels of parallelism, memory access reduction, and dedicated hardware units for optimal performance. LUT-NN is evaluated on multiple real tasks, covering image and speech recognition, and nature language processing. Compared to related work, LUT-NN improves accuracy by 66% to 92%, achieving similar level with the original models. LUT-NN reduces the cost at all dimensions, including FLOPs ($\leq$ 16x), model size ($\leq$ 7x), latency ($\leq$ 6.8x), memory ($\leq$ 6.5x), and power ($\leq$ 41.7%). | 翻訳日:2023-09-07 19:47:17 公開日:2023-09-06 |
| # オンライン強化学習による対話環境における大規模言語モデルの構築 Grounding Large Language Models in Interactive Environments with Online Reinforcement Learning ( http://arxiv.org/abs/2302.02662v3 ) ライセンス: Link先を確認 | Thomas Carta, Cl\'ement Romac, Thomas Wolf, Sylvain Lamprier, Olivier Sigaud, Pierre-Yves Oudeyer | (参考訳) 最近の研究は、大言語モデル(llm)の能力を利用して、世界の物理学に関する抽象的な知識を捉え、意思決定問題を解決することに成功した。
しかし、LLMの知識と環境との整合性は誤りであり、基盤の欠如により機能的能力を制限する。
本稿では,LLMを用いたエージェントを,エージェントが環境と対話する際に段階的に更新されるポリシーとして検討し,オンライン強化学習を活用して,目標を達成するための性能向上を図る。
高レベルな機能的接地と空間的およびナビゲーション的タスクのセットを研究するために設計されたインタラクティブなテキスト環境を用いて、いくつかの科学的疑問を考察する。
1)LLMは様々なRLタスクのオンライン学習のサンプル効率を高めることができるか?
2) 一般化の異なる形態をどのように促進するか。
3) オンライン学習の影響はどのようなものか?
FLAN-T5 のいくつかの変種 (サイズ, 構造) を機能的基盤として検討する。 Recent works successfully leveraged Large Language Models' (LLM) abilities to capture abstract knowledge about world's physics to solve decision-making problems. Yet, the alignment between LLMs' knowledge and the environment can be wrong and limit functional competence due to lack of grounding. In this paper, we study an approach (named GLAM) to achieve this alignment through functional grounding: we consider an agent using an LLM as a policy that is progressively updated as the agent interacts with the environment, leveraging online Reinforcement Learning to improve its performance to solve goals. Using an interactive textual environment designed to study higher-level forms of functional grounding, and a set of spatial and navigation tasks, we study several scientific questions: 1) Can LLMs boost sample efficiency for online learning of various RL tasks? 2) How can it boost different forms of generalization? 3) What is the impact of online learning? We study these questions by functionally grounding several variants (size, architecture) of FLAN-T5. | 翻訳日:2023-09-07 19:46:44 公開日:2023-09-06 |
| # SAN: 分別正規化線形層によるGANの誘電性誘導 SAN: Inducing Metrizability of GAN with Discriminative Normalized Linear Layer ( http://arxiv.org/abs/2301.12811v3 ) ライセンス: Link先を確認 | Yuhta Takida, Masaaki Imaizumi, Takashi Shibuya, Chieh-Hsin Lai, Toshimitsu Uesaka, Naoki Murata, Yuki Mitsufuji | (参考訳) generative adversarial networks(gans)は、ミニマックス目的のジェネレータと判別器を最適化することにより、ターゲット確率分布を学習する。
本稿では,そのような最適化が,その分布を目標分布に近づける勾配を生成器に実際に与えるかどうかという問題に対処する。
我々は、GAN定式化とスライスされた最適輸送の概念を結合することにより、判別器が分布間の距離として機能する十分な条件を導出する。
さらに,これらの理論結果を活用して,slicing adversarial network (san) と呼ばれる新しいganトレーニング手法を提案する。
単純な修正だけで、既存のGANの幅広いクラスをSANに変換することができる。
合成および画像データセットの実験は、通常のGANと比較して、我々の理論結果とSANの有効性を支持する。
さらに、SANをStyleGAN-XLに適用し、ImageNet 256$\times$256のクラス条件生成のために、GAN間で最先端のFIDスコアを得る。 Generative adversarial networks (GANs) learn a target probability distribution by optimizing a generator and a discriminator with minimax objectives. This paper addresses the question of whether such optimization actually provides the generator with gradients that make its distribution close to the target distribution. We derive metrizable conditions, sufficient conditions for the discriminator to serve as the distance between the distributions by connecting the GAN formulation with the concept of sliced optimal transport. Furthermore, by leveraging these theoretical results, we propose a novel GAN training scheme, called slicing adversarial network (SAN). With only simple modifications, a broad class of existing GANs can be converted to SANs. Experiments on synthetic and image datasets support our theoretical results and the SAN's effectiveness as compared to usual GANs. Furthermore, we also apply SAN to StyleGAN-XL, which leads to state-of-the-art FID score amongst GANs for class conditional generation on ImageNet 256$\times$256. | 翻訳日:2023-09-07 19:46:28 公開日:2023-09-06 |
| # 自己教師付き学習と動的計算の相乗効果 Unifying Synergies between Self-supervised Learning and Dynamic Computation ( http://arxiv.org/abs/2301.09164v2 ) ライセンス: Link先を確認 | Tarun Krishna, Ayush K Rai, Alexandru Drimbarean, Eric Arazo, Paul Albert, Alan F Smeaton, Kevin McGuinness, Noel E O'Connor | (参考訳) 計算コストの高いトレーニング戦略は、リソース制約のある産業環境において自己教師付き学習(SSL)を非現実化する。
知識蒸留(kd)、動的計算(dc)、プルーニング(pruning)といった技術は、通常、大きな事前訓練されたモデルの微調整(または蒸留ステップ)の複数のエポックを含む軽量モデルを得るためにしばしば用いられる。
本稿ではSSLとDCのパラダイム間の相互作用に関する新しい視点を示す。
特に,細かな調整や刈り取りのステップを加えることなく,ssl設定で,密集したゲート付きサブネットワークをスクラッチから同時に学習することが可能であることを示す。
高密度エンコーダとゲートエンコーダの事前トレーニング中の共進化は、精度と効率のよいトレードオフを提供するため、アプリケーション固有の産業環境では汎用的で多目的なアーキテクチャとなる。
CIFAR-10/100, STL-10, ImageNet-100などの画像分類ベンチマークの大規模な実験により、提案したトレーニング戦略は、ベニラの自己監督設定に比べて高密度かつ対応するゲートサブネットワークを提供するが、FLOPの計算量は、目標予算(td)の範囲で大幅に減少することを示した。 Computationally expensive training strategies make self-supervised learning (SSL) impractical for resource constrained industrial settings. Techniques like knowledge distillation (KD), dynamic computation (DC), and pruning are often used to obtain a lightweightmodel, which usually involves multiple epochs of fine-tuning (or distilling steps) of a large pre-trained model, making it more computationally challenging. In this work we present a novel perspective on the interplay between SSL and DC paradigms. In particular, we show that it is feasible to simultaneously learn a dense and gated sub-network from scratch in a SSL setting without any additional fine-tuning or pruning steps. The co-evolution during pre-training of both dense and gated encoder offers a good accuracy-efficiency trade-off and therefore yields a generic and multi-purpose architecture for application specific industrial settings. Extensive experiments on several image classification benchmarks including CIFAR-10/100, STL-10 and ImageNet-100, demonstrate that the proposed training strategy provides a dense and corresponding gated sub-network that achieves on-par performance compared with the vanilla self-supervised setting, but at a significant reduction in computation in terms of FLOPs, under a range of target budgets (td ). | 翻訳日:2023-09-07 19:46:12 公開日:2023-09-06 |
| # 双分割有界絡みの7つの定義 Seven definitions of bipartite bound entanglement ( http://arxiv.org/abs/2212.11015v2 ) ライセンス: Link先を確認 | Michael Gaida and Matthias Kleinmann | (参考訳) 絡み合い状態は、局所的な操作と古典的な通信のみを使用することで、任意の数の状態のコピーを最大絡み合い状態に結合できない場合、絡み合い状態は束縛される。
もしこの有界絡み合いの概念を形式化すれば、すぐに4つの異なる定義に到達する。
さらに、少なくとも3つの定義が文献、特に有界絡みに関する最初の論文で一般的に使われている。
ここでは, 臨界蒸留プロトコルを概説し, 量子情報理論の異なる結果がどのように相互作用し, 最終的に7つの定義が等価であることを示す。
我々の自己完結分析は、文献に散在する先行結果を統一し、拡張し、有界絡みの構造の詳細を明らかにする。 An entangled state is bound entangled, if one cannot combine any number of copies of the state to a maximally entangled state, by using only local operations and classical communication. If one formalizes this notion of bound entanglement, one arrives immediately at four different definitions. In addition, at least three more definitions are commonly used in the literature, in particular so in the very first paper on bound entanglement. Here we review critical distillation protocols and we examine how different results from quantum information theory interact in order to prove that all seven definitions are eventually equivalent. Our self-contained analysis unifies and extends previous results scattered in the literature and reveals details of the structure of bound entanglement. | 翻訳日:2023-09-07 19:45:20 公開日:2023-09-06 |
| # Mind the Edge: わずかに監督された単眼深度推定における深度エッジの精製 Mind The Edge: Refining Depth Edges in Sparsely-Supervised Monocular Depth Estimation ( http://arxiv.org/abs/2212.05315v2 ) ライセンス: Link先を確認 | Lior Talker, Aviad Cohen, Erez Yosef, Alexandra Dana, Michael Dinerstein | (参考訳) 単眼深度推定(MDE)はコンピュータビジョンの基本的な問題であり、多くの応用がある。
近年,LIDARを教師する手法は,屋外シーンにおける画素毎の深度精度が著しく向上している。
しかし、主に深度不連続性(deep discontinuities)、すなわち深度エッジ(deep edges)の近傍で顕著なエラーが見られ、これはしばしば、新しいビュー合成や拡張現実のような不正確性に敏感な深度依存アプリケーションの性能を妨げる。
深度エッジの位置の直接監視は、通常、粗いLIDARベースのシーンでは利用できないため、MDEモデルに正確な深度エッジを作成するよう促すことは簡単ではない。
我々の知る限り、この論文はLIDAR監督シーンの奥行き問題に対処する最初の試みである。
本研究は,高度に教師付きされた合成データから深度エッジの位置を学習し,それを用いて深度エッジの監視を行うことを提案する。
また,合成データと実データとの「ドメインギャップ」は,mdeトレーニングから間接的に発生するものよりも,直接的に推定される深さエッジの方が有意に精度が高いことが示された。
我々のアプローチを定量的に評価するため,LIDARに基づくシーンでは深度エッジ基底真理が欠如しているため,KITTIとDDADデータセットのサブセットを手動で注釈付けした。
いくつかの挑戦的なデータセットに対して,画素毎の深度精度と同等の深度エッジの精度が著しく向上したことを示す。 Monocular Depth Estimation (MDE) is a fundamental problem in computer vision with numerous applications. Recently, LIDAR-supervised methods have achieved remarkable per-pixel depth accuracy in outdoor scenes. However, significant errors are typically found in the proximity of depth discontinuities, i.e., depth edges, which often hinder the performance of depth-dependent applications that are sensitive to such inaccuracies, e.g., novel view synthesis and augmented reality. Since direct supervision for the location of depth edges is typically unavailable in sparse LIDAR-based scenes, encouraging the MDE model to produce correct depth edges is not straightforward. To the best of our knowledge this paper is the first attempt to address the depth edges issue for LIDAR-supervised scenes. In this work we propose to learn to detect the location of depth edges from densely-supervised synthetic data, and use it to generate supervision for the depth edges in the MDE training. %Despite the 'domain gap' between synthetic and real data, we show that depth edges that are estimated directly are significantly more accurate than the ones that emerge indirectly from the MDE training. To quantitatively evaluate our approach, and due to the lack of depth edges ground truth in LIDAR-based scenes, we manually annotated subsets of the KITTI and the DDAD datasets with depth edges ground truth. We demonstrate significant gains in the accuracy of the depth edges with comparable per-pixel depth accuracy on several challenging datasets. | 翻訳日:2023-09-07 19:45:06 公開日:2023-09-06 |
| # 大規模機械学習モデルのための証明可能な量子アルゴリズムを目指して Towards provably efficient quantum algorithms for large-scale machine-learning models ( http://arxiv.org/abs/2303.03428v3 ) ライセンス: Link先を確認 | Junyu Liu, Minzhao Liu, Jin-Peng Liu, Ziyu Ye, Yuri Alexeev, Jens Eisert, Liang Jiang | (参考訳) 大規模な機械学習モデルは人工知能の革命的な技術であり、そのボトルネックには、事前学習と微調整の両方で使用される膨大な計算コスト、パワー、時間が含まれる。
この研究では、フォールトトレラントな量子コンピューティングは、モデルのサイズが$n$であり、モデルが十分に散逸的でスパースであり、学習率が低い限り、モデルの反復数である$\mathcal{o}(t^2 \times \text{polylog}(n))$としてスケールし、一般的な(確率的な)勾配降下アルゴリズムに対して、確実に効率的な解決を提供する可能性があることを示します。
散逸微分方程式に対するより効率的な量子アルゴリズムに基づいて、類似のアルゴリズムが機械学習の主要なアルゴリズムである(確率的な)勾配降下のために機能することを発見し、証明する。
実際には、700万から1億300万のパラメータを持つ大規模機械学習モデルのインスタンスをベンチマークします。
スパーストレーニングの文脈では、モデルプルーニング後の学習の初期段階で量子拡張が可能であり、スパースパラメータのダウンロードと再アップロードのスキームを動機付けている。
我々の研究は、フォールトトレラントな量子アルゴリズムが、最先端の大規模機械学習問題の多くに寄与する可能性を確証している。 Large machine learning models are revolutionary technologies of artificial intelligence whose bottlenecks include huge computational expenses, power, and time used both in the pre-training and fine-tuning process. In this work, we show that fault-tolerant quantum computing could possibly provide provably efficient resolutions for generic (stochastic) gradient descent algorithms, scaling as $\mathcal{O}(T^2 \times \text{polylog}(n))$, where $n$ is the size of the models and $T$ is the number of iterations in the training, as long as the models are both sufficiently dissipative and sparse, with small learning rates. Based on earlier efficient quantum algorithms for dissipative differential equations, we find and prove that similar algorithms work for (stochastic) gradient descent, the primary algorithm for machine learning. In practice, we benchmark instances of large machine learning models from 7 million to 103 million parameters. We find that, in the context of sparse training, a quantum enhancement is possible at the early stage of learning after model pruning, motivating a sparse parameter download and re-upload scheme. Our work shows solidly that fault-tolerant quantum algorithms could potentially contribute to most state-of-the-art, large-scale machine-learning problems. | 翻訳日:2023-09-07 19:39:42 公開日:2023-09-06 |
| # 量子ビットアレイにおけるフラックスクロストークの学習による校正 Learning-based Calibration of Flux Crosstalk in Transmon Qubit Arrays ( http://arxiv.org/abs/2303.03347v3 ) ライセンス: Link先を確認 | Cora N. Barrett, Amir H. Karamlou, Sarah E. Muschinske, Ilan T. Rosen, Jochen Braum\"uller, Rabindra Das, David K. Kim, Bethany M. Niedzielski, Meghan Schuldt, Kyle Serniak, Mollie E. Schwartz, Jonilyn L. Yoder, Terry P. Orlando, Simon Gustavsson, Jeffrey A. Grover, William D. Oliver | (参考訳) 磁束可変データとカプラ量子ビットからなる超伝導量子プロセッサは、量子計算に有望なプラットフォームである。
しかし、磁束制御線と構成量子ビット間の磁束クロストークは、量子ビット周波数の精密制御を阻害し、このプラットフォームをスケールさせることが困難である。
高忠実度デジタルおよびアナログ量子演算を実装するには、フラックスクロストークを特徴付ける必要がある。
本稿では,学習に基づくキャリブレーションプロトコルを導入し,16個のフラックス可変トランスモンキュービットの配列をキャリブレーションすることにより,その実験性能を示す。
提案プロトコルの拡張性を示すため,トランスモン量子ビットのより大きな配列に対するクロストーク行列学習手順をシミュレートした。
中央値の量子ビット周波数誤差を300ドル未満に保ちながら,システムサイズの線形スケーリングを実証的に観察した。 Superconducting quantum processors comprising flux-tunable data and coupler qubits are a promising platform for quantum computation. However, magnetic flux crosstalk between the flux-control lines and the constituent qubits impedes precision control of qubit frequencies, presenting a challenge to scaling this platform. In order to implement high-fidelity digital and analog quantum operations, one must characterize the flux crosstalk and compensate for it. In this work, we introduce a learning-based calibration protocol and demonstrate its experimental performance by calibrating an array of 16 flux-tunable transmon qubits. To demonstrate the extensibility of our protocol, we simulate the crosstalk matrix learning procedure for larger arrays of transmon qubits. We observe an empirically linear scaling with system size, while maintaining a median qubit frequency error below $300$ kHz. | 翻訳日:2023-09-07 19:39:14 公開日:2023-09-06 |
| # 時空効率の低い量子状態と応用 Spacetime-Efficient Low-Depth Quantum State Preparation with Applications ( http://arxiv.org/abs/2303.02131v2 ) ライセンス: Link先を確認 | Kaiwen Gui, Alexander M. Dalzell, Alessandro Achille, Martin Suchara, Frederic T. Chong | (参考訳) 任意の量子状態を生成するための新しい決定論的手法を提案する。
我々のプロトコルがCNOTおよび任意の単一キュービットゲートにコンパイルされると、深さ$O(\log(N))$と時空割り当て(アンシラ量子ビットが回路全体に対してアクティブでなくてもよいという事実を考慮に入れたメトリクス)$O(N)$が作成され、どちらも最適である。
$\{\mathrm{H,S,T,CNOT}\}$ gate set にコンパイルされると、従来の方法よりも漸近的に少ない量子資源が必要であることを示す。
具体的には、エラー$\epsilon$ in depth $O(\log(N/\epsilon))$と時空割当$O(N\log(\log(N)/\epsilon))$を作成し、$O(\log(N)\log(N/\epsilon))$と$O(N\log(N/\epsilon))$をそれぞれ改善する。
我々は、このプロトコルの時空割り当てを減らして、定数要素のアンシラオーバーヘッドしか持たない多くの解離状態の迅速な準備を可能にする方法について説明する。$O(N)$ ancilla qubitsは、$O(w + \log(N))$ではなく$O(w)$$$$$$の積状態を作成するために、$O(w\log(N))$で効率的に再利用される。
量子機械学習,ハミルトニアンシミュレーション,方程式の線形系の解法など,この能力が役立ついくつかの応用について紹介する。
プロトコルの量子回路記述、詳細な擬似コード、およびbraketを用いたゲートレベルの実装例を提供する。 We propose a novel deterministic method for preparing arbitrary quantum states. When our protocol is compiled into CNOT and arbitrary single-qubit gates, it prepares an $N$-dimensional state in depth $O(\log(N))$ and spacetime allocation (a metric that accounts for the fact that oftentimes some ancilla qubits need not be active for the entire circuit) $O(N)$, which are both optimal. When compiled into the $\{\mathrm{H,S,T,CNOT}\}$ gate set, we show that it requires asymptotically fewer quantum resources than previous methods. Specifically, it prepares an arbitrary state up to error $\epsilon$ in depth $O(\log(N/\epsilon))$ and spacetime allocation $O(N\log(\log(N)/\epsilon))$, improving over $O(\log(N)\log(N/\epsilon))$ and $O(N\log(N/\epsilon))$, respectively. We illustrate how the reduced spacetime allocation of our protocol enables rapid preparation of many disjoint states with only constant-factor ancilla overhead -- $O(N)$ ancilla qubits are reused efficiently to prepare a product state of $w$ $N$-dimensional states in depth $O(w + \log(N))$ rather than $O(w\log(N))$, achieving effectively constant depth per state. We highlight several applications where this ability would be useful, including quantum machine learning, Hamiltonian simulation, and solving linear systems of equations. We provide quantum circuit descriptions of our protocol, detailed pseudocode, and gate-level implementation examples using Braket. | 翻訳日:2023-09-07 19:38:57 公開日:2023-09-06 |
| # イメージラベルは、海草の粗いセグメンテーションに必要なすべてです Image Labels Are All You Need for Coarse Seagrass Segmentation ( http://arxiv.org/abs/2303.00973v2 ) ライセンス: Link先を確認 | Scarlett Raine, Ross Marchant, Brano Kusy, Frederic Maire and Tobias Fischer | (参考訳) 海草の牧草地は重要な炭素シンクとして機能するが、貯蔵する炭素量の推定には海草種の知識が必要である。
機械学習アルゴリズムを備えた水中および表面の車両は、大規模な草原の組成と範囲を正確に推定するのに役立ちます。
しかし、過去の海草の検出と分類にはパッチレベルのラベルの監督が必要であった。
本稿では,訓練中に画像レベルラベル(パッチレベルラベルより25倍少ないラベル)とパッチレベルアウトプットが推定時に得られる弱教師付き粗いセグメンテーション問題としてシーグラス分類を再構成する。
この目的のために,教師なしのコントラストプレトレーニングと特徴類似性を用いたアーキテクチャであるseafeatsと,ドメイン固有アプリケーションにおける監視信号としての大規模言語モデルの有効性を示すモデルであるseaclipを紹介する。
SeaFeatsとSeaCLIPのアンサンブルは、非常に堅牢なパフォーマンスをもたらすことを実証する。
本手法は,複数種'DeepSeagrass'データセットのパッチレベルラベルをクラス重み付きF1スコアで6.8%(絶対値),海草の有無/欠落F1スコアで12.1%(絶対値)で比較した。
また,グローバルウェットランズデータセットのアウトラヤ検出と,FloatyBoat自動表面積車両で収集した画像への本手法の適用という,実世界の展開に関する2つのケーススタディも提示する。 Seagrass meadows serve as critical carbon sinks, but estimating the amount of carbon they store requires knowledge of the seagrass species present. Underwater and surface vehicles equipped with machine learning algorithms can help to accurately estimate the composition and extent of seagrass meadows at scale. However, previous approaches for seagrass detection and classification have required supervision from patch-level labels. In this paper, we reframe seagrass classification as a weakly supervised coarse segmentation problem where image-level labels are used during training (25 times fewer labels compared to patch-level labeling) and patch-level outputs are obtained at inference time. To this end, we introduce SeaFeats, an architecture that uses unsupervised contrastive pre-training and feature similarity, and SeaCLIP, a model that showcases the effectiveness of large language models as a supervisory signal in domain-specific applications. We demonstrate that an ensemble of SeaFeats and SeaCLIP leads to highly robust performance. Our method outperforms previous approaches that require patch-level labels on the multi-species 'DeepSeagrass' dataset by 6.8% (absolute) for the class-weighted F1 score, and by 12.1% (absolute) for the seagrass presence/absence F1 score on the 'Global Wetlands' dataset. We also present two case studies for real-world deployment: outlier detection on the Global Wetlands dataset, and application of our method on imagery collected by the FloatyBoat autonomous surface vehicle. | 翻訳日:2023-09-07 19:38:17 公開日:2023-09-06 |
| # 量子コンピュータ上での熱状態作成によるイジングモデルの臨界挙動 Critical behavior of Ising model by preparing thermal state on quantum computer ( http://arxiv.org/abs/2302.14279v2 ) ライセンス: Link先を確認 | Xiaoyang Wang and Xu Feng and Tobias Hartung and Karl Jansen and Paolo Stornati | (参考訳) 量子コンピューティング技術を用いて作製した熱状態を利用して,イジングモデルの臨界挙動をシミュレートする。
熱状態の生成は、変動量子想像時間進化(QITE)アルゴリズムに基づいている。
QITEの初期状態は古典的な製品状態として準備されており、QITEの変分アンサッツを設計するための体系的手法を提案する。
我々は、長距離相互作用型Isingモデルの比熱と感受性を計算し、Ising臨界度を小さな格子サイズで観測する。
量子アルゴリズムによる結果は, 臨界温度近傍と低温領域の両方において, 厳密な対角化から得られた結果とよく一致していることがわかった。 We simulate the critical behavior of the Ising model utilizing a thermal state prepared using quantum computing techniques. The preparation of the thermal state is based on the variational quantum imaginary time evolution (QITE) algorithm. The initial state of QITE is prepared as a classical product state, and we propose a systematic method to design the variational ansatz for QITE. We calculate the specific heat and susceptibility of the long-range interacting Ising model and observe indications of the Ising criticality on a small lattice size. We find the results derived by the quantum algorithm are well consistent with the ones from exact diagonalization, both in the neighbourhood of the critical temperature and the low-temperature region. | 翻訳日:2023-09-07 19:37:49 公開日:2023-09-06 |
| # 近接量子デバイスにおけるWigner状態とプロセストモグラフィ Wigner State and Process Tomography on Near-Term Quantum Devices ( http://arxiv.org/abs/2302.12725v3 ) ライセンス: Link先を確認 | Amit Devra, Niklas J. Glaser, Dennis Huber, Steffen J. Glaser | (参考訳) 短期量子デバイスに対する走査型トモグラフィーの実験的アプローチを提案する。
基礎となる手法は以前、アンサンブルベースのNMR設定で導入された。
ここでは,短期純状態量子デバイスへの適応を実験的に導くためのチュートリアルスタイルの説明と,適切なソフトウェアツールを提供する。
このアプローチは、量子状態と演算子のウィグナー型表現に基づいている。
これらの表現は、球面高調波の線形結合から組み立てられた形状を用いて量子作用素のリッチな可視化を提供する。
これらの形状(後述の滴と呼ばれる)は回転軸テンソル作用素の期待値を測定することで実験的にトモグラフィすることができる。
本稿では,回路ベースの量子コンピュータのための走査型トモグラフィー技術の実装のための実験フレームワークについて述べる。
また,実験的なトモグラフ付きウィグナー関数(ドロップレット)から密度とプロセス行列を推定する手法を提案する。
このトモグラフィーアプローチはpythonベースのソフトウェアパッケージ \texttt{dropstomo} を使って直接実装できる。 We present an experimental scanning-based tomography approach for near-term quantum devices. The underlying method has previously been introduced in an ensemble-based NMR setting. Here we provide a tutorial-style explanation along with suitable software tools to guide experimentalists in its adaptation to near-term pure-state quantum devices. The approach is based on a Wigner-type representation of quantum states and operators. These representations provide a rich visualization of quantum operators using shapes assembled from a linear combination of spherical harmonics. These shapes (called droplets in the following) can be experimentally tomographed by measuring the expectation values of rotated axial tensor operators. We present an experimental framework for implementing the scanning-based tomography technique for circuit-based quantum computers and showcase results from IBM quantum experience. We also present a method for estimating the density and process matrices from experimentally tomographed Wigner functions (droplets). This tomography approach can be directly implemented using the Python-based software package \texttt{DROPStomo}. | 翻訳日:2023-09-07 19:37:38 公開日:2023-09-06 |
| # 交通流予測のための注意融合型動的グラフ畳み込みネットワーク Dynamic Graph Convolutional Network with Attention Fusion for Traffic Flow Prediction ( http://arxiv.org/abs/2302.12598v2 ) ライセンス: Link先を確認 | Xunlian Luo, Chunjiang Zhu, Detian Zhang, Qing Li | (参考訳) 都市交通制御やWebマッピングサービスにおいて,正確なリアルタイム交通状況予測が極めて重要である。
大規模データのサポートにより、深層学習手法は、交通ネットワークの複雑な時空間パターンをキャプチャする強力な能力を示している。
しかし、既存のアプローチでは事前定義されたグラフと単純な空間-時空間成分のセットを用いるため、マルチスケールの空間-時空間依存性のモデル化は困難である。
本稿では,このギャップに対処するための注意融合型動的グラフ畳み込みネットワークを提案する。
この手法はまず時間的特徴次元の相互作用を強化し、次に動的グラフ学習者とGRUを組み合わせて同期空間時間相関をモデル化する。
また,空間時間アテンションモジュールを組み込んで,長距離・多面領域の空間時間パターンを効果的に捉える。
本研究では,実世界の4つのトラヒックデータセットで広範な実験を行い,本手法が18のベースライン法と比較して最先端の性能を上回っていることを示す。 Accurate and real-time traffic state prediction is of great practical importance for urban traffic control and web mapping services. With the support of massive data, deep learning methods have shown their powerful capability in capturing the complex spatialtemporal patterns of traffic networks. However, existing approaches use pre-defined graphs and a simple set of spatial-temporal components, making it difficult to model multi-scale spatial-temporal dependencies. In this paper, we propose a novel dynamic graph convolution network with attention fusion to tackle this gap. The method first enhances the interaction of temporal feature dimensions, and then it combines a dynamic graph learner with GRU to jointly model synchronous spatial-temporal correlations. We also incorporate spatial-temporal attention modules to effectively capture longrange, multifaceted domain spatial-temporal patterns. We conduct extensive experiments in four real-world traffic datasets to demonstrate that our method surpasses state-of-the-art performance compared to 18 baseline methods. | 翻訳日:2023-09-07 19:37:24 公開日:2023-09-06 |
| # 確率および分散誘導立方体ニュートン法の統一収束理論 Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods ( http://arxiv.org/abs/2302.11962v2 ) ライセンス: Link先を確認 | El Mahdi Chayti and Nikita Doikov and Martin Jaggi | (参考訳) 一般の非凸最小化問題に対する確率的立方ニュートン法について検討する。
我々は,大域的な複雑性保証を備えた確率的・分散還元2次アルゴリズムの統一的なビューを提供するヘルパーフレームワークと呼ばれる新しいフレームワークを提案する。
補助情報を用いた学習にも応用できる。
我々のヘルパーフレームワークは、確率的キュービックニュートン法の構築と解析に高い柔軟性を提供し、任意の大きさのバッチを可能にし、勾配とヘッセンの雑音や偏りのある推定値を使用することで、分散低減と遅延ヘッセン更新の両方を取り入れている。
我々は雑音の弱い仮定の下で確率的および分散還元されたキュービックニュートンの最もよく知られた複雑さを回復する。
我々の理論の直接の結果は、大きな次元問題に対する算術的複雑性を大幅に改善する新しい遅延確率的二階法である。
また、凸問題や強凸問題を含む勾配支配対象のクラスに対する複雑性境界も確立する。
補助学習では,与えられた類似度尺度が小さければ,ヘルパ(副次関数)が単独でトレーニングに勝ることを示す。 We study stochastic Cubic Newton methods for solving general possibly non-convex minimization problems. We propose a new framework, which we call the helper framework, that provides a unified view of the stochastic and variance-reduced second-order algorithms equipped with global complexity guarantees. It can also be applied to learning with auxiliary information. Our helper framework offers the algorithm designer high flexibility for constructing and analyzing the stochastic Cubic Newton methods, allowing arbitrary size batches, and the use of noisy and possibly biased estimates of the gradients and Hessians, incorporating both the variance reduction and the lazy Hessian updates. We recover the best-known complexities for the stochastic and variance-reduced Cubic Newton, under weak assumptions on the noise. A direct consequence of our theory is the new lazy stochastic second-order method, which significantly improves the arithmetic complexity for large dimension problems. We also establish complexity bounds for the classes of gradient-dominated objectives, that include convex and strongly convex problems. For Auxiliary Learning, we show that using a helper (auxiliary function) can outperform training alone if a given similarity measure is small. | 翻訳日:2023-09-07 19:37:09 公開日:2023-09-06 |
| # 大規模言語モデルを用いた自動単体テスト生成の実証評価 An Empirical Evaluation of Using Large Language Models for Automated Unit Test Generation ( http://arxiv.org/abs/2302.06527v3 ) ライセンス: Link先を確認 | Max Sch\"afer, Sarah Nadi, Aryaz Eghbali, Frank Tip | (参考訳) ユニットテストはソフトウェアの正しさを保証する上で重要な役割を果たします。
しかし、手動でユニットテストを作成するのは面倒な作業であり、自動化の必要性を動機付けます。
大規模な言語モデル(llm)がこの問題に最近適用され、既存のテストの例で追加のトレーニングやわずかな学習が活用されている。
本稿では,自動単体テスト生成におけるLLMの有効性を,追加のトレーニングや手作業なしに大規模に評価し,LLMにテスト中の関数の署名と実装と,ドキュメントから抽出した使用例を提供する。
また、失敗したテストとエラーメッセージでモデルを再プロンプトすることで、失敗したテストの修復も試みました。
これはJavaScript用のテスト生成ツールで、npmパッケージ内のすべてのAPI関数のユニットテストを自動的に生成します。
合計1,684個のAPI関数を持つ25 npmパッケージ上で,OpenAIのgpt3.5-turbo LLMを用いてTestPilotを評価する。
生成したテストは、平均的なステートメントカバレッジ70.2%、ブランチカバレッジ52.8%を達成し、最近フィードバック指向のjavascriptテスト生成テクニックであるnessieで大幅に改善され、51.3%のステートメントカバレッジと25.6%のブランチカバレッジを達成した。
また、TestPilotの生成したテストの92.8%は、既存のテスト(正規化編集距離によって測定される)と50%以上の類似性がなく、いずれも正確なコピーではないことも判明した。
最後に、2つのLLM、OpenAIの古いCode-cushman-002 LLMとオープンなLLM StarCoderでTestPilotを実行します。
概して, 前者(68.2%), 後者(54.0%), やや悪い結果(54.0%)で同様の結果が得られ, LLMのサイズとトレーニングセットに影響されているが, 基本的には特定のモデルに依存していないことが示唆された。 Unit tests play a key role in ensuring the correctness of software. However, manually creating unit tests is a laborious task, motivating the need for automation. Large Language Models (LLMs) have recently been applied to this problem, utilizing additional training or few-shot learning on examples of existing tests. This paper presents a large-scale empirical evaluation on the effectiveness of LLMs for automated unit test generation without additional training or manual effort, providing the LLM with the signature and implementation of the function under test, along with usage examples extracted from documentation. We also attempt to repair failed generated tests by re-prompting the model with the failing test and error message. We implement our approach in TestPilot, a test generation tool for JavaScript that automatically generates unit tests for all API functions in an npm package. We evaluate TestPilot using OpenAI's gpt3.5-turbo LLM on 25 npm packages with a total of 1,684 API functions. The generated tests achieve a median statement coverage of 70.2% and branch coverage of 52.8%, significantly improving on Nessie, a recent feedback-directed JavaScript test generation technique, which achieves only 51.3% statement coverage and 25.6% branch coverage. We also find that 92.8% of TestPilot's generated tests have no more than 50% similarity with existing tests (as measured by normalized edit distance), with none of them being exact copies. Finally, we run TestPilot with two additional LLMs, OpenAI's older code-cushman-002 LLM and the open LLM StarCoder. Overall, we observed similar results with the former (68.2% median statement coverage), and somewhat worse results with the latter (54.0% median statement coverage), suggesting that the effectiveness of the approach is influenced by the size and training set of the LLM, but does not fundamentally depend on the specific model. | 翻訳日:2023-09-07 19:36:15 公開日:2023-09-06 |
| # 単光子を用いた対称性検出高次例外点の実験シミュレーション Experimental Simulation of Symmetry-Protected Higher-Order Exceptional Points with Single Photons ( http://arxiv.org/abs/2303.11834v2 ) ライセンス: Link先を確認 | Kunkun Wang, Lei Xiao, Haiqing Lin, Wei Yi, Emil J. Bergholtz, Peng Xue | (参考訳) 非エルミタン系(NH)の例外点(EP)は、その豊富な現象学と興味深い応用により、近年注目を集めている。
主に研究された2階EPと比較して、高階EPはより多くのパラメータのチューニングを必要とするため、より顕著な役割を担っていると推定されている。
ここでは、単光子干渉法による2次元トポロジカルNHバンド構造を実験的にシミュレートし、対称性の存在下で2つの実パラメータのみをチューニングすることによって得られるトポロジカル安定な3次EPを観察する。
特に、異なる対称性が定性的に異なる3次epを安定化させる方法を探る:パリティタイム対称性は一般的な立方根分散につながり、一般化されたキラル対称性は平坦なバンドと共存する正方根分散を意味する。
さらに,非欠陥な2次退化と2次EPからなる4次退化をシミュレートする。
本研究は, 対称性により保護された高次EPが豊富で概念的に豊富であることを明らかにするとともに, トポロジカル NH システムのさらなる研究のための多目的プラットフォームを提供する。 Exceptional points (EPs) of non-Hermitian (NH) systems have recently attracted increasing attention due to their rich phenomenology and intriguing applications. Compared to the predominantly studied second-order EPs, higher-order EPs have been assumed to play a much less prominent role because they generically require the tuning of more parameters. Here we experimentally simulate two-dimensional topological NH band structures using single-photon interferometry, and observe topologically stable third-order EPs obtained by tuning only two real parameters in the presence of symmetry. In particular, we explore how different symmetries stabilize qualitatively different third-order EPs: the parity-time symmetry leads to a generic cube-root dispersion, while a generalized chiral symmetry implies a square-root dispersion coexisting with a flat band. Additionally, we simulate fourfold degeneracies, composed of the non-defective twofold degeneracies and second-order EPs. Our work reveals the abundant and conceptually richer higher-order EPs protected by symmetries and offers a versatile platform for further research on topological NH systems. | 翻訳日:2023-09-07 19:27:49 公開日:2023-09-06 |
| # 視覚トランスフォーマーのロバスト化トークン注意 Robustifying Token Attention for Vision Transformers ( http://arxiv.org/abs/2303.11126v3 ) ライセンス: Link先を確認 | Yong Guo, David Stutz, Bernt Schiele | (参考訳) 視覚変換器(ViT)の成功にもかかわらず、ノイズやぼやけなどの一般的な汚職の存在下では精度が著しく低下している。
興味深いことに、ViTの注意機構は重要なトークンをほとんど依存しない傾向にあり、これはトークンの過剰フォーカスと呼ばれる現象である。
より批判的に、これらのトークンは腐敗に対して堅牢ではなく、しばしば高度に異なる注意パターンをもたらす。
本稿では,この過度に焦点をあてる問題を緩和し,2つの一般的な手法により,より安定した注意力を持たせることを目的とする。
具体的には、TAPは各トークンの平均プール方式を学習し、近隣の潜在的に重要なトークンに関する情報を適応的に考慮することができる。
第2に,ADL(Attention Diversification Loss)を用いることで,入力トークンの多様な集合から情報を集約するように,出力トークンを強制的に強制する。
異なるトークンのアテンションベクトル間のコサイン類似性を高いペナリゼーションにより達成する。
実験では,本手法を多種多様な変圧器アーキテクチャに適用し,ロバスト性を大幅に向上する。
例えば、ImageNet-Cの破壊堅牢性を2.4%改善し、最先端のロバストアーキテクチャFANに基づいて精度を0.4%改善する。
また,セマンティックセグメンテーションタスクを微調整すると,CityScapes-Cでは2.4%,ACDCでは3.0%の堅牢性が向上する。
私たちのコードはhttps://github.com/guoyongcs/TAPADLで利用可能です。 Despite the success of vision transformers (ViTs), they still suffer from significant drops in accuracy in the presence of common corruptions, such as noise or blur. Interestingly, we observe that the attention mechanism of ViTs tends to rely on few important tokens, a phenomenon we call token overfocusing. More critically, these tokens are not robust to corruptions, often leading to highly diverging attention patterns. In this paper, we intend to alleviate this overfocusing issue and make attention more stable through two general techniques: First, our Token-aware Average Pooling (TAP) module encourages the local neighborhood of each token to take part in the attention mechanism. Specifically, TAP learns average pooling schemes for each token such that the information of potentially important tokens in the neighborhood can adaptively be taken into account. Second, we force the output tokens to aggregate information from a diverse set of input tokens rather than focusing on just a few by using our Attention Diversification Loss (ADL). We achieve this by penalizing high cosine similarity between the attention vectors of different tokens. In experiments, we apply our methods to a wide range of transformer architectures and improve robustness significantly. For example, we improve corruption robustness on ImageNet-C by 2.4% while improving accuracy by 0.4% based on state-of-the-art robust architecture FAN. Also, when fine-tuning on semantic segmentation tasks, we improve robustness on CityScapes-C by 2.4% and ACDC by 3.0%. Our code is available at https://github.com/guoyongcs/TAPADL. | 翻訳日:2023-09-07 19:27:30 公開日:2023-09-06 |
| # ニューラル・プライア確率ブロックモデル Neural-prior stochastic block model ( http://arxiv.org/abs/2303.09995v2 ) ライセンス: Link先を確認 | O. Duranthon, L. Zdeborov\'a | (参考訳) 確率ブロックモデル(SBM)は,グラフクラスタリングのベンチマークとして広く研究されている。
実際には、グラフデータは多くの場合、コミュニティに関する追加情報を持つノード属性を伴います。
ノード属性がノードコミュニティメンバシップから生成されることを考慮し、そのようなデータをモデル化した以前の作業。
本稿では,ディープニューラルネットワークを用いた近年の信号処理の進展に動機づけられ,その逆ではなく,ノード属性によって決定されるコミュニティをモデル化することを提案する。
対応するモデルを定義し,それをニューラルプライアSBMと呼ぶ。
本稿では,信念伝播と近似メッセージパッシングを組み合わせた統計物理学に基づくアルゴリズムを提案する。
ベイズ最適性能だけでなくアルゴリズムの性能も解析する。
検出可能性と正確な回復相転移,およびアルゴリズム的に硬い領域を同定する。
提案したモデルとアルゴリズムは理論とアルゴリズムのベンチマークとして利用できる。
これを説明するために、簡単なグラフニューラルネットワークの性能と最適性能を比較した。 The stochastic block model (SBM) is widely studied as a benchmark for graph clustering aka community detection. In practice, graph data often come with node attributes that bear additional information about the communities. Previous works modeled such data by considering that the node attributes are generated from the node community memberships. In this work, motivated by a recent surge of works in signal processing using deep neural networks as priors, we propose to model the communities as being determined by the node attributes rather than the opposite. We define the corresponding model; we call it the neural-prior SBM. We propose an algorithm, stemming from statistical physics, based on a combination of belief propagation and approximate message passing. We analyze the performance of the algorithm as well as the Bayes-optimal performance. We identify detectability and exact recovery phase transitions, as well as an algorithmically hard region. The proposed model and algorithm can be used as a benchmark for both theory and algorithms. To illustrate this, we compare the optimal performances to the performance of simple graph neural networks. | 翻訳日:2023-09-07 19:27:04 公開日:2023-09-06 |
| # 線形パラメータスイープを用いた量子オシレータ系の制御 Controlling qubit-oscillator systems using linear parameter sweeps ( http://arxiv.org/abs/2303.09834v3 ) ライセンス: Link先を確認 | Sahel Ashhab, Tomoko Fuse, Fumiki Yoshihara, Sunmi Kim, Kouichi Semba | (参考訳) システムパラメータの線形スイープの影響下での量子オシレータ系のダイナミクスについて検討する。
主な事例は2つある。
第一に, 弱相関基底状態と強相関基底状態の関係, 常相と超ラジカル相の2つの相の有限次クエンチとみなすことができる状況, のパラメータを整理することを検討する。
このクエンチの結果、励起が生成される。
励起確率の各種パラメータ依存性について検討した。
超ラジアントと超ラジアントのクエンチの間の力学における定性的非対称性を見いだす。
パラメータスイープの2つ目の例は、高調波発振器に結合した量子ビットの偏差項におけるランダウ・ツェナースイープの問題である。
我々は、力学を独立したランダウ・ツェナー遷移の列に分解できるという仮定に基づいて理論式を解析する。
本システムでは, 理論式の有効性の確立に加えて, 適切な条件下では, 決定論的かつ堅牢な多光子状態の調製が可能となる。 We investigate the dynamics of a qubit-oscillator system under the influence of a linear sweep of system parameters. We consider two main cases. In the first case, we consider sweeping the parameters between the regime of a weakly correlated ground state and the regime of a strongly correlated ground state, a situation that can be viewed as a finite-duration quench between two phases of matter: the normal phase and the superradiant phase. Excitations are created as a result of this quench. We investigate the dependence of the excitation probabilities on the various parameters. We find a qualitative asymmetry in the dynamics between the cases of a normal-to-superradiant and superradiant-to-normal quench. The second case of parameter sweeps that we investigate is the problem of a Landau-Zener sweep in the qubit bias term for a qubit coupled to a harmonic oscillator. We analyze a theoretical formula based on the assumption that the dynamics can be decomposed into a sequence of independent Landau-Zener transitions. In addition to establishing the conditions of validity for the theoretical formula, we find that under suitable conditions, deterministic and robust multi-photon state preparation is possible in this system. | 翻訳日:2023-09-07 19:26:51 公開日:2023-09-06 |
| # 連続感情認識における視覚聴覚融合におけるttnとtransformerの活用 Leveraging TCN and Transformer for effective visual-audio fusion in continuous emotion recognition ( http://arxiv.org/abs/2303.08356v3 ) ライセンス: Link先を確認 | Weiwei Zhou, Jiada Lu, Zhaolong Xiong, Weifeng Wang | (参考訳) 人間の感情認識は、人間とコンピュータの相互作用において重要な役割を果たす。
本稿では,第5回ワークショップのvalence-arousal (va) estimation challenge, expression (expr) classification challenge, action unit (au) detection challenge, and competition on affective behavior analysis in-the-wild (abaw)について述べる。
具体的には,時間的畳み込みネットワーク(tcn,temporal convolutional network)とトランスフォーマー(transformer)を利用して,連続的感情認識の性能を向上させるマルチモーダル融合モデルを提案する。
本モデルは,感情認識の精度を向上させるため,視覚情報と音声情報を効果的に統合することを目的としている。
我々のモデルはベースラインを上回り、表現分類チャレンジで3位になっている。 Human emotion recognition plays an important role in human-computer interaction. In this paper, we present our approach to the Valence-Arousal (VA) Estimation Challenge, Expression (Expr) Classification Challenge, and Action Unit (AU) Detection Challenge of the 5th Workshop and Competition on Affective Behavior Analysis in-the-wild (ABAW). Specifically, we propose a novel multi-modal fusion model that leverages Temporal Convolutional Networks (TCN) and Transformer to enhance the performance of continuous emotion recognition. Our model aims to effectively integrate visual and audio information for improved accuracy in recognizing emotions. Our model outperforms the baseline and ranks 3 in the Expression Classification challenge. | 翻訳日:2023-09-07 19:26:31 公開日:2023-09-06 |
| # 実験固体力学における機械学習の最近の進歩と応用 Recent Advances and Applications of Machine Learning in Experimental Solid Mechanics: A Review ( http://arxiv.org/abs/2303.07647v4 ) ライセンス: Link先を確認 | Hanxun Jin, Enrui Zhang, Horacio D. Espinosa | (参考訳) 長年にわたり、実験的な固体力学は自然および新規物質の力学特性を特徴づけ、理解する上で重要な役割を担ってきた。
機械学習(ML)の最近の進歩は、実験設計、データ分析、不確実性定量化、逆問題など、この分野に新たな機会をもたらす。
この新興分野における近年の論文の数が爆発的に増えているため、実験固体力学における最近のML応用の包括的かつ最新のレビューを行うのは時期尚早である。
本稿では、まず、このレビューに係わる共通MLアルゴリズムと用語の概要を説明し、物理インフォームドおよび物理ベースのML手法に重点を置いている。
次に, 破壊力学, バイオメカニクス, ナノ・マイクロメカニクス, 建築材料, 2次元材料など, 従来および新興の実験力学分野における最近のML応用について概説する。
最後に,MLを多モードおよび多忠実な実験データセットに適用する現在の課題を強調し,今後の研究方向性を提案する。
このレビューは、MLメソッドの使用に関する貴重な洞察と、固体力学の研究者が実験に組み込むための様々な例を提供することを目的としている。 For many decades, experimental solid mechanics has played a crucial role in characterizing and understanding the mechanical properties of natural and novel materials. Recent advances in machine learning (ML) provide new opportunities for the field, including experimental design, data analysis, uncertainty quantification, and inverse problems. As the number of papers published in recent years in this emerging field is exploding, it is timely to conduct a comprehensive and up-to-date review of recent ML applications in experimental solid mechanics. Here, we first provide an overview of common ML algorithms and terminologies that are pertinent to this review, with emphasis placed on physics-informed and physics-based ML methods. Then, we provide thorough coverage of recent ML applications in traditional and emerging areas of experimental mechanics, including fracture mechanics, biomechanics, nano- and micro-mechanics, architected materials, and 2D material. Finally, we highlight some current challenges of applying ML to multi-modality and multi-fidelity experimental datasets and propose several future research directions. This review aims to provide valuable insights into the use of ML methods as well as a variety of examples for researchers in solid mechanics to integrate into their experiments. | 翻訳日:2023-09-07 19:26:07 公開日:2023-09-06 |
| # 非古典性のランダム性フリーテスト:概念実証 Randomness-free Test of Non-classicality: a Proof of Concept ( http://arxiv.org/abs/2303.06990v3 ) ライセンス: Link先を確認 | Zhonghua Ma, Markus Rambach, Kaumudibikash Goswami, Some Sankar Bhattacharya, Manik Banik, and Jacquiline Romero | (参考訳) 量子相関と非射影測定は、古典世界では不可能な多くの情報理論的なタスクをもたらす。
このような非古典的資源をデバイスに依存しない方法で証明するための既存のスキームは、多成分量子システムの異なる部分で実行される局所的な測定を選択するために、しばしばコストがかかり、抜け穴に弱いシードランダム性を必要とする。
本稿では、シードランダム性のない量子相関および非射影測定のための半デバイス独立認証手法を提案し、実験的に実装する。
我々のテストは、部品の寸法に関する事前の知識のみを必要とするという意味で、半デバイス独立である。
横方向の空間モードに絡み合った一対の光子から特定の相関コインを生成することにより、相関コイントスキングにおける新しい量子優位性を実験的に示す。
エンタングル光子から得られる相関コインは2段階の古典相関硬貨では得られないことを示すことにより,その利点を確立する。
量子アドバンテージは、絡み合う対の各部分で量子ビットトリイン正の演算子値測度(povm)を実行する必要があるため、そのようなpovmを半デバイスに依存しない方法で証明する。
この概念実証は、非古典的共有ランダム性の生成と、将来のマルチパーティ量子通信において重要となる非古典的測定の両方を行うための、新しいコスト効率の高い認証技術を確立している。 Quantum correlations and non-projective measurements underlie a plethora of information-theoretic tasks, otherwise impossible in the classical world. Existing schemes to certify such non-classical resources in a device-independent manner require seed randomness, which is often costly and vulnerable to loopholes, for choosing the local measurements performed on different parts of a multipartite quantum system. In this letter, we propose and experimentally implement a semi-device independent certification technique for both quantum correlations and non-projective measurements without seed randomness. Our test is semi-device independent in the sense that it requires only prior knowledge of the dimensions of the parts. We experimentally show a novel quantum advantage in correlated coin tossing by producing specific correlated coins from pairs of photons entangled in their transverse spatial modes. We establish the advantage by showing that the correlated coin obtained from the entangled photons cannot be obtained from two 2-level classical correlated coins. The quantum advantage requires performing qubit trine positive operator-valued measures (POVMs) on each part of the entangled pair, thus also certifying such POVMs in a semi-device-independent manner. This proof of concept firmly establishes a new cost-effective certification technique for both generating non-classical shared randomness and implementing non-classical measurements, which will be important for future multi-party quantum communications. | 翻訳日:2023-09-07 19:25:44 公開日:2023-09-06 |
| # TSMixer: 時系列予測のためのオールMLPアーキテクチャ TSMixer: An All-MLP Architecture for Time Series Forecasting ( http://arxiv.org/abs/2303.06053v4 ) ライセンス: Link先を確認 | Si-An Chen, Chun-Liang Li, Nate Yoder, Sercan O. Arik, Tomas Pfister | (参考訳) 現実世界の時系列データセットはしばしば複雑なダイナミクスを持つ多変量である。
この複雑さを捉えるために、リカレントやアテンションベースのシーケンシャルディープラーニングモデルのような高容量アーキテクチャが普及している。
しかし、最近の研究では、単純な単変量線形モデルは、よく使われるいくつかの学術ベンチマークにおいて、そのような深層学習モデルより優れていることが示されている。
本稿では,時系列予測のための線形モデルと,多層パーセプトロン (mlps) を積み重ねた新しいアーキテクチャであるcurrent time-series mixer (tsmixer) の機能について検討する。
TSMixerは時間次元と特徴次元の混合操作に基づいて情報を効率的に抽出する。
一般的な学術ベンチマークでは、TSMixerは特定のベンチマークの帰納バイアスを利用する専門的な最先端モデルに匹敵する。
現実の小売データセットである挑戦的で大規模なM5ベンチマークでは、TSMixerは最先端の代替モデルよりも優れたパフォーマンスを示している。
その結果,時系列予測の性能向上にクロスバリアイトと補助情報を効果的に活用することの重要性が示唆された。
我々はTSMixerの能力について様々な分析を行った。
TSMixerで使用される設計パラダイムは、ディープラーニングに基づく時系列予測のための新たな地平を開くことが期待されている。
実装はhttps://github.com/google-research/google-research/tree/master/tsmixerで利用可能である。 Real-world time-series datasets are often multivariate with complex dynamics. To capture this complexity, high capacity architectures like recurrent- or attention-based sequential deep learning models have become popular. However, recent work demonstrates that simple univariate linear models can outperform such deep learning models on several commonly used academic benchmarks. Extending them, in this paper, we investigate the capabilities of linear models for time-series forecasting and present Time-Series Mixer (TSMixer), a novel architecture designed by stacking multi-layer perceptrons (MLPs). TSMixer is based on mixing operations along both the time and feature dimensions to extract information efficiently. On popular academic benchmarks, the simple-to-implement TSMixer is comparable to specialized state-of-the-art models that leverage the inductive biases of specific benchmarks. On the challenging and large scale M5 benchmark, a real-world retail dataset, TSMixer demonstrates superior performance compared to the state-of-the-art alternatives. Our results underline the importance of efficiently utilizing cross-variate and auxiliary information for improving the performance of time series forecasting. We present various analyses to shed light into the capabilities of TSMixer. The design paradigms utilized in TSMixer are expected to open new horizons for deep learning-based time series forecasting. The implementation is available at https://github.com/google-research/google-research/tree/master/tsmixer | 翻訳日:2023-09-07 19:25:20 公開日:2023-09-06 |
| # 多体マヨラナフェルミオン相互作用に基づくトポロジカル-非トポロジカルハイブリッド量子ゲートの体系的構築 Systematic construction of topological-nontopological hybrid universal quantum gates based on many-body Majorana fermion interactions ( http://arxiv.org/abs/2304.06260v2 ) ライセンス: Link先を確認 | Motohiko Ezawa | (参考訳) マヨラナフェルミオンのブレイディングによるトポロジカル量子計算は普遍的な量子計算ではない。
いくつかの量子ゲートや量子状態を導入することで、普遍的な量子計算を試みている。
しかし、$M$-qubitゲートを$N>M$に対して$N$ qubitsに簡単に埋め込むことはできないという埋め込み問題がある。
この問題は、論理キュービットが物理キュービットと異なるMajoranaシステムに固有のものである。
マヨラナフェルミオンの2N$-body相互作用を導入することにより、トポロジカル・ノントポロジカルなハイブリッド量子計算が可能であることが示されている。
特に、C$^{n}$Zゲート、C$^{n}$NOTゲート、C$^{n}$SWAPゲートを体系的に構成する。 Topological quantum computation by way of braiding of Majorana fermions is not universal quantum computation. There are several attempts to make universal quantum computation by introducing some additional quantum gates or quantum states. However, there is an embedding problem that $M$-qubit gates cannot be embedded straightforwardly in $N$ qubits for $N>M$. This problem is inherent to the Majorana system, where logical qubits are different from physical qubits because braiding operations preserve the fermion parity. By introducing $2N$-body interactions of Majorana fermions, topological-nontopological hybrid universal quantum computation is shown to be possible. Especially, we make a systematic construction of the C$^{n}$Z gate, C$^{n}$NOT gate and the C$^{n}$SWAP gate. | 翻訳日:2023-09-07 19:19:18 公開日:2023-09-06 |
| # 深層学習に基づく多彩な不整脈の描写のためのECGセグメンテーション Deep learning based ECG segmentation for delineation of diverse arrhythmias ( http://arxiv.org/abs/2304.06237v2 ) ライセンス: Link先を確認 | Chankyu Joung, Mijin Kim, Taejin Paik, Seong-Ho Kong, Seung-Young Oh, Won Kyeong Jeon, Jae-hu Jeon, Joong-Sik Hong, Wan-Joong Kim, Woong Kook, Myung-Jin Cha, Otto van Koert | (参考訳) 心電図におけるキー波形の正確なデライン化は、心臓疾患の診断と治療を支援するために、関連する特徴を抽出するための重要な初期段階である。
p, qrs, t波の同定にセグメンテーションモデルを用いた深層学習法では有望な結果が得られたが,不整脈を呈する信号の処理能力はいまだ不明である。
本研究は, 多様な不整脈に着目した, U-Net-like segmentation model for ECG delineationを導入することにより, 既存の研究の基盤となる。
この目的のために,様々な不整脈タイプの波形境界アノテーションを含む内部データセットを収集し,モデルのトレーニングと検証を行う。
我々の重要な貢献は、異なる不整脈型におけるセグメンテーションモデル障害の特定、多様なトレーニングセットを用いた堅牢なモデルの開発、ベンチマークデータセットでの同等のパフォーマンスの実現、特定の不整脈に対する偽P波予測を減らすための分類ガイド付き戦略の導入である。
本研究は、不整脈の文脈における深層学習に基づく心電図記述を前進させ、その課題を強調する。 Accurate delineation of key waveforms in an ECG is a critical initial step in extracting relevant features to support the diagnosis and treatment of heart conditions. Although deep learning based methods using a segmentation model to locate the P, QRS, and T waves have shown promising results, their ability to handle signals exhibiting arrhythmia remains unclear. This study builds on existing research by introducing a U-Net-like segmentation model for ECG delineation, with a particular focus on diverse arrhythmias. For this purpose, we curate an internal dataset containing waveform boundary annotations for various arrhythmia types to train and validate our model. Our key contributions include identifying segmentation model failures in different arrhythmia types, developing a robust model using a diverse training set, achieving comparable performance on benchmark datasets, and introducing a classification guided strategy to reduce false P wave predictions for specific arrhythmias. This study advances deep learning based ECG delineation in the context of arrhythmias and highlights its challenges. | 翻訳日:2023-09-07 19:19:02 公開日:2023-09-06 |
| # 物理インフォームドニューラルネットワークを用いた非線形構成材料モデルの学習解:COMM-PINN Learning solution of nonlinear constitutive material models using physics-informed neural networks: COMM-PINN ( http://arxiv.org/abs/2304.06044v2 ) ライセンス: Link先を確認 | Shahed Rezaei, Ahmad Moeineddin and Ali Harandi | (参考訳) 非線形, 経路依存的な物質挙動の構成的関係を解くために, 物理インフォームドニューラルネットワークを適用した。
その結果、トレーニングされたネットワークは、すべての熱力学的制約を満たすだけでなく、任意の負荷シナリオにおいて、初期データを必要としない現在の物質状態(自由エネルギー、ストレス、内部変数の進化)に関する情報も即座に提供する。
この研究の利点の1つは、複雑な物質モデルにおける非線形方程式を解くのに必要な繰り返しニュートン反復をバイパスすることである。
さらに、タンジェント演算子を得るために必要な導関数の順序を減少させる戦略が提供される。
トレーニングされたモデルは、ユーザ定義のマテリアルモデルとして、任意の有限要素パッケージ(または他の数値手法)で直接使用できる。
しかし、コロケーションポイントの適切な定義や、アクティブあるいは非アクティブとなるいくつかの非平等制約の統合には課題が残っている。
本手法は, 非線形硬化法則を用いた古典的フォン・ミセス塑性モデルや, 非線形軟化法則による界面ひび割れ挙動の局所的損傷モデルなど, 速度に依存しないプロセスで検証した。
3次元の3次元のシナリオで複雑な経路依存性を扱う手法の適用性を実証するために,3次元のインタフェースモデルに対する損傷モデルを管理する方程式を用いてアプローチを検証した。
このようなモデルは粒界の粒界破壊によく用いられる。
提案手法で得られた結果と古典的手法で得られた結果との完全な一致を見出した。
さらに,提案手法では,従来の手法に比べて実装時間や計算時間を著しく削減する必要がある。 We applied physics-informed neural networks to solve the constitutive relations for nonlinear, path-dependent material behavior. As a result, the trained network not only satisfies all thermodynamic constraints but also instantly provides information about the current material state (i.e., free energy, stress, and the evolution of internal variables) under any given loading scenario without requiring initial data. One advantage of this work is that it bypasses the repetitive Newton iterations needed to solve nonlinear equations in complex material models. Additionally, strategies are provided to reduce the required order of derivative for obtaining the tangent operator. The trained model can be directly used in any finite element package (or other numerical methods) as a user-defined material model. However, challenges remain in the proper definition of collocation points and in integrating several non-equality constraints that become active or non-active simultaneously. We tested this methodology on rate-independent processes such as the classical von Mises plasticity model with a nonlinear hardening law, as well as local damage models for interface cracking behavior with a nonlinear softening law. In order to demonstrate the applicability of the methodology in handling complex path dependency in a three-dimensional (3D) scenario, we tested the approach using the equations governing a damage model for a three-dimensional interface model. Such models are frequently employed for intergranular fracture at grain boundaries. We have observed a perfect agreement between the results obtained through the proposed methodology and those obtained using the classical approach. Furthermore, the proposed approach requires significantly less effort in terms of implementation and computing time compared to the traditional methods. | 翻訳日:2023-09-07 19:18:40 公開日:2023-09-06 |
| # クリップのタイポグラフィー攻撃防止のための防御プリフィックス Defense-Prefix for Preventing Typographic Attacks on CLIP ( http://arxiv.org/abs/2304.04512v3 ) ライセンス: Link先を確認 | Hiroki Azuma, Yusuke Matsui | (参考訳) 視覚言語事前学習モデル(VLP)は、様々な視覚言語タスクに革命的な改善をもたらした。
VLPでは、一部の敵対的攻撃は、モデルを偽りまたは不条理な分類に騙す。
以前の研究では、モデルを微調整したり、アーキテクチャを変更したりすることで、これらの攻撃に対処した。
しかし、これらの手法は元のモデルの性能を失う危険を冒し、下流のタスクに適用することは困難である。
特に、他のタスクへの適用性は考慮されていない。
本研究では,モデルパラメータを変更することなく,CLIPに対するタイポグラフィー攻撃の影響の低減について検討した。
これを実現するために,我々は,DPトークンをクラス名の前に挿入し,タイポグラフィー攻撃に対して単語を"robust"にする,"prefix learning"という,シンプルで効果的な方法を導入する。
提案手法はモデルパラメータに依存しないため,オブジェクト検出などの下流タスクにも容易に適用できる。
本手法は,モデルのゼロショット機能を維持しつつ,タイポグラフィー攻撃データセットの分類タスクの精度を大幅に向上させる。
さらに,提案手法をオブジェクト検出に適用し,高い適用性と有効性を示す。
コードとデータセットはhttps://github.com/azuma164/Defense-Prefix.orgで公開されている。 Vision-language pre-training models (VLPs) have exhibited revolutionary improvements in various vision-language tasks. In VLP, some adversarial attacks fool a model into false or absurd classifications. Previous studies addressed these attacks by fine-tuning the model or changing its architecture. However, these methods risk losing the original model's performance and are difficult to apply to downstream tasks. In particular, their applicability to other tasks has not been considered. In this study, we addressed the reduction of the impact of typographic attacks on CLIP without changing the model parameters. To achieve this, we expand the idea of "prefix learning" and introduce our simple yet effective method: Defense-Prefix (DP), which inserts the DP token before a class name to make words "robust" against typographic attacks. Our method can be easily applied to downstream tasks, such as object detection, because the proposed method is independent of the model parameters. Our method significantly improves the accuracy of classification tasks for typographic attack datasets, while maintaining the zero-shot capabilities of the model. In addition, we leverage our proposed method for object detection, demonstrating its high applicability and effectiveness. The codes and datasets are available at https://github.com/azuma164/Defense-Prefix. | 翻訳日:2023-09-07 19:18:13 公開日:2023-09-06 |
| # 未知トポロジーネットワークにおける探索学習支援コミュニティ検出のための統一フレームワーク A Unified Framework for Exploratory Learning-Aided Community Detection in Networks with Unknown Topology ( http://arxiv.org/abs/2304.04497v2 ) ライセンス: Link先を確認 | Yu Hou, Cong Tran, Ming Li, Won-Yong Shin | (参考訳) ソーシャルネットワークでは,様々なネットワーク分析課題において,コミュニティ構造の発見が根本的な問題として注目されている。
しかし、プライバシの懸念やアクセス制限のため、ネットワーク構造はしばしば不明であり、コストのかかるネットワークトポロジー取得なしに、確立されたコミュニティ検出アプローチは有効ではない。
この課題に対処するために,我々は,ノードメタデータによる探索学習を通じて,未知のトポロジを持つネットワーク内の重複コミュニティを検出する統合フレームワークMETA-CODEを提案する。
具体的には、META-CODEは、初期ネットワーク推論ステップに加えて、3つの反復ステップで構成される。
1)新しい再構成損失を訓練したグラフニューラルネットワーク(gnns)に基づくノードレベルのコミュニティ・アフィリエーション埋め込み
2)コミュニティ対応型ノードクエリによるネットワーク探索
3) エッジ接続型Siameseニューラルネットワークモデルを用いたネットワーク推定を行った。
2つの大規模ネットワークを含む5つの実世界のデータセットに関する広範な実験を通じて、以下のことを実証した。
(a)ベンチマークコミュニティ検出法よりもMETA-CODEの方が優れており、既存の競合相手に比べて最大151.27%向上している。
b) META-CODE における各モジュールの影響
(c)経験的評価と理論的知見に基づくMETA-CODEにおけるノードクエリの有効性
(d)推論されたネットワークの収束、及び
(e)メタコードの計算効率。 In social networks, the discovery of community structures has received considerable attention as a fundamental problem in various network analysis tasks. However, due to privacy concerns or access restrictions, the network structure is often unknown, thereby rendering established community detection approaches ineffective without costly network topology acquisition. To tackle this challenge, we present META-CODE, a unified framework for detecting overlapping communities in networks with unknown topology via exploratory learning aided by easy-to-collect node metadata. Specifically, META-CODE consists of three iterative steps in addition to the initial network inference step: 1) node-level community-affiliation embeddings based on graph neural networks (GNNs) trained by our new reconstruction loss, 2) network exploration via community-affiliation-based node queries, and 3) network inference using an edge connectivity-based Siamese neural network model from the explored network. Through extensive experiments on five real-world datasets including two large networks, we demonstrated: (a) the superiority of META-CODE over benchmark community detection methods, achieving remarkable gains up to 151.27% compared to the best existing competitor, (b) the impact of each module in META-CODE, (c) the effectiveness of node queries in META-CODE based on empirical evaluations and theoretical findings, (d) the convergence of the inferred network, and (e) the computational efficiency of META-CODE. | 翻訳日:2023-09-07 19:17:53 公開日:2023-09-06 |
| # 模擬パノラマ線写真とニューラルレイトレーシングを用いた3次元歯科組織の推定 Estimating 3D Dental Structures using Simulated Panoramic Radiographs and Neural Ray Tracing ( http://arxiv.org/abs/2304.04027v4 ) ライセンス: Link先を確認 | Sihwa Park, Seongjun Kim, Doeyoung Kwon, Yohan Jang, In-Seok Song, Seungjun Baek | (参考訳) パノラマX線撮影(パノラマX線、PX)は歯科検査において広く用いられている画像モダリティである。
しかし、PXは平らな2D画像のみを提供し、口腔構造の3Dビューを欠いている。
本稿では,現実世界のPXから3次元口腔構造を推定する枠組みを提案する。
本フレームワークは, パノラマ画像のみに基づく様々な被験者(患者)に対して, 完全な3次元再構築を実現する。
我々は3次元コーンビームCT(CBCT)データから、X線レンダリングのBeer-Lambert法則とPX画像の回転原理に基づいて、シミュレートされたPX(SimPX)と呼ばれる中間表現を生成する。
simpxはpxを真にシミュレートするだけでなく、3dデータへの戻すプロセスを手助けする。
我々は,SimPXを3次元出力に変換するために,グローバルおよびローカルな入力特徴を利用するレイトレーシングに基づく新しいニューラルモデルを提案する。
推測時に、実PX画像を意味正規化を伴うSimPXスタイルの画像に変換し、その変換画像を生成モジュールで処理して高品質な出力を生成する。
実験により,本手法は定量的および定性的に復元作業において,先行技術に勝ることを示した。
従来の方法とは違って,本手法では歯列形状やトレーニング用PX-CBCTデータセットなどの事前情報を必要とせず,臨床実習では入手が困難であった。 Panoramic radiography (Panoramic X-ray, PX) is a widely used imaging modality for dental examination. However, PX only provides a flattened 2D image, lacking in a 3D view of the oral structure. In this paper, we propose a framework to estimate 3D oral structures from real-world PX. Our framework tackles full 3D reconstruction for varying subjects (patients) where each reconstruction is based only on a single panoramic image. We create an intermediate representation called simulated PX (SimPX) from 3D Cone-beam computed tomography (CBCT) data based on the Beer-Lambert law of X-ray rendering and rotational principles of PX imaging. SimPX aims at not only truthfully simulating PX, but also facilitates the reverting process back to 3D data. We propose a novel neural model based on ray tracing which exploits both global and local input features to convert SimPX to 3D output. At inference, a real PX image is translated to a SimPX-style image with semantic regularization, and the translated image is processed by generation module to produce high-quality outputs. Experiments show that our method outperforms prior state-of-the-art in reconstruction tasks both quantitatively and qualitatively. Unlike prior methods, Our method does not require any prior information such as the shape of dental arches, nor the matched PX-CBCT dataset for training, which is difficult to obtain in clinical practice. | 翻訳日:2023-09-07 19:17:33 公開日:2023-09-06 |
| # カイラル有効場論演算子を持つ$A = 3$核の磁気モーメント Magnetic moments of $A = 3$ nuclei with chiral effective field theory operators ( http://arxiv.org/abs/2304.01389v2 ) ライセンス: Link先を確認 | Soham Pal (1), Shiplu Sarker (1), Patrick J. Fasano (2), Pieter Maris (1), James P. Vary (1), Mark A. Caprio (2), Robert A. M. Basili (1) ((1) Iowa State University, (2) University of Notre-Dame) | (参考訳) カイラル有効場理論(英語版)(\chi$EFT)は、第一原理から体系的に即興的な方法で核間相互作用を得るための枠組みを提供し、一貫した電気弱電流作用素の導出を提供する。
本研究では,TritonとHelium-3の磁気双極子モーメントの計算に一貫した相互作用と電流を適用した。
半局所座標空間(SCS)正則化を用いて得られるLENPIC相互作用に着目した。
LENPIC $\chi$EFTベクトル電流の運動量空間表現から、N2LOを通したSCS正規化磁気双極子作用素を導出する。
次に,n2loにおけるscsレンピック相互作用を$\chi$eftで利用し,トリトンおよびヘリウム3系の非核殻モデル計算を行い,一核子及び二核子電磁電流を用いた磁気双極子モーメントの評価を行った。
以前の$\chi$EFTの電流で予測されたように、N2LOによる電流補正はトリトンとヘリウム3の磁気双極子モーメントの実験と一致している。 Chiral effective field theory ($\chi$EFT) provides a framework for obtaining internucleon interactions in a systematically improvable fashion from first principles, while also providing for the derivation of consistent electroweak current operators. In this work, we apply consistently derived interactions and currents towards calculating the magnetic dipole moments of the $A=3$ systems Triton and Helium-3. We focus here on LENPIC interactions obtained using semilocal coordinate-space (SCS) regularization. Starting from the momentum-space representation of the LENPIC $\chi$EFT vector current, we derive the SCS-regularized magnetic dipole operator up through N2LO. We then carry out no-core shell model calculations for Triton and Helium-3 systems, using the SCS LENPIC interaction at N2LO in $\chi$EFT, and evaluate the magnetic dipole moments obtained using the consistently derived one-nucleon and two-nucleon electromagnetic currents. As anticipated by prior results with $\chi$EFT currents, the current corrections through N2LO provide improved, but not yet complete, agreement with experiment for the Triton and Helium-3 magnetic dipole moments. | 翻訳日:2023-09-07 19:16:42 公開日:2023-09-06 |
| # 双極子ボース・アインシュタイン凝縮体の渦 Vortices in dipolar Bose-Einstein condensates ( http://arxiv.org/abs/2303.13263v2 ) ライセンス: Link先を確認 | Thomas Bland and Giacomo Lamporesi and Manfred J. Mark and Francesca Ferlaino | (参考訳) 量子化された渦は超流動の要点であり、新しい超流動系で観測可能な最初の特徴としてしばしば求められている。
ボース・アインシュタイン凝縮体における渦の最近の実験的観察(第18報, 1453-1458(2022))に続いて, 平均場外効果が安定に不可欠である3次元支配双極系における渦特性を徹底的に研究し, トラップ形状と磁場傾斜角の相互作用について検討した。 Quantized vortices are the hallmark of superfluidity, and are often sought out as the first observable feature in new superfluid systems. Following the recent experimental observation of vortices in Bose-Einstein condensates comprised of atoms with inherent long-range dipole-dipole interactions [Nat. Phys. 18, 1453-1458 (2022)], we thoroughly investigate vortex properties in the three-dimensional dominantly dipolar regime, where beyond-mean-field effects are crucial for stability, and investigate the interplay between trap geometry and magnetic field tilt angle. | 翻訳日:2023-09-07 19:16:05 公開日:2023-09-06 |
| # 非定常マルチテキスト合成のための単一ドメイン学習 Learning in a Single Domain for Non-Stationary Multi-Texture Synthesis ( http://arxiv.org/abs/2305.06200v2 ) ライセンス: Link先を確認 | Xudong Xie, Zhen Zhu, Zijie Wu, Zhiliang Xu, Yingying Zhu | (参考訳) 本稿では,複数の非定常テクスチャを1つのモデルで合成する,非定常多テクスチャ合成という新しい世代課題を提案する。
ほとんどの非定常テクスチャは大規模な分散を持ち、1つのモデルでは合成できない。
そこで本研究では,様々なスケールの構造パターンを捕捉し,少ないコストでテクスチャを効果的に合成するマルチスケール発電機を提案する。
しかし,様々なカテゴリーのテクスチャを異なるテクスチャパターンで扱うことは依然として困難である。
そこで本研究では,特定のドメインのテクスチャパターンを学習することに焦点を当てた,カテゴリ固有のトレーニング戦略を提案する。
興味深いことに、一度訓練されたモデルでは、異なるスタイルのモデルを微調整することなく、動的に変化するマルチパターン世代を生成できる。
さらに、テクスチャ展開の質とグローバル構造整合性を評価するための客観的評価指標を設計する。
私たちの知識では、モデル、トレーニング、評価を含む、この挑戦的なタスクの最初のスキームです。
実験により,提案手法が優れた性能と時間効率を実現することを示す。
コードは公開後利用可能になる。 This paper aims for a new generation task: non-stationary multi-texture synthesis, which unifies synthesizing multiple non-stationary textures in a single model. Most non-stationary textures have large scale variance and can hardly be synthesized through one model. To combat this, we propose a multi-scale generator to capture structural patterns of various scales and effectively synthesize textures with a minor cost. However, it is still hard to handle textures of different categories with different texture patterns. Therefore, we present a category-specific training strategy to focus on learning texture pattern of a specific domain. Interestingly, once trained, our model is able to produce multi-pattern generations with dynamic variations without the need to finetune the model for different styles. Moreover, an objective evaluation metric is designed for evaluating the quality of texture expansion and global structure consistency. To our knowledge, ours is the first scheme for this challenging task, including model, training, and evaluation. Experimental results demonstrate the proposed method achieves superior performance and time efficiency. The code will be available after the publication. | 翻訳日:2023-09-07 19:08:46 公開日:2023-09-06 |
| # 因果構造学習におけるオープン問題:英国におけるCOVID-19の事例研究 Open problems in causal structure learning: A case study of COVID-19 in the UK ( http://arxiv.org/abs/2305.03859v2 ) ライセンス: Link先を確認 | Anthony Constantinou, Neville K. Kitson, Yang Liu, Kiattikun Chobtham, Arian Hashemzadeh, Praharsh A. Nanavati, Rendani Mbuvha, and Bruno Petrungaro | (参考訳) 因果機械学習(ML)アルゴリズムは、原因と効果の関係について何かを教えてくれるグラフィカルな構造を復元する。
これらのアルゴリズムによって実証された因果表現は、重要な現実世界の問題における意思決定に必要な透明性と説明可能性を実現する。
しかし, 因果MLは, 関連MLと比較して, 実践に限られた影響を与えている。
本稿では、COVID-19 UKパンデミックデータに適用した因果MLの課題について検討する。
各種公開情報源からのデータを照合し,これらのデータからどのような構造学習アルゴリズムが学習するかを検討する。
本研究では,学習の異なるクラスにまたがるアルゴリズムに対する異なるデータ形式の影響を調査し,各アルゴリズム,およびアルゴリズム群が生成する結果について,グラフィカル構造,モデル次元,感度解析,変数の結合,予測および介入推論の観点から評価する。
これらの結果を用いて, 因果構造学習におけるオープン問題を強調し, 今後の研究の方向性を示す。
将来の作業を容易にするために、すべてのグラフ、モデル、データセット、ソースコードをオンラインで公開しています。 Causal machine learning (ML) algorithms recover graphical structures that tell us something about cause-and-effect relationships. The causal representation praovided by these algorithms enables transparency and explainability, which is necessary for decision making in critical real-world problems. Yet, causal ML has had limited impact in practice compared to associational ML. This paper investigates the challenges of causal ML with application to COVID-19 UK pandemic data. We collate data from various public sources and investigate what the various structure learning algorithms learn from these data. We explore the impact of different data formats on algorithms spanning different classes of learning, and assess the results produced by each algorithm, and groups of algorithms, in terms of graphical structure, model dimensionality, sensitivity analysis, confounding variables, predictive and interventional inference. We use these results to highlight open problems in causal structure learning and directions for future research. To facilitate future work, we make all graphs, models, data sets, and source code publicly available online. | 翻訳日:2023-09-07 19:08:28 公開日:2023-09-06 |
| # 生成性ステガノグラフィ拡散 Generative Steganography Diffusion ( http://arxiv.org/abs/2305.03472v2 ) ライセンス: Link先を確認 | Ping Wei, Qing Zhou, Zichi Wang, Zhenxing Qian, Xinpeng Zhang, Sheng Li | (参考訳) Generative steganography (GS)はシークレットデータから直接ステゴ画像を生成する新しい技術である。
GANやFlowに基づく様々なGS手法が近年開発されている。
しかし,既存のGANベースのGS手法では,ネットワークの可逆性が欠如しているため,隠れた秘密データを完全に復元することはできず,フローベースの手法では各モジュールの厳密な可逆性制限により画質が低下する。
この問題に対処するため,我々は「StegoDiffusion」という非可逆拡散モデルを開発することにより,GSD(Generative Steganography Diffusion)と呼ばれる新しいGSスキームを提案する。
リアルなステゴ画像を生成するだけでなく、隠れた秘密データの100対%の回復を可能にする。
提案するステゴジフフュージョンモデルは,非マルコフ連鎖を高速サンプリング技術で活用し,効率的なステゴ画像生成を実現する。
ステゴジフフュージョンにおける生成過程の遷移確率に基づく常微分方程式(ode)を構築することにより、ode -- オイラー反復公式の近似解法により秘密データとステゴ画像とを変換でき、可逆だがより表現力に富むネットワーク構造を用いてモデル可逆性を達成することができる。
提案したGSDは可逆性と高い性能の両方の利点があり,既存のGS手法よりも優れた性能を発揮する。 Generative steganography (GS) is an emerging technique that generates stego images directly from secret data. Various GS methods based on GANs or Flow have been developed recently. However, existing GAN-based GS methods cannot completely recover the hidden secret data due to the lack of network invertibility, while Flow-based methods produce poor image quality due to the stringent reversibility restriction in each module. To address this issue, we propose a novel GS scheme called "Generative Steganography Diffusion" (GSD) by devising an invertible diffusion model named "StegoDiffusion". It not only generates realistic stego images but also allows for 100\% recovery of the hidden secret data. The proposed StegoDiffusion model leverages a non-Markov chain with a fast sampling technique to achieve efficient stego image generation. By constructing an ordinary differential equation (ODE) based on the transition probability of the generation process in StegoDiffusion, secret data and stego images can be converted to each other through the approximate solver of ODE -- Euler iteration formula, enabling the use of irreversible but more expressive network structures to achieve model invertibility. Our proposed GSD has the advantages of both reversibility and high performance, significantly outperforming existing GS methods in all metrics. | 翻訳日:2023-09-07 19:08:09 公開日:2023-09-06 |
| # 量子有限オートマタの浅実装のためのGAP GAPs for Shallow Implementation of Quantum Finite Automata ( http://arxiv.org/abs/2304.12868v3 ) ライセンス: Link先を確認 | Mansur Ziiatdinov, Aliya Khadieva, Abuzer Yakary{\i}lmaz | (参考訳) 量子フィンガープリントは古典的な入力語を量子状態にマッピングする技法である。
得られた量子状態は元の単語よりもはるかに短く、その処理はリソースを少なくし、量子アルゴリズム、通信、暗号において有用である。
量子フィンガープリントの例の一つは mod_p 言語の量子オートマトンアルゴリズムであり、p は素数である。
しかし、このようなオートマトンを現在の量子ハードウェアに実装することは効率的ではない。
量子フィンガープリントは長さNの単語をO(log N)量子ビットの状態にマッピングし、O(N)ユニタリ演算を使用する。
現在の量子コンピュータの利用可能な全ての量子ビットを用いた量子指紋の計算は、多数の量子演算のために不可能である。
量子フィンガープリントを実用的なものにするには、従来の研究とは対照的に、幅ではなく深さの回路を最適化する必要がある。
一般化算術進行法(gaps)などの加法コンビネータのツールに基づく量子フィンガープリントの明示的な手法を提案し,これらの手法が確率的手法に匹敵する回路深さを提供することを示す。
また,提案手法を,明示的な量子フィンガープリンティング手法の先行研究と比較した。 Quantum fingerprinting is a technique that maps classical input word to a quantum state. The obtained quantum state is much shorter than the original word, and its processing uses less resources, making it useful in quantum algorithms, communication, and cryptography. One of the examples of quantum fingerprinting is quantum automata algorithms for MOD_p languages, where p is a prime number. However, implementing such an automaton on the current quantum hardware is not efficient. Quantum fingerprinting maps a word of length N to a state of O(log N) qubits, and uses O(N) unitary operations. Computing quantum fingerprint using all available qubits of the current quantum computers is infeasible due to a large number of quantum operations. To make quantum fingerprinting practical, we should optimize the circuit for depth instead of width in contrast to the previous works. We propose explicit methods of quantum fingerprinting based on tools from additive combinatorics, such as generalized arithmetic progressions (GAPs), and prove that these methods provide circuit depth comparable to a probabilistic method. We also compare our method to prior work on explicit quantum fingerprinting methods. | 翻訳日:2023-09-07 19:06:11 公開日:2023-09-06 |
| # MF-NeRF:混合ハッシュテーブルを用いたメモリ効率の良いNeRF MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table ( http://arxiv.org/abs/2304.12587v4 ) ライセンス: Link先を確認 | Yongjae Lee, Li Yang and Deliang Fan | (参考訳) ニューラル・ラディアンス・フィールド(NeRF)はフォトリアリスティック・ノベルビューの生成において顕著な性能を示した。
近年のnerf関連研究では,多層パーセプトロン(mlp)ネットワークの複雑性を低減し,機能管理のためのグリッドなどの明示的な構造を活用する手法が極めて高速なトレーニングを実現する。
しかし、高密度グリッドに機能を格納するにはかなりのメモリスペースが必要であり、結果としてコンピュータシステム内で顕著なメモリボトルネックが発生する。
その結果、事前のハイパーパラメータチューニングなしでトレーニング時間が大幅に増加する。
この問題に対処するため,我々はMF-NeRF(Mixed-Featureハッシュテーブルを用いたメモリ効率の高いNeRFフレームワーク)を提案する。
具体的には、まずマルチレベル特徴格子の一部を適応的に混合し、1つのハッシュテーブルにマッピングする混合機能ハッシュ符号化を設計する。
その後、グリッド点の正しいインデックスを得るために、任意のレベルグリッドのインデックスを標準グリッドのインデックスに変換するインデックス変換法をさらに発展させる。
最先端のInstant-NGP、TensoRF、DVGOとベンチマークした大規模な実験は、我々のMF-NeRFが、同じGPUハードウェア上で同じまたはそれ以上の再構築品質のトレーニングタイムを達成できることを示している。 Neural radiance field (NeRF) has shown remarkable performance in generating photo-realistic novel views. Among recent NeRF related research, the approaches that involve the utilization of explicit structures like grids to manage features achieve exceptionally fast training by reducing the complexity of multilayer perceptron (MLP) networks. However, storing features in dense grids demands a substantial amount of memory space, resulting in a notable memory bottleneck within computer system. Consequently, it leads to a significant increase in training times without prior hyper-parameter tuning. To address this issue, in this work, we are the first to propose MF-NeRF, a memory-efficient NeRF framework that employs a Mixed-Feature hash table to improve memory efficiency and reduce training time while maintaining reconstruction quality. Specifically, we first design a mixed-feature hash encoding to adaptively mix part of multi-level feature grids and map it to a single hash table. Following that, in order to obtain the correct index of a grid point, we further develop an index transformation method that transforms indices of an arbitrary level grid to those of a canonical grid. Extensive experiments benchmarking with state-of-the-art Instant-NGP, TensoRF, and DVGO, indicate our MF-NeRF could achieve the fastest training time on the same GPU hardware with similar or even higher reconstruction quality. | 翻訳日:2023-09-07 19:05:51 公開日:2023-09-06 |
| # 強固で透明なデータ駆動風力タービンパワーカーブモデルのためのxaiフレームワーク An XAI framework for robust and transparent data-driven wind turbine power curve models ( http://arxiv.org/abs/2304.09835v2 ) ライセンス: Link先を確認 | Simon Letzgus and Klaus-Robert M\"uller | (参考訳) 風力タービン動力曲線モデルは周囲の条件をタービン出力に変換する。
これらはエネルギー収量予測とタービン性能監視に不可欠である。
近年、複雑化する機械学習手法がこのタスクの最先端となっている。
しかし、透明性の欠如が原因でしばしば批判を受け、風力タービンなどの非定常環境における性能に対する懸念が高まった。
そこで我々は,運用風力タービンデータから得られたデータ駆動パワーカーブモデルから得られた戦略を検証し,検証するための,説明可能な人工知能(XAI)フレームワークを導入する。
シンプルな物理インフォームドベースラインモデルによって、標準的なエラーメトリクスを超えた機械学習モデルの自動評価が可能になる。
このツールとともに、より情報に富んだモデル選択の有効性を示す。
例えば、学習戦略はモデルの一般化能力にとって有意義な指標であり、特にわずかなデータしか利用できない場合、テストセットエラーのほかに有意義な指標であることを示している。
さらにこのアプローチは、データ選択や前処理、トレーニングパラメータといった、マシンラーニングパイプラインに沿った決定が学習戦略にどのように影響するかの理解を容易にする。
実例では、より物理的に有意義なモデルを得るためのフレームワークの利用を実証する。
後者は風力タービン性能モニタリングの文脈における実演である。
本稿では,提案フレームワークのPython実装を公開し,より透明で堅牢なデータ駆動型風力タービンパワーカーブモデルを選択し,活用することで,研究者や実践者たちをトレーニングへと導くことを期待する。 Wind turbine power curve models translate ambient conditions into turbine power output. They are essential for energy yield prediction and turbine performance monitoring. In recent years, increasingly complex machine learning methods have become state-of-the-art for this task. Nevertheless, they frequently encounter criticism due to their apparent lack of transparency, which raises concerns regarding their performance in non-stationary environments, such as those faced by wind turbines. We, therefore, introduce an explainable artificial intelligence (XAI) framework to investigate and validate strategies learned by data-driven power curve models from operational wind turbine data. With the help of simple, physics-informed baseline models it enables an automated evaluation of machine learning models beyond standard error metrics. Alongside this novel tool, we present its efficacy for a more informed model selection. We show, for instance, that learned strategies can be meaningful indicators for a model's generalization ability in addition to test set errors, especially when only little data is available. Moreover, the approach facilitates an understanding of how decisions along the machine learning pipeline, such as data selection, pre-processing, or training parameters, affect learned strategies. In a practical example, we demonstrate the framework's utilisation to obtain more physically meaningful models, a prerequisite not only for robustness but also for insights into turbine operation by domain experts. The latter, we demonstrate in the context of wind turbine performance monitoring. Alongside this paper, we publish a Python implementation of the presented framework and hope this can guide researchers and practitioners alike toward training, selecting and utilizing more transparent and robust data-driven wind turbine power curve models. | 翻訳日:2023-09-07 19:05:26 公開日:2023-09-06 |
| # 高次元および置換不変異常検出 High-dimensional and Permutation Invariant Anomaly Detection ( http://arxiv.org/abs/2306.03933v3 ) ライセンス: Link先を確認 | Vinicius Mikuni, Benjamin Nachman | (参考訳) 新しい物理過程の異常検出法は、高次元確率密度の学習が困難であるため、しばしば低次元空間に限られる。
特に構成レベルでは,一般密度推定法では置換不変性や可変長入力などの望ましい特性を組み込むことが困難となる。
本研究では, 分散モデルに基づく粒子物理学データに対して, 可変長入力を扱うために特別に設計された置換不変密度推定器を提案する。
本手法の有効性は,学習密度を置換不変な異常検出スコアとして利用し,背景のみの仮説の下でジェットを効果的に同定することによって実証する。
密度推定法を検証するため, 教師付き分類アルゴリズムにより得られた密度の比について検討し, 比較を行った。 Methods for anomaly detection of new physics processes are often limited to low-dimensional spaces due to the difficulty of learning high-dimensional probability densities. Particularly at the constituent level, incorporating desirable properties such as permutation invariance and variable-length inputs becomes difficult within popular density estimation methods. In this work, we introduce a permutation-invariant density estimator for particle physics data based on diffusion models, specifically designed to handle variable-length inputs. We demonstrate the efficacy of our methodology by utilizing the learned density as a permutation-invariant anomaly detection score, effectively identifying jets with low likelihood under the background-only hypothesis. To validate our density estimation method, we investigate the ratio of learned densities and compare to those obtained by a supervised classification algorithm. | 翻訳日:2023-09-07 18:59:36 公開日:2023-09-06 |
| # GCD-DDPM:差分誘導DDPMに基づく生成的変化検出モデル GCD-DDPM: A Generative Change Detection Model Based on Difference-Feature Guided DDPM ( http://arxiv.org/abs/2306.03424v3 ) ライセンス: Link先を確認 | Yihan Wen, Xianping Ma, Xiaokang Zhang, Man-On Pun | (参考訳) 近年,Deep Learning(DL)に基づく手法は,バイテンポラルチェンジ検出(CD)において大きな可能性を秘めている。
しかし、既存のほとんどの手法は、長距離依存を同時にキャプチャし、局所的な空間情報を利用するのに効果がなく、結果としてエッジを識別する不正確なCDマップが得られる。
これらの障害を克服するために,GCD-DDPMと呼ばれる新規な拡散確率モデル(DDPM)に基づく生成CD手法を提案する。
より具体的には、GCD-DDPMは変分推論を利用してCDマップを直接生成するように設計されており、GCD-DDPMは微妙で不規則な建物や自然の風景を背景から正確に区別することができる。
また,マルチレベル特徴間の差異をサンプリングし,cdマップを強化するために,gcd-ddpmの適応キャリブレーション条件付き差分符号化法を提案する。
最後に, ノイズ抑圧型セマンティックエンハンサー(NSSE)を考案し, 現行のステップから得られた先行知識を活かして, CDマップに発生する高周波ノイズに対処する。
CDD、WHU、Levier、GVLMの4つのCDデータセットに対する大規模な実験により、提案したGCD-DDPMの優れた性能が確認された。 Deep learning (DL)-based methods have recently shown great promise in bitemporal change detection (CD). However, most existing methods are ineffective in simultaneously capturing long-range dependencies and exploiting local spatial information, resulting in inaccurate CD maps with discerning edges. To overcome these obstacles, a novel Denoising Diffusion Probabilistic Model (DDPM)-based generative CD approach called GCD-DDPM is proposed for remote sensing data. More specifically, GCD-DDPM is designed to directly generate CD maps by leveraging variational inference, which enables GCD-DDPM to accurately distinguish subtle and irregular buildings or natural scenes from the background. Furthermore, an adaptive calibration conditional difference encoding technique is proposed for GCD-DDPM to enhance the CD map through guided sampling of the differences among multi-level features. Finally, a noise suppression-based semantic enhancer (NSSE) is devised to cope with the high-frequency noise incurred in the CD map by capitalizing on the prior knowledge derived from the current step. Extensive experiments on four CD datasets, namely CDD, WHU, Levier and GVLM, confirm the good performance of the proposed GCD-DDPM. | 翻訳日:2023-09-07 18:59:24 公開日:2023-09-06 |
| # SourceP:ソースコードでEthereum上のPonziスキーマを検出する SourceP: Detecting Ponzi Schemes on Ethereum with Source Code ( http://arxiv.org/abs/2306.01665v2 ) ライセンス: Link先を確認 | Pengcheng Lu, Liang Cai, and Keting Yin | (参考訳) ブロックチェーン技術がますます普及するにつれて、一般的な金融詐欺であるPonziスキームもブロックチェーンプラットフォームEthereumに登場している。
スマートコントラクトを通じて展開されるこのPonziスキームは、スマートPonziスキームとしても知られ、多くの経済的損失と負の影響を引き起こしている。
ethereum上でスマートポンジスキームを検出する既存の方法は、主にバイトコード機能、オペコード機能、アカウント機能、スマートコントラクトのトランザクション動作機能に依存しており、スキーム識別のパフォーマンスは不十分である。
本稿では、前訓練されたモデルとデータフローを使用してethereumプラットフォーム上でスマートポンジスキームを検出する方法であるsourcepを提案し、smart contractsのソースコードを機能として使用することで、別の方向からスマートポンジスキームを検出する可能性を検討する。
sourcepは、モデルの解釈性を高めながら、データ取得の難しさと既存の検出方法の特徴抽出を削減します。
具体的には、まずスマートコントラクトのソースコードをデータフローグラフに変換し、次に学習コード表現に基づく事前学習モデルを導入し、スマートコントラクト内のポンジスキームを識別するための分類モデルを構築する。
実験の結果, SourceP は Ethereum のスマートコントラクトデータセット内のスマート Ponzi スキームの検出において,87.2\% のリコールと90.7\% のFスコアを達成した。
我々はまた、事前訓練されたモデルとデータフローがSourcePに重要な貢献をしていること、およびSourcePが優れた一般化能力を持っていることを実証する追加の実験を通して実証する。 As blockchain technology becomes more and more popular, a typical financial scam, the Ponzi scheme, has also emerged in the blockchain platform Ethereum. This Ponzi scheme deployed through smart contracts, also known as the smart Ponzi scheme, has caused a lot of economic losses and negative impacts. Existing methods for detecting smart Ponzi schemes on Ethereum mainly rely on bytecode features, opcode features, account features, and transaction behavior features of smart contracts, and the performance of identifying schemes is insufficient. In this paper, we propose SourceP, a method to detect smart Ponzi schemes on the Ethereum platform using pre-trained models and data flow, which only requires using the source code of smart contracts as features to explore the possibility of detecting smart Ponzi schemes from another direction. SourceP reduces the difficulty of data acquisition and feature extraction of existing detection methods while increasing the interpretability of the model. Specifically, we first convert the source code of a smart contract into a data flow graph and then introduce a pre-trained model based on learning code representations to build a classification model to identify Ponzi schemes in smart contracts. The experimental results show that SourceP achieves 87.2\% recall and 90.7\% F-score for detecting smart Ponzi schemes within Ethereum's smart contract dataset, outperforming state-of-the-art methods in terms of performance and sustainability. We also demonstrate through additional experiments that pre-trained models and data flow play an important contribution to SourceP, as well as proving that SourceP has a good generalization ability. | 翻訳日:2023-09-07 18:59:00 公開日:2023-09-06 |
| # ゼロショット文書画像質問応答のためのレイアウトとタスク認識命令プロンプト Layout and Task Aware Instruction Prompt for Zero-shot Document Image Question Answering ( http://arxiv.org/abs/2306.00526v3 ) ライセンス: Link先を確認 | Wenjin Wang, Yunhao Li, Yixin Ou, Yin Zhang | (参考訳) レイアウト対応マルチモーダル事前学習モデルに基づく事前学習・微調整パラダイムは,文書画像質問応答において大きな進歩を遂げた。
しかし、追加のビジュアル、レイアウト、タスクモジュールのためのドメイン事前トレーニングとタスクの微調整は、ゼロショット学習の有望な可能性を最近示した、既製の命令チューニング言語基盤モデルを直接活用することを妨げる。
文書画像質問応答の領域に言語モデルを整合させるのとは対照的に,ゼロショット機能を利用するために,シェルから外れた命令チューニング言語基礎モデルに文書画像質問応答を整合させる。
具体的には、レイアウト対応文書の内容とタスク対応記述からなるLATIN-Promptと呼ばれるレイアウトおよびタスク対応命令プロンプトを提案する。
前者は、OCRツールからテキストセグメント間のレイアウト情報を適切なスペースと線分で復元する。
後者は、タスクの詳細な記述を通じて、モデルが要求、特にフォーマット要求を満たす回答を生成することを保証します。
3つのベンチマークによる実験結果から,LATIN-Promptは文書画像質問応答に基づく命令調整言語基礎モデルのゼロショット性能を改善し,事前学習学習パラダイムに基づくSOTAに匹敵するレベルを達成できることが示されている。
定量的解析と質的分析により,ラテン・プロンプトの有効性が示された。
補助的なコードを提供し、将来の研究を促進するためのコードをリリースします。 The pre-training-fine-tuning paradigm based on layout-aware multimodal pre-trained models has achieved significant progress on document image question answering. However, domain pre-training and task fine-tuning for additional visual, layout, and task modules prevent them from directly utilizing off-the-shelf instruction-tuning language foundation models, which have recently shown promising potential in zero-shot learning. Contrary to aligning language models to the domain of document image question answering, we align document image question answering to off-the-shell instruction-tuning language foundation models to utilize their zero-shot capability. Specifically, we propose layout and task aware instruction prompt called LATIN-Prompt, which consists of layout-aware document content and task-aware descriptions. The former recovers the layout information among text segments from OCR tools by appropriate spaces and line breaks. The latter ensures that the model generates answers that meet the requirements, especially format requirements, through a detailed description of task. Experimental results on three benchmarks show that LATIN-Prompt can improve the zero-shot performance of instruction-tuning language foundation models on document image question answering and help them achieve comparable levels to SOTAs based on the pre-training-fine-tuning paradigm. Quantitative analysis and qualitative analysis demonstrate the effectiveness of LATIN-Prompt. We provide the code in supplementary and will release the code to facilitate future research. | 翻訳日:2023-09-07 18:57:52 公開日:2023-09-06 |
| # 熱平衡外におけるグラフェン系構造間のカシミール・リフシッツ力 Casimir-Lifshitz force between graphene-based structures out of thermal equilibrium ( http://arxiv.org/abs/2305.18946v2 ) ライセンス: Link先を確認 | Youssef Jeyar, Kevin Austry, Minggang Luo, Brahim Guizal, H. B. Chan, Mauro Antezza | (参考訳) グラフェン系並列構造間の非平衡カシミール・リフシッツ力について, 温度差および第3温度の外部熱浴の存在下で検討した。
グラフェンの伝導度は温度と化学的ポテンシャルの関数であり、カシミール・リフシッツ力のその場で調整することができる。
グラフェン化学ポテンシャルの異なる値を考慮して, 異なる非平衡配置を探索する。
特に興味深い事例として、熱平衡下での挙動とは対照的に、力は魅力的な状態から反発的な状態に変化するか、あるいは化学ポテンシャルの変化に対して非単調な状態になる可能性がある。 We study the non equilibrium Casimir-Lifshitz force between graphene-based parallel structures held at different temperatures and in presence of an external thermal bath at a third temperature. The graphene conductivity, which is itself a function of temperature, as well as of chemical potential, allows us to tune in situ the Casimir-Lifshitz force. We explore different non equilibrium configurations while considering different values of the graphene chemical potential. Particularly interesting cases are investigated, where the force can change sign going from attractive to repulsive or where the force becomes non monotonic with respect to chemical potential variations, contrary to the behaviour under thermal equilibrium. | 翻訳日:2023-09-07 18:57:11 公開日:2023-09-06 |
| # バイレベル学習による最適正規化パラメータについて On Optimal Regularization Parameters via Bilevel Learning ( http://arxiv.org/abs/2305.18394v4 ) ライセンス: Link先を確認 | Matthias J. Ehrhardt, Silvia Gazzola and Sebastian J. Scott (Department of Mathematical Sciences, University of Bath, Bath, UK) | (参考訳) 変分正規化は線形逆問題を解くためによく使われ、正規化子によるデータの忠実度を増強する。
正規化器は事前情報を促進するために使用され、正規化パラメータによって重み付けされる。
適切な正規化パラメータの選択は重要であり、様々な選択が全く異なる再構成につながる。
パラメータ値を決定するために使用される古典的戦略には、離散性原理とL曲線基準があり、近年はバイレベル学習と呼ばれる教師付き機械学習アプローチが採用されている。
バイレベル学習は最適なパラメータを決定する強力なフレームワークであり、ネストした最適化問題を解決する。
従来の戦略は様々な理論的な結果を享受するが、この設定における二段階学習の適切さはまだ未解決の問題である。
特に、必要な性質は決定された正規化パラメータの正則性である。
本研究では,既存の理論よりも最適正則化パラメータの正値性をよりよく特徴付ける新しい条件を提案する。
数値的な結果は、この新条件を、小・高次元ともに検証し、探求する。 Variational regularization is commonly used to solve linear inverse problems, and involves augmenting a data fidelity by a regularizer. The regularizer is used to promote a priori information and is weighted by a regularization parameter. Selection of an appropriate regularization parameter is critical, with various choices leading to very different reconstructions. Classical strategies used to determine a suitable parameter value include the discrepancy principle and the L-curve criterion, and in recent years a supervised machine learning approach called bilevel learning has been employed. Bilevel learning is a powerful framework to determine optimal parameters and involves solving a nested optimization problem. While previous strategies enjoy various theoretical results, the well-posedness of bilevel learning in this setting is still an open question. In particular, a necessary property is positivity of the determined regularization parameter. In this work, we provide a new condition that better characterizes positivity of optimal regularization parameters than the existing theory. Numerical results verify and explore this new condition for both small and high-dimensional problems. | 翻訳日:2023-09-07 18:56:58 公開日:2023-09-06 |
| # イソバリック-等温流によるギブス自由エネルギーの推定 Estimating Gibbs free energies via isobaric-isothermal flows ( http://arxiv.org/abs/2305.13233v3 ) ライセンス: Link先を確認 | Peter Wirnsberger, Borja Ibarz, George Papamakarios | (参考訳) イソバリック-等温アンサンブルからサンプルを採取するよう訓練された正規化フローに基づく機械学習モデルを提案する。
そこで本研究では,完全フレキシブル・トリクリニック・シミュレーションボックスと粒子座標の接合分布を近似し,所望の内部圧力を実現する。
この新しいフローベースサンプリングのイソバリック-等温アンサンブルへの拡張はギブス自由エネルギーを直接推定する。
我々は, 立方晶および六角形氷相の単原子水上で NPT-flow を試験し, 既設ベースラインと比較してギブス自由エネルギーなどの観測可能エネルギーとの良好な一致を見出した。 We present a machine-learning model based on normalizing flows that is trained to sample from the isobaric-isothermal ensemble. In our approach, we approximate the joint distribution of a fully-flexible triclinic simulation box and particle coordinates to achieve a desired internal pressure. This novel extension of flow-based sampling to the isobaric-isothermal ensemble yields direct estimates of Gibbs free energies. We test our NPT-flow on monatomic water in the cubic and hexagonal ice phases and find excellent agreement of Gibbs free energies and other observables compared with established baselines. | 翻訳日:2023-09-07 18:56:45 公開日:2023-09-06 |
| # 無限クラスミックスアップ Infinite Class Mixup ( http://arxiv.org/abs/2305.10293v2 ) ライセンス: Link先を確認 | Thomas Mensink, Pascal Mettes | (参考訳) mixupはディープネットワークのトレーニングに広く採用されている戦略であり、入力とトレーニングペアのラベルを補間することで追加のサンプルを追加する。
mixupは分類性能、ネットワークキャリブレーション、分散一般化を改善している。
効果的ではあるが、ネットワークがクラス間の線形動作パターンを学習するミックスアップの基盤は、出力補間が確率レベルで行われるため、間接的にのみ強制される。
本稿では,各混合ペアのラベルを混合するのではなく,分類器を直接混合することで,この制限に対処する。
本稿では,各拡張サンプルのターゲットを,入力ペアの分類器ベクトルの線形補間をパラメータとする,一意に新しい分類器として定義する。
すべての可能な分類器の空間は連続であり、分類器対の間のすべての補間にまたがる。
そこで我々は、混合対の分類器と、他の混合対の予測出力の両方をバッチで比較する、二重競合無限クラス混合損失を提案する。
Infinite Class Mixupは本質的に汎用的で、Mixupの多くの変種に適用できる。
実験的な結果から,RegMixupやRemixなどの標準ミックスアップや,バランスの取れた,長い尾の長い,データ制約のあるベンチマークにおいて,その適用性を強調した。 Mixup is a widely adopted strategy for training deep networks, where additional samples are augmented by interpolating inputs and labels of training pairs. Mixup has shown to improve classification performance, network calibration, and out-of-distribution generalisation. While effective, a cornerstone of Mixup, namely that networks learn linear behaviour patterns between classes, is only indirectly enforced since the output interpolation is performed at the probability level. This paper seeks to address this limitation by mixing the classifiers directly instead of mixing the labels for each mixed pair. We propose to define the target of each augmented sample as a uniquely new classifier, whose parameters are a linear interpolation of the classifier vectors of the input pair. The space of all possible classifiers is continuous and spans all interpolations between classifier pairs. To make optimisation tractable, we propose a dual-contrastive Infinite Class Mixup loss, where we contrast the classifier of a mixed pair to both the classifiers and the predicted outputs of other mixed pairs in a batch. Infinite Class Mixup is generic in nature and applies to many variants of Mixup. Empirically, we show that it outperforms standard Mixup and variants such as RegMixup and Remix on balanced, long-tailed, and data-constrained benchmarks, highlighting its broad applicability. | 翻訳日:2023-09-07 18:56:32 公開日:2023-09-06 |
| # ディープラーニングにおける損失関数とメトリクス Loss Functions and Metrics in Deep Learning ( http://arxiv.org/abs/2307.02694v2 ) ライセンス: Link先を確認 | Juan Terven, Diana M. Cordova-Esparza, Alfonso Ramirez-Pedraza, Edgar A. Chavez-Urbiola | (参考訳) ディープラーニングの重要なコンポーネントの1つは、モデルのトレーニングと評価に使用される損失関数とパフォーマンスメトリクスの選択である。
本稿では,ディープラーニングにおける損失関数と性能測定について概説する。
それぞれの手法の利点と限界について検討し,様々なディープラーニング問題への応用について解説する。
本レビューは,最も一般的なディープラーニングタスクで使用される損失関数とパフォーマンス指標の包括的図を示し,実践者が特定のタスクに最適な方法を選択するのを助けることを目的とする。 One of the essential components of deep learning is the choice of the loss function and performance metrics used to train and evaluate models. This paper reviews the most prevalent loss functions and performance measurements in deep learning. We examine the benefits and limits of each technique and illustrate their application to various deep-learning problems. Our review aims to give a comprehensive picture of the different loss functions and performance indicators used in the most common deep learning tasks and help practitioners choose the best method for their specific task. | 翻訳日:2023-09-07 18:48:15 公開日:2023-09-06 |
| # 物理的不可逆過程における「消去」のエントロピーコスト Entropy Cost of "Erasure" in Physically Irreversible Processes ( http://arxiv.org/abs/2307.02643v2 ) ライセンス: Link先を確認 | R. E. Kastner, Andreas Schlatter | (参考訳) ランダウアーの原理の制限形式は、計算的な考察とは無関係に、共役可観測物に関連した合同エントロピーを参照して、熱システムに対して成り立つ。
非可逆的物理的過程に対する補償エントロピーの源は、情報理論的なアプローチで伝統的に想定された認識的不確実性ではなく、相互に相容れない可観測性の値に付随する存在論的不確実性にあることが示されている。
特に、リセット操作による論理的(直観的)情報の消去は熱力学的エントロピーの消去と等価ではないことが明確に示され、従来のランダウアーの原理の情報理論形式は物理学では支持されない。
分析のさらなる意味は、現実世界にマクスウェルの悪魔はいないということである。 A restricted form of Landauer's Principle, independent of computational considerations, is shown to hold for thermal systems by reference to the joint entropy associated with conjugate observables. It is shown that the source of the compensating entropy for irreversible physical processes is due to the ontological uncertainty attending values of such mutually incompatible observables, rather than due to epistemic uncertainty as traditionally assumed in the information-theoretic approach. In particular, it is explicitly shown that erasure of logical (epistemic) information via reset operations is not equivalent to erasure of thermodynamic entropy, so that the traditional, information-theoretic form of Landauer's Principle is not supported by the physics. A further implication of the analysis is that there is no Maxwell's Demon in the real world. | 翻訳日:2023-09-07 18:48:08 公開日:2023-09-06 |
| # 医療研究における反現実的説明の爆発的展開 Beyond Known Reality: Exploiting Counterfactual Explanations for Medical Research ( http://arxiv.org/abs/2307.02131v3 ) ライセンス: Link先を確認 | Toygar Tanyel, Serkan Ayvaz and Bilgin Keserci | (参考訳) 人工知能における説明可能性の分野は、多くの研究と学術的関心の高まりを目の当たりにしている。
しかし、機械学習アルゴリズムの結果を説明する上での人間にやさしい個人的解釈の欠如は、臨床医による研究や臨床実践におけるこれらの方法の受容を著しく妨げている。
そこで本研究では, 医学研究における「もし」のシナリオを考察し, 小児後頭葉腫瘍の診断におけるMRI(MRI)の既存の領域を超えて, 理解を深めることを目的としている。
本ケーススタディにおいて,提案手法は,多様な状況下での予測の検証と変動の明確化を可能にする,パーソナライズ・コンテキスト固有の洞察を提供する代替意思決定シナリオを検討する新しい方法を提供する。
さらに,データ拡張のための偽物の利用の可能性について検討し,医療研究における代替的アプローチとしてその実現可能性を評価する。
その結果, 臨床研究におけるAI駆動手法の信頼と受容を高めるために, 反事実的説明を用いることが期待できる可能性が示された。 The field of explainability in artificial intelligence has witnessed a growing number of studies and increasing scholarly interest. However, the lack of human-friendly and individual interpretations in explaining the outcomes of machine learning algorithms has significantly hindered the acceptance of these methods by clinicians in their research and clinical practice. To address this, our study employs counterfactual explanations to explore "what if?" scenarios in medical research, aiming to expand our understanding beyond existing boundaries on magnetic resonance imaging (MRI) features for diagnosing pediatric posterior fossa brain tumors. In our case study, the proposed concept provides a novel way to examine alternative decision-making scenarios that offer personalized and context-specific insights, enabling the validation of predictions and clarification of variations under diverse circumstances. Additionally, we explore the potential use of counterfactuals for data augmentation and evaluate their feasibility as an alternative approach in our medical research case. The results demonstrate the promising potential of using counterfactual explanations to enhance trust and acceptance of AI-driven methods in clinical research. | 翻訳日:2023-09-07 18:47:52 公開日:2023-09-06 |
| # 時間依存プロジェクタと開量子系への熱力学的アプローチの一般化について On time-dependent projectors and on generalization of thermodynamical approach to open quantum systems ( http://arxiv.org/abs/2307.00607v2 ) ライセンス: Link先を確認 | K. Sh. Meretukov, A. E. Teretenkov | (参考訳) 本稿では,プロジェクタが時間に依存する場合の投影法に基づく時間局所マスター方程式を得るための一貫した摂動手法を開発する。
次に、川崎ガントンプロジェクターの一般化を導入し、この手法を用いて、ある観測可能な集合と整合な任意のアンサーゼの場合、一般に非線形マスター方程式を導出することができる。
結果のほとんどは非常に一般的なものですが、議論ではこれらの結果のオープン量子システム理論への応用に重点を置いています。 In this paper, we develop a consistent perturbative technique for obtaining a time-local master equation based on projective methods in the case where the projector depends on time. We then introduce a generalization of the Kawasaki--Gunton projector, which allows us to use this technique to derive, generally speaking, nonlinear master equations in the case of arbitrary ansatzes consistent with some set of observables. Most of our results are very general, but in our discussion we focus on the application of these results to the theory of open quantum systems. | 翻訳日:2023-09-07 18:47:31 公開日:2023-09-06 |
| # UncLe-SLAM:Dense Neural SLAMのための不確実性学習 UncLe-SLAM: Uncertainty Learning for Dense Neural SLAM ( http://arxiv.org/abs/2306.11048v2 ) ライセンス: Link先を確認 | Erik Sandstr\"om, Kevin Ta, Luc Van Gool, Martin R. Oswald | (参考訳) 本稿では,slam(deep neural concurrent localization and mapping)のための不確実性学習フレームワークを提案する。
高密度SLAM法の深度入力に対する画素ワイズ不確実性を推定することにより、SLAMに信頼性の高いより適切な情報を含む画像領域に対する追跡とマッピング損失を再検討することができる。
そこで本研究では,2次元入力データのみから自己教師ありで学習可能なセンサ不確かさ推定のためのオンラインフレームワークを提案する。
さらに,マルチセンサ入力における不確実性学習の利点についても論じる。
大規模な解析,実験,改善により,提案手法はマッピングと追跡の精度を向上し,地上の真理深度や3Dを必要とする代替手段よりも優れた性能を示すことが示されている。
実験の結果,7シーンとTUM-RGBDデータセットの絶対軌道追跡誤差(ATE)は,それぞれ38 %,27 %であった。
2種類の深度センサを用いた一般的なレプリカデータセットについて,最新のニューラルネットワークの暗黙的アプローチと比較して,rgbd slamのf1-scoreが11\%向上したことを報告する。
ソースコード:https://github.com/kev-in-ta/UncLe-SLAM。 We present an uncertainty learning framework for dense neural simultaneous localization and mapping (SLAM). Estimating pixel-wise uncertainties for the depth input of dense SLAM methods allows re-weighing the tracking and mapping losses towards image regions that contain more suitable information that is more reliable for SLAM. To this end, we propose an online framework for sensor uncertainty estimation that can be trained in a self-supervised manner from only 2D input data. We further discuss the advantages of the uncertainty learning for the case of multi-sensor input. Extensive analysis, experimentation, and ablations show that our proposed modeling paradigm improves both mapping and tracking accuracy and often performs better than alternatives that require ground truth depth or 3D. Our experiments show that we achieve a 38\% and 27\% lower absolute trajectory tracking error (ATE) on the 7-Scenes and TUM-RGBD datasets respectively. On the popular Replica dataset using two types of depth sensors, we report an 11\% F1-score improvement on RGBD SLAM compared to the recent state-of-the-art neural implicit approaches. Source code: https://github.com/kev-in-ta/UncLe-SLAM. | 翻訳日:2023-09-07 18:46:56 公開日:2023-09-06 |
| # OCTScenes: オブジェクト中心学習のためのテーブルトップシーンのマルチワールドデータセット OCTScenes: A Versatile Real-World Dataset of Tabletop Scenes for Object-Centric Learning ( http://arxiv.org/abs/2306.09682v3 ) ライセンス: Link先を確認 | Yinxuan Huang, Tonglin Chen, Zhimeng Shen, Jinghao Huang, Bin Li, Xiangyang Xue | (参考訳) 人間は構成的にシーンを理解する認知能力を持っている。
オブジェクト中心学習は、同様の能力を持つAIシステムを強化するために、視覚的なシーンから個々のオブジェクトの表現を取得することを目的としている。
オブジェクト中心学習の最近の進歩は複雑な合成データセットに顕著な進歩をもたらしたが、複雑な現実世界のシーンに適用するには大きな課題がある。
重要な理由の1つは、オブジェクト中心の学習に特化された現実世界のデータセットの不足である。
この問題に対処するために,オブジェクト指向学習手法の比較,評価,分析を行うベンチマークとして,OCTScenesという,オブジェクト指向学習のためのテーブルトップシーンの多種多様な実世界のデータセットを提案する。
OCTScenesには5000のテーブルトップシーンがあり、合計で15のオブジェクトがある。
各シーンは360度視界をカバーする60フレームで撮影される。
その結果、OCTScenesは、単一画像、ビデオ、マルチビューに基づくオブジェクト指向学習手法の評価を同時に満足できる汎用ベンチマークデータセットである。
OCTScenes を用いた対象中心学習手法の大規模実験を行った。
その結果,複雑な合成データセットの性能に優れるにもかかわらず,実世界のデータから意味のある表現を学習するための最先端手法の欠点が示された。
さらに、OCTScenesは既存の手法の発展の触媒として機能し、現実世界のシーンに適応するように促すことができる。
データセットとコードはhttps://huggingface.co/datasets/Yinxuan/OCTScenesで入手できる。 Humans possess the cognitive ability to comprehend scenes in a compositional manner. To empower AI systems with similar capabilities, object-centric learning aims to acquire representations of individual objects from visual scenes without any supervision. Although recent advances in object-centric learning have made remarkable progress on complex synthesis datasets, there is a huge challenge for application to complex real-world scenes. One of the essential reasons is the scarcity of real-world datasets specifically tailored to object-centric learning. To address this problem, we propose a versatile real-world dataset of tabletop scenes for object-centric learning called OCTScenes, which is meticulously designed to serve as a benchmark for comparing, evaluating, and analyzing object-centric learning methods. OCTScenes contains 5000 tabletop scenes with a total of 15 objects. Each scene is captured in 60 frames covering a 360-degree perspective. Consequently, OCTScenes is a versatile benchmark dataset that can simultaneously satisfy the evaluation of object-centric learning methods based on single-image, video, and multi-view. Extensive experiments of representative object-centric learning methods are conducted on OCTScenes. The results demonstrate the shortcomings of state-of-the-art methods for learning meaningful representations from real-world data, despite their impressive performance on complex synthesis datasets. Furthermore, OCTScenes can serve as a catalyst for the advancement of existing methods, inspiring them to adapt to real-world scenes. Dataset and code are available at https://huggingface.co/datasets/Yinxuan/OCTScenes. | 翻訳日:2023-09-07 18:46:17 公開日:2023-09-06 |
| # 電子健康記録における意思決定のための因果思考--理由と方法 Causal thinking for decision making on Electronic Health Records: why and how ( http://arxiv.org/abs/2308.01605v2 ) ライセンス: Link先を確認 | Matthieu Doutreligne (SODA), Tristan Struja (MIT, USZ), Judith Abecassis (SODA), Claire Morgand (ARS IDF), Leo Anthony Celi (MIT), Ga\"el Varoquaux (SODA) | (参考訳) 正確な予測は、機械学習と同様に、すべての患者に最適な医療を提供するのに十分ではないかもしれない。
実際、予測はデータのショートカット(例えば人種バイアス)によって駆動される。
データ駆動決定には因果思考が必要である。
ここでは、日常的に収集されるデータ、電子健康記録(ehrs)、クレームデータを中心に、重要な要素について紹介する。
このようなデータを使用して介入の価値を評価するには、注意が必要です。
ランダム化試行をエミュレートして実生活の患者記録から有効な意思決定を行うためのステップ・バイ・ステップのフレームワークを提案する。
我々のフレームワークは、因果的な結論を引き出すために、EHRやクレームデータを分析する上で最も重要な落とし穴と考察を強調します。
集中治療データベース(MIMIC-IV)において,アルブミンが敗血症死亡率に及ぼす影響について検討した。
特徴抽出から因果推定選択まで,各ステップにおける多様な選択の影響について検討した。
チュートリアルの精神では、コードとデータは公開されています。 Accurate predictions, as with machine learning, may not suffice to provide optimal healthcare for every patient. Indeed, prediction can be driven by shortcuts in the data, such as racial biases. Causal thinking is needed for data-driven decisions. Here, we give an introduction to the key elements, focusing on routinely-collected data, electronic health records (EHRs) and claims data. Using such data to assess the value of an intervention requires care: temporal dependencies and existing practices easily confound the causal effect. We present a step-by-step framework to help build valid decision making from real-life patient records by emulating a randomized trial before individualizing decisions, eg with machine learning. Our framework highlights the most important pitfalls and considerations in analysing EHRs or claims data to draw causal conclusions. We illustrate the various choices in studying the effect of albumin on sepsis mortality in the Medical Information Mart for Intensive Care database (MIMIC-IV). We study the impact of various choices at every step, from feature extraction to causal-estimator selection. In a tutorial spirit, the code and the data are openly available. | 翻訳日:2023-09-07 18:39:38 公開日:2023-09-06 |
| # ベルの不等式における量子重力の影 The shadows of quantum gravity on Bell's inequality ( http://arxiv.org/abs/2307.13006v2 ) ライセンス: Link先を確認 | Hooman Moradpour, Shahram Jalalzadeh, Hamid Tebyanian | (参考訳) 本研究は、量子重力の文脈における量子力学演算子の妥当性を考察し、それらの一般化の必要性を認識した。
第一の目的は、ベルの不等式で示されるように、量子力学における固有の非局所性に対するこれらの一般化の反響を調査することである。
さらに、この研究はベルの不平等の確立された枠組みにゼロでない最小長を導入する結果について精査している。
この結果は、量子力学と重力の間の複雑な相互作用の理論的理解に大きく貢献する。
さらに、この研究はベルの不等式とその量子技術における実用的な応用、特にデバイスに依存しないプロトコル、量子鍵分布、量子ランダムネス生成における量子重力の影響を探求する。 This study delves into the validity of quantum mechanical operators in the context of quantum gravity, recognizing the potential need for their generalization. A primary objective is to investigate the repercussions of these generalizations on the inherent non-locality within quantum mechanics, as exemplified by Bell's inequality. Additionally, the study scrutinizes the consequences of introducing a non-zero minimal length into the established framework of Bell's inequality. The findings contribute significantly to our theoretical comprehension of the intricate interplay between quantum mechanics and gravity. Moreover, this research explores the impact of quantum gravity on Bell's inequality and its practical applications within quantum technologies, notably in the realms of device-independent protocols, quantum key distribution, and quantum randomness generation. | 翻訳日:2023-09-07 18:38:40 公開日:2023-09-06 |
| # スターネットワーク非局所相関は整合性雑音に抵抗する Star network non-n-local correlations can resist consistency noises better ( http://arxiv.org/abs/2307.09293v2 ) ライセンス: Link先を確認 | Kan He and Yueran Han | (参考訳) デバイスからの不完全性は、多角形および線形量子ネットワークにおいて n のパーティ数が増加するにつれて、非n-局所相関の崩壊または消失をもたらす([phys. rev. a 106, 042206 (2022)] and [phys. rev. a 107, 032404 (2023)])。
それでもこの現象は、デバイスシーケンスの整合性ノイズを含む特別な種類のノイズに対するものであり、デバイスシーケンスが同じ確率で検出できないことを意味する。
しかし,本論文では,星ネットワークの量子非局所相関が,ポリゴンネットワークや線形ネットワークよりも優れた整合性雑音に抵抗できることが判明した。
まず、雑音予測値 o f star ネットワークの非局所性を計算し、理論的に定常条件を解析する。
コンジェネレータデバイスが整合性ノイズを持つと仮定すると、ソースnの持続性数はそのようなノイズを除去し、無限大に近似する。
ポリゴンおよび線形ネットワーク非局所相関は要求を満たすことができない。
さらに、非nmax-局所相関を恒星ネットワークにおいて、一貫性のあるノイズよりも一般的な部分整合雑音の影響下で実演できるように、ソースnmaxの最大数の変化パターンを考察する。 Imperfections from devices can result in the decay or even vanish of non-n-local correlations as the number of parties n increases in the polygon and linear quantum networks ([Phys. Rev. A 106, 042206 (2022)] and [Phys. Rev. A 107, 032404 (2023)]). Even so this phenomenon is also for the special kind of noises, including consistency noises of a sequence of devices, which means the sequence of devices have the same probability fails to detect. However, in the paper, we discover that star network quantum non-n-local correlations can resist better consistency noises than these in polygon and linear networks. We first calculate the noisy expected value o f star network non-n-locality and analyze the persistency conditions theoretically. When assume that congener devices have the consistency noise, the persistency number of sources n has been rid of such noises, and approximates to the infinity. Polygon and linear network non-n-local correlations can not meet the requirements. Furthermore, we explore the change pattern of the maximal number of sources nmax such that non-nmax-local correlation can be demonstrated in the star network under the influence of partially consistent noises, which is more general than consistent ones. | 翻訳日:2023-09-07 18:38:26 公開日:2023-09-06 |
| # モビリティデータサイエンスのためのeXplainable AIを目指して Towards eXplainable AI for Mobility Data Science ( http://arxiv.org/abs/2307.08461v2 ) ライセンス: Link先を確認 | Anahid Jalali, Anita Graser, Clemens Heistracher | (参考訳) 本稿では,xai for mobility data science 応用に向けて,時間グラフニューラルネットワーク (gnns) と偽物を用いた車両や船舶のgps 追跡などの高密度軌道データから学習可能な説明可能なモデルに着目した,現在進行中の研究について述べる。
我々は既存のGeoXAI研究をレビューし、人間中心のアプローチによる理解可能な説明の必要性を論じ、モビリティデータサイエンスのためのXAI研究の道筋を概説する。 This paper presents our ongoing work towards XAI for Mobility Data Science applications, focusing on explainable models that can learn from dense trajectory data, such as GPS tracks of vehicles and vessels using temporal graph neural networks (GNNs) and counterfactuals. We review the existing GeoXAI studies, argue the need for comprehensible explanations with human-centered approaches, and outline a research path toward XAI for Mobility Data Science. | 翻訳日:2023-09-07 18:38:01 公開日:2023-09-06 |
| # 歩数認識と教師なし適応における視線バイアスのある領域ギャップ Watch Where You Head: A View-biased Domain Gap in Gait Recognition and Unsupervised Adaptation ( http://arxiv.org/abs/2307.06751v2 ) ライセンス: Link先を確認 | Gavriel Habib, Noa Barzilay, Or Shimshi, Rami Ben-Ari, Nir Darshan | (参考訳) 歩行認識は、歩行パターンによって人々を識別することを目的としたコンピュータビジョンタスクである。
既存のメソッドは特定のデータセットで高いパフォーマンスを示すことが多いが、見当たらないシナリオに一般化する能力が欠けている。
unsupervised domain adaptation(uda)は、ソースドメイン上で教師付きで事前学習されたモデルを、ラベルなしのターゲットドメインに適応させようとする。
限られたシナリオに対するソリューションを提案する歩行認識のためのUDAに関する研究はわずかである。
本稿では,対象領域の角度や歩行方向に対するバイアスによる歩行認識モデルの適用において,基本的な現象を明らかにする。
そこで我々は,新しい三重項選択戦略とカリキュラム学習を組み合わせることで,このバイアスを軽減するための修正を提案する。
そこで本稿では,教師なしドメイン適応(GOUDA)のためのゲイト指向方式を提案する。
casia-b,ou-mvlp,grown,gait3dの4つの広く使われているgaitデータセットと,gaitset,gaitpart,gaitglの3つのバックボーンについて広範な実験を行い,アプローチバイアスを正当化し,uda以前の作業よりも提案手法の優越性を示す。 Gait Recognition is a computer vision task aiming to identify people by their walking patterns. Although existing methods often show high performance on specific datasets, they lack the ability to generalize to unseen scenarios. Unsupervised Domain Adaptation (UDA) tries to adapt a model, pre-trained in a supervised manner on a source domain, to an unlabelled target domain. There are only a few works on UDA for gait recognition proposing solutions to limited scenarios. In this paper, we reveal a fundamental phenomenon in adaptation of gait recognition models, caused by the bias in the target domain to viewing angle or walking direction. We then suggest a remedy to reduce this bias with a novel triplet selection strategy combined with curriculum learning. To this end, we present Gait Orientation-based method for Unsupervised Domain Adaptation (GOUDA). We provide extensive experiments on four widely-used gait datasets, CASIA-B, OU-MVLP, GREW, and Gait3D, and on three backbones, GaitSet, GaitPart, and GaitGL, justifying the view bias and showing the superiority of our proposed method over prior UDA works. | 翻訳日:2023-09-07 18:37:51 公開日:2023-09-06 |
| # 注意と複数撮影による科学機械学習の改善 Improving Scientific Machine Learning via Attention and Multiple Shooting ( http://arxiv.org/abs/2307.05735v2 ) ライセンス: Link先を確認 | Germ\'an Abrevaya, Mahta Ramezanian-Panahi, Jean-Christophe Gagnon-Audet, Irina Rish, Pablo Polosecki, Silvina Ponce Dawson, Guillermo Cecchi, Guillaume Dumas | (参考訳) scientific machine learning(sciml)は、ドメイン認識と解釈可能なモデルと不可知な機械学習技術を組み合わせた、急成長する分野である。
本稿では,SciML生成モデルの進化であるGOKU-UIを紹介する。
GOKU-UIは、SDE(Stochastic Differential Equations)のような他の微分方程式のクラスを組み込むために、原モデルのスペクトルを広げるだけでなく、注意機構と潜在空間における新しい多重射撃訓練戦略を統合する。
これらの改善により、シミュレーションデータと経験データの評価により、再構成タスクと予測タスクの両方のパフォーマンスが大幅に向上した。
具体的には、GOKU-UIは16倍のトレーニングセットでも、合成データセット上のベースラインモデルを全て上回り、その顕著なデータ効率を誇示している。
さらに、経験的脳データに適用すると、確率的スチュアート・ランダウ発振器を動的コアに組み込むと同時に、再構築作業における全ての基本手法を超えるだけでなく、15秒前までの将来の脳活動の予測も向上した。
休息状態fmriデータに極井を訓練することにより、脳全体のダイナミクスを潜在表現に符号化し、脳の機能や精神状態の分類や精神疾患などの実用的応用への道筋を提供する効果的な低次元力学系モデルを学習した。
最終的に、我々の研究は科学機械学習の分野をさらに推進し、確立された科学的洞察が現代の機械学習に織り込まれているときの進歩の可能性を示している。 Scientific Machine Learning (SciML) is a burgeoning field that synergistically combines domain-aware and interpretable models with agnostic machine learning techniques. In this work, we introduce GOKU-UI, an evolution of the SciML generative model GOKU-nets. GOKU-UI not only broadens the original model's spectrum to incorporate other classes of differential equations, such as Stochastic Differential Equations (SDEs), but also integrates attention mechanisms and a novel multiple shooting training strategy in the latent space. These enhancements have led to a significant increase in its performance in both reconstruction and forecast tasks, as demonstrated by our evaluation of simulated and empirical data. Specifically, GOKU-UI outperformed all baseline models on synthetic datasets even with a training set 16-fold smaller, underscoring its remarkable data efficiency. Furthermore, when applied to empirical human brain data, while incorporating stochastic Stuart-Landau oscillators into its dynamical core, it not only surpassed all baseline methods in the reconstruction task, but also demonstrated better prediction of future brain activity up to 15 seconds ahead. By training GOKU-UI on resting state fMRI data, we encoded whole-brain dynamics into a latent representation, learning an effective low-dimensional dynamical system model that could offer insights into brain functionality and open avenues for practical applications such as the classification of mental states or psychiatric conditions. Ultimately, our research provides further impetus for the field of Scientific Machine Learning, showcasing the potential for advancements when established scientific insights are interwoven with modern machine learning. | 翻訳日:2023-09-07 18:37:29 公開日:2023-09-06 |
| # arf-plus:3次元シーンスタイライゼーションのための芸術的輝度場における知覚因子の制御 ARF-Plus: Controlling Perceptual Factors in Artistic Radiance Fields for 3D Scene Stylization ( http://arxiv.org/abs/2308.12452v2 ) ライセンス: Link先を確認 | Wenzhao Li, Tianhao Wu, Fangcheng Zhong, Cengiz Oztireli | (参考訳) ラジアンスフィールドスタイルトランスファーは、3d再構成とビュー合成におけるニューラルラジアンスフィールドの優れた性能のおかげで、3dシーンのスタイライゼーション手段として最近人気を集めている新興分野である。
本研究では,2次元画像転送における既存の概念に動機づけられた,放射場スタイル転送における研究ギャップ,十分な知覚制御性の欠如を強調する。
本稿では,3次元シーンスタイライゼーションにおける知覚制御可能性について体系的に検討するために,知覚要因を管理可能な3次元ニューラルスタイルトランスファーフレームワークarf-plusを提案する。
色保存制御,(スタイルパターン)スケール制御,空間的(選択的スタイリゼーション領域)制御,奥行き強化制御の4種類の異なる制御方法が提案され,この枠組みに統合されている。
実世界のデータセット(量的・質的)から得られた結果は、arf-plusフレームワークの4種類のコントロールが、3dシーンをスタイリングする際に対応する知覚制御を成功裏に達成していることを示している。
これらのテクニックは、個々のスタイルの入力だけでなく、シーン内の複数のスタイルの同時適用にも有効である。
これは無限の可能性の領域を開放し、スタイリゼーション効果のカスタマイズと異なるスタイルの強度の柔軟なマージを可能にし、3Dシーンに斬新で目を引くスタイリスティックなエフェクトを創造する。 The radiance fields style transfer is an emerging field that has recently gained popularity as a means of 3D scene stylization, thanks to the outstanding performance of neural radiance fields in 3D reconstruction and view synthesis. We highlight a research gap in radiance fields style transfer, the lack of sufficient perceptual controllability, motivated by the existing concept in the 2D image style transfer. In this paper, we present ARF-Plus, a 3D neural style transfer framework offering manageable control over perceptual factors, to systematically explore the perceptual controllability in 3D scene stylization. Four distinct types of controls - color preservation control, (style pattern) scale control, spatial (selective stylization area) control, and depth enhancement control - are proposed and integrated into this framework. Results from real-world datasets, both quantitative and qualitative, show that the four types of controls in our ARF-Plus framework successfully accomplish their corresponding perceptual controls when stylizing 3D scenes. These techniques work well for individual style inputs as well as for the simultaneous application of multiple styles within a scene. This unlocks a realm of limitless possibilities, allowing customized modifications of stylization effects and flexible merging of the strengths of different styles, ultimately enabling the creation of novel and eye-catching stylistic effects on 3D scenes. | 翻訳日:2023-09-07 18:27:28 公開日:2023-09-06 |
| # DynED: データストリーム分類における動的アンサンブルの多様性 DynED: Dynamic Ensemble Diversification in Data Stream Classification ( http://arxiv.org/abs/2308.10807v2 ) ライセンス: Link先を確認 | Soheil Abadifard, Sepehr Bakhshi, Sanaz Gheibuni, Fazli Can | (参考訳) アンサンブル法はその顕著な性能のために分類において一般的に使用される。
データストリーム環境で高い精度を達成することは、データ分散の破壊的な変化(コンセプトドリフトとも呼ばれる)を考慮すると難しい課題である。
このような設定で予測精度を高めるために、アンサンブルコンポーネントの多様化が知られている。
アンサンブル内のコンポーネントの多様性にもかかわらず、全体のパフォーマンスに期待通りに貢献できるわけではない。
これは、高い性能と多様性を示すコンポーネントを選択する方法を必要とする。
本稿では,アンサンブル構築過程におけるコンポーネントの多様性と予測精度を動的に組み合わせたmmr(maximal marginal associated)に基づく新しいアンサンブル構築・保守手法を提案する。
4つの実データと11の合成データセットによる実験結果から,提案手法(DynED)は5つの最先端ベースラインと比較して平均平均精度が高いことが示された。 Ensemble methods are commonly used in classification due to their remarkable performance. Achieving high accuracy in a data stream environment is a challenging task considering disruptive changes in the data distribution, also known as concept drift. A greater diversity of ensemble components is known to enhance prediction accuracy in such settings. Despite the diversity of components within an ensemble, not all contribute as expected to its overall performance. This necessitates a method for selecting components that exhibit high performance and diversity. We present a novel ensemble construction and maintenance approach based on MMR (Maximal Marginal Relevance) that dynamically combines the diversity and prediction accuracy of components during the process of structuring an ensemble. The experimental results on both four real and 11 synthetic datasets demonstrate that the proposed approach (DynED) provides a higher average mean accuracy compared to the five state-of-the-art baselines. | 翻訳日:2023-09-07 18:26:40 公開日:2023-09-06 |
| # 敵対的攻撃の強化:類似の標的法 Enhancing Adversarial Attacks: The Similar Target Method ( http://arxiv.org/abs/2308.10743v2 ) ライセンス: Link先を確認 | Shuo Zhang, Ziruo Wang, Zikai Zhou, Huanran Chen | (参考訳) ディープニューラルネットワークは敵の例に対して脆弱であり、モデルのアプリケーションに脅威を与え、セキュリティ上の懸念を提起する。
逆例の興味深い性質は、その強い伝達性である。
それらの効果を示すアンサンブル攻撃を含む、転送可能性を高めるいくつかの方法が提案されている。
しかし、事前のアプローチは単にモデルアンサンブルのロジット、確率、損失の平均であり、なぜモデルアンサンブルが転送可能性を大幅に改善するかの包括的な分析を欠いている。
本稿では,類似ターゲット~(st)と呼ばれる類似ターゲット攻撃手法を提案する。
各モデルの勾配のコサイン類似性を推し進めることにより、最適化方向を規則化し、全ての代理モデルに同時に攻撃する。
この戦略は一般化能力を高めることが証明されている。
ImageNetの実験結果から, 対向転写性向上のためのアプローチの有効性が検証された。
本手法は,18の識別的分類器と対角訓練モデルにおいて,最先端の攻撃者より優れる。 Deep neural networks are vulnerable to adversarial examples, posing a threat to the models' applications and raising security concerns. An intriguing property of adversarial examples is their strong transferability. Several methods have been proposed to enhance transferability, including ensemble attacks which have demonstrated their efficacy. However, prior approaches simply average logits, probabilities, or losses for model ensembling, lacking a comprehensive analysis of how and why model ensembling significantly improves transferability. In this paper, we propose a similar targeted attack method named Similar Target~(ST). By promoting cosine similarity between the gradients of each model, our method regularizes the optimization direction to simultaneously attack all surrogate models. This strategy has been proven to enhance generalization ability. Experimental results on ImageNet validate the effectiveness of our approach in improving adversarial transferability. Our method outperforms state-of-the-art attackers on 18 discriminative classifiers and adversarially trained models. | 翻訳日:2023-09-07 18:26:28 公開日:2023-09-06 |
| # ウィキペディアスタイルサーベイ生成における大規模言語モデル:NLP概念の評価 Large Language Models on Wikipedia-Style Survey Generation: an Evaluation in NLP Concepts ( http://arxiv.org/abs/2308.10410v2 ) ライセンス: Link先を確認 | Fan Gao, Hang Jiang, Moritz Blum, Jinghui Lu, Dairui Liu, Yuang Jiang, Irene Li | (参考訳) 大規模言語モデル(LLM)は、質問応答、要約、機械翻訳などを含む様々な自然言語処理(NLP)タスクで大きな成功を収めている。
LLMは一般的なタスクでは優れているが、ドメイン固有のアプリケーションでの有効性は検討中である。
加えて、LLM生成したテキストは幻覚や偽情報などの問題を示すこともある。
本研究では,コンピュータサイエンス-NLP領域におけるLLMの簡潔な調査項目作成能力について,20のトピックに焦点をあてて評価する。
自動評価は、GPT-4がGPT-3.5より優れていることを示している。
さらに、4人の人間評価者が4つのモデル構成の6つの視点から洞察を提供する。
ケーススタディを通して、gptはしばしば賞賛すべき結果をもたらすが、不完全な情報や事実の正確さの欠落の展示のような欠点の例があることを示す。 Large Language Models (LLMs) have achieved significant success across various natural language processing (NLP) tasks, encompassing question-answering, summarization, and machine translation, among others. While LLMs excel in general tasks, their efficacy in domain-specific applications remains under exploration. Additionally, LLM-generated text sometimes exhibits issues like hallucination and disinformation. In this study, we assess LLMs' capability of producing concise survey articles within the computer science-NLP domain, focusing on 20 chosen topics. Automated evaluations indicate that GPT-4 outperforms GPT-3.5 when benchmarked against the ground truth. Furthermore, four human evaluators provide insights from six perspectives across four model configurations. Through case studies, we demonstrate that while GPT often yields commendable results, there are instances of shortcomings, such as incomplete information and the exhibition of lapses in factual accuracy. | 翻訳日:2023-09-07 18:26:13 公開日:2023-09-06 |
| # 第2回Adaptive Cyber Defense国際ワークショップに参加して Proceedings of the 2nd International Workshop on Adaptive Cyber Defense ( http://arxiv.org/abs/2308.09520v3 ) ライセンス: Link先を確認 | Marco Carvalho, Damian Marriott, Mark Bilinski, Ahmad Ridley | (参考訳) 第2回適応型サイバー防衛に関する国際ワークショップはフロリダ工科大学で開催された。
このワークショップは、AI(AI)と機械学習(ML)のユニークな応用を、適応型サイバー防御の追求のための基礎的な能力として探求する研究を共有するために組織された。
サイバードメインは現在、人間の専門家に大きく依存することなく、確実かつ効果的に防御することはできない。
熟練したサイバーディフェンダーは不足しており、サイバー脅威に十分早く対応できないことが多い。
AIとMLの最近の進歩に基づいて、サイバー防衛研究コミュニティは、サイバー設定へのAIとML技術の導入を通じて、新しい動的で持続可能な防衛を開発する動機付けを受けている。
aiとサイバー研究者と実践者の間の重要なギャップを橋渡しすることで、サイバー攻撃を認識、対応し、他のサイバーオペレーションシステムや人間専門家と協力して弱点を発見し、軽減できる半自律的なサイバー防御を開発する取り組みを加速することができる。
さらに、これらの防御は適応的で、時間とともに進化し、攻撃行動の変化、システムの健全性と準備性の変化、時間の経過とともにユーザー行動の自然な変化を防ぐことが期待されている。
ワークショップは、招待された基調講演、テクニカルプレゼンテーション、AI/MLが現在のサイバー攻撃と将来のサイバー攻撃の自律的緩和を可能にする方法についてのパネルディスカッションで構成された。
ワークショップの応募はドメインの専門家のパネルによってピアレビューされ、国家と世界のセキュリティにとって重要な問題に関する6つのテクニカル記事からなる。
このワークショップへの参加は、適応型および自律型サイバー防衛の新興領域における研究とイノベーションを刺激する新たな機会を提供した。 The 2nd International Workshop on Adaptive Cyber Defense was held at the Florida Institute of Technology, Florida. This workshop was organized to share research that explores unique applications of Artificial Intelligence (AI) and Machine Learning (ML) as foundational capabilities for the pursuit of adaptive cyber defense. The cyber domain cannot currently be reliably and effectively defended without extensive reliance on human experts. Skilled cyber defenders are in short supply and often cannot respond fast enough to cyber threats. Building on recent advances in AI and ML the Cyber defense research community has been motivated to develop new dynamic and sustainable defenses through the adoption of AI and ML techniques to cyber settings. Bridging critical gaps between AI and Cyber researchers and practitioners can accelerate efforts to create semi-autonomous cyber defenses that can learn to recognize and respond to cyber attacks or discover and mitigate weaknesses in cooperation with other cyber operation systems and human experts. Furthermore, these defenses are expected to be adaptive and able to evolve over time to thwart changes in attacker behavior, changes in the system health and readiness, and natural shifts in user behavior over time. The workshop was comprised of invited keynote talks, technical presentations and a panel discussion about how AI/ML can enable autonomous mitigation of current and future cyber attacks. Workshop submissions were peer reviewed by a panel of domain experts with a proceedings consisting of six technical articles exploring challenging problems of critical importance to national and global security. Participation in this workshop offered new opportunities to stimulate research and innovation in the emerging domain of adaptive and autonomous cyber defense. | 翻訳日:2023-09-07 18:25:59 公開日:2023-09-06 |
| # ニューラルネットワークを組み込んだガウス混合モデルとガウス混合モデルのための効率的な1反復学習アルゴリズム An Efficient 1 Iteration Learning Algorithm for Gaussian Mixture Model And Gaussian Mixture Embedding For Neural Network ( http://arxiv.org/abs/2308.09444v2 ) ライセンス: Link先を確認 | Weiguo Lu, Xuan Wu, Deng Ding, Gangnan Yuan | (参考訳) ガウス混合モデル(GMM)学習アルゴリズムを提案する。
この新しいアルゴリズムは、従来の期待最大化(em)アルゴリズムよりも堅牢性とシンプルさをもたらす。
また、精度も向上し、学習に1回しかかからない。
我々は,パラメータの初期化にかかわらず,このアルゴリズムが収束することを理論的に証明する。
GMM拡張法とニューラルネットワークの古典的確率層を比較すると、データの不確実性や逆問題に対処する能力が明らかに向上する。
最後に,GMM ベースジェネレータを試作し,確率的変動と変分制御に分散ランダムサンプリングを有効活用できるアプリケーションを構築する可能性を示した。 We propose an Gaussian Mixture Model (GMM) learning algorithm, based on our previous work of GMM expansion idea. The new algorithm brings more robustness and simplicity than classic Expectation Maximization (EM) algorithm. It also improves the accuracy and only take 1 iteration for learning. We theoretically proof that this new algorithm is guarantee to converge regardless the parameters initialisation. We compare our GMM expansion method with classic probability layers in neural network leads to demonstrably better capability to overcome data uncertainty and inverse problem. Finally, we test GMM based generator which shows a potential to build further application that able to utilized distribution random sampling for stochastic variation as well as variation control. | 翻訳日:2023-09-07 18:25:34 公開日:2023-09-06 |
| # 古典量子プログラムの確率的振る舞いに関する局所的推論 Local Reasoning about Probabilistic Behaviour for Classical-Quantum Programs ( http://arxiv.org/abs/2308.04741v2 ) ライセンス: Link先を確認 | Yuxin Deng, Huiling Wu, Ming Xu | (参考訳) 古典的構成と量子的構成の両方でプログラムの機能的正当性を検証することは難しい課題である。
量子測定と非有界なループによる確率的振る舞いの存在は検証作業を大幅に複雑にする。
本稿では,確率特性を規定する分布公式を導入することにより,確率的挙動に関する局所的推論のための新しい量子ホア論理を提案する。
論理の証明規則は意味論的意味論に関して健全であることを示す。
論理の有効性を示すために, hhl と shor のアルゴリズムを含む非自明な量子アルゴリズムの正しさを正式に検証する。 Verifying the functional correctness of programs with both classical and quantum constructs is a challenging task. The presence of probabilistic behaviour entailed by quantum measurements and unbounded while loops complicate the verification task greatly. We propose a new quantum Hoare logic for local reasoning about probabilistic behaviour by introducing distribution formulas to specify probabilistic properties. We show that the proof rules in the logic are sound with respect to a denotational semantics. To demonstrate the effectiveness of the logic, we formally verify the correctness of non-trivial quantum algorithms including the HHL and Shor's algorithms. | 翻訳日:2023-09-07 18:25:24 公開日:2023-09-06 |
| # single-sentence reader : 回答位置バイアスに対する新しいアプローチ Single-Sentence Reader: A Novel Approach for Addressing Answer Position Bias ( http://arxiv.org/abs/2308.04566v4 ) ライセンス: Link先を確認 | Son Quoc Tran and Matt Kretchmar | (参考訳) Machine Reading Comprehension (MRC)モデルは、素早い相関(研究コミュニティのデータセットバイアスやアノテーションアーティファクトとしても知られる)を利用する傾向がある。
したがって、これらのモデルは与えられたコンテキストと質問を完全に理解することなくMCCタスクを実行することができ、分散シフトに対するロバスト性が低い可能性があるため、望ましくない。
本稿の焦点は,学習質問のかなりの割合が,文脈の前半文のみに回答を配置する,回答位置バイアスである。
MRCにおける解答位置バイアスに対処するための新しいアプローチとして,Single-Sentence Readerを提案する。
驚くべきことに、6つの異なるモデルを用いた実験で、バイアス付きデータセットでトレーニングしたシングルセンテンスリーダは、通常のデータセットでトレーニングされたモデルとほぼ一致する結果を達成し、回答位置バイアスに対処する上での有効性を実証しました。
本研究は,シングルセンテンス読者が遭遇するいくつかの課題についても考察し,潜在的な解決策を提案する。 Machine Reading Comprehension (MRC) models tend to take advantage of spurious correlations (also known as dataset bias or annotation artifacts in the research community). Consequently, these models may perform the MRC task without fully comprehending the given context and question, which is undesirable since it may result in low robustness against distribution shift. The main focus of this paper is answer-position bias, where a significant percentage of training questions have answers located solely in the first sentence of the context. We propose a Single-Sentence Reader as a new approach for addressing answer position bias in MRC. Remarkably, in our experiments with six different models, our proposed Single-Sentence Readers trained on biased dataset achieve results that nearly match those of models trained on normal dataset, proving their effectiveness in addressing the answer position bias. Our study also discusses several challenges our Single-Sentence Readers encounter and proposes a potential solution. | 翻訳日:2023-09-07 18:25:14 公開日:2023-09-06 |
| # 連合学習: 組織的機会、挑戦、導入戦略 Federated Learning: Organizational Opportunities, Challenges, and Adoption Strategies ( http://arxiv.org/abs/2308.02219v2 ) ライセンス: Link先を確認 | Joaquin Delgado Fernandez, Martin Brennecke, Tom Barbereau, Alexander Rieger, Gilbert Fridgen | (参考訳) 多くの産業におけるデータ共有の制限的ルールは、連合学習の発展につながっている。
フェデレートラーニング(Federated Learning)は、分散クライアントが各トレーニングデータを他の人と共有することなく、モデルの共同トレーニングを可能にする機械学習技術である。
本稿では,まず,連合学習の技術的基盤とその組織的機会について考察する。
第2に,フェデレートドラーニングの採用のための概念的枠組み,人工知能能力とデータ共有制限による4種類の組織をマッピングする。
次に,公共機関,金融サービスプロバイダ,製造企業,研究開発コンテンシアなど,さまざまなコンテキストの例題的な組織が,フェデレーション学習に対する異なるアプローチを検討する理由について論じる。
結論として,連合学習は,情報システム研究者に十分な学際的機会を与える組織的課題を提示する。 Restrictive rules for data sharing in many industries have led to the development of federated learning. Federated learning is a machine-learning technique that allows distributed clients to train models collaboratively without the need to share their respective training data with others. In this paper, we first explore the technical foundations of federated learning and its organizational opportunities. Second, we present a conceptual framework for the adoption of federated learning, mapping four types of organizations by their artificial intelligence capabilities and limits to data sharing. We then discuss why exemplary organizations in different contexts - including public authorities, financial service providers, manufacturing companies, as well as research and development consortia - might consider different approaches to federated learning. To conclude, we argue that federated learning presents organizational challenges with ample interdisciplinary opportunities for information systems researchers. | 翻訳日:2023-09-07 18:24:56 公開日:2023-09-06 |
| # 高次元線形回帰の解釈:バッテリデータに対するヌルスペースと正則化の効果 Interpretation of High-Dimensional Linear Regression: Effects of Nullspace and Regularization Demonstrated on Battery Data ( http://arxiv.org/abs/2309.00564v2 ) ライセンス: Link先を確認 | Joachim Schaeffer, Eric Lenz, William C. Chueh, Martin Z. Bazant, Rolf Findeisen, Richard D. Braatz | (参考訳) 高次元線形回帰は多くの科学分野で重要である。
本稿では,化学系や生物系からしばしば得られるような,下層の滑らかな潜伏過程の離散的な測定データについて考察する。
高次元での解釈は、ヌル空間とその正規化形状との相互作用が回帰係数を表わすため困難である。
データのヌル空間は$\mathbf{Xw}=\mathbf{0}$を満たすすべての係数を含むため、全く異なる係数が同じ予測をすることができる。
物理工学の知識から得られた回帰係数と係数を比較し,係数差のどの部分がヌル空間に近いかを理解する最適化式を開発した。
このヌルスペース法は、合成例とリチウムイオン電池データで試験される。
ケーススタディでは、正規化とz-scoringは設計上の選択であり、もし事前の物理的知識に対応して選択された場合、解釈可能な回帰結果をもたらす。
そうでなければ、ヌル空間と正規化の組み合わせは解釈可能性を妨げるものであり、真の基底線型モデルが存在する場合、真の係数に近い回帰係数を得ることができない。
さらに, 融合ラッソのようなヌル空間に直交する係数を生成できない回帰法は, 解釈可能性を向上させることができることを示した。
結論として、nullspaceの視点から得られた洞察は、高次元データ上に回帰モデルを構築するためのインフォームドデザインの選択と、システムの最適化や科学的理解の改善に重要である潜在的な線形モデルについての推論に役立つ。 High-dimensional linear regression is important in many scientific fields. This article considers discrete measured data of underlying smooth latent processes, as is often obtained from chemical or biological systems. Interpretation in high dimensions is challenging because the nullspace and its interplay with regularization shapes regression coefficients. The data's nullspace contains all coefficients that satisfy $\mathbf{Xw}=\mathbf{0}$, thus allowing very different coefficients to yield identical predictions. We developed an optimization formulation to compare regression coefficients and coefficients obtained by physical engineering knowledge to understand which part of the coefficient differences are close to the nullspace. This nullspace method is tested on a synthetic example and lithium-ion battery data. The case studies show that regularization and z-scoring are design choices that, if chosen corresponding to prior physical knowledge, lead to interpretable regression results. Otherwise, the combination of the nullspace and regularization hinders interpretability and can make it impossible to obtain regression coefficients close to the true coefficients when there is a true underlying linear model. Furthermore, we demonstrate that regression methods that do not produce coefficients orthogonal to the nullspace, such as fused lasso, can improve interpretability. In conclusion, the insights gained from the nullspace perspective help to make informed design choices for building regression models on high-dimensional data and reasoning about potential underlying linear models, which are important for system optimization and improving scientific understanding. | 翻訳日:2023-09-07 18:19:39 公開日:2023-09-06 |
| # コントラストトークン音響事前学習による音声表現の学習 Learning Speech Representation From Contrastive Token-Acoustic Pretraining ( http://arxiv.org/abs/2309.00424v2 ) ライセンス: Link先を確認 | Chunyu Qiang, Hao Li, Yixin Tian, Ruibo Fu, Tao Wang, Longbiao Wang, Jianwu Dang | (参考訳) 最小教師付きテキスト音声(TTS)、音声変換(VC)、自動音声認識(ASR)などの微粒化タスクでは、音声から抽出した中間表現は、両モードの情報を含むテキストと音響情報の「ブリッジ」として機能すべきである。
セマンティックな内容は強調され、話者のアイデンティティや音響的詳細といったパラ言語的な情報は強調されなければならない。
しかし,音声から微細な中間表現を抽出する既存の手法は,過剰な冗長性や次元の爆発といった問題に悩まされている。
コントラスト学習は2つのモードから中間表現をモデル化する良い方法である。
しかし、音声分野における既存のコントラスト学習手法は、下流オーディオ分類タスクのグローバル記述情報を抽出することに焦点を当てており、TS、VC、ASRタスクには適さない。
これらの問題に対処するために,2つのエンコーダを用いて音素と音声を連接したマルチモーダル空間に導入し,フレームレベルで音素と音声を接続する方法を学習するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。
CTAPモデルは、210kの音声と音素のテキストペアで訓練され、最小限に制御されたTS、VC、ASRを達成する。
提案手法は,音声処理における下流タスクの細粒度生成と認識のための有望なソリューションを提供する。 For fine-grained generation and recognition tasks such as minimally-supervised text-to-speech (TTS), voice conversion (VC), and automatic speech recognition (ASR), the intermediate representations extracted from speech should serve as a "bridge" between text and acoustic information, containing information from both modalities. The semantic content is emphasized, while the paralinguistic information such as speaker identity and acoustic details should be de-emphasized. However, existing methods for extracting fine-grained intermediate representations from speech suffer from issues of excessive redundancy and dimension explosion. Contrastive learning is a good method for modeling intermediate representations from two modalities. However, existing contrastive learning methods in the audio field focus on extracting global descriptive information for downstream audio classification tasks, making them unsuitable for TTS, VC, and ASR tasks. To address these issues, we propose a method named "Contrastive Token-Acoustic Pretraining (CTAP)", which uses two encoders to bring phoneme and speech into a joint multimodal space, learning how to connect phoneme and speech at the frame level. The CTAP model is trained on 210k speech and phoneme text pairs, achieving minimally-supervised TTS, VC, and ASR. The proposed CTAP method offers a promising solution for fine-grained generation and recognition downstream tasks in speech processing. | 翻訳日:2023-09-07 18:18:39 公開日:2023-09-06 |
| # 第20回量子物理学・論理国際会議に参加して Proceedings of the Twentieth International Conference on Quantum Physics and Logic ( http://arxiv.org/abs/2308.15489v2 ) ライセンス: Link先を確認 | Shane Mansfield, Beno\^it Valiron, Vladimir Zamdzhiev | (参考訳) 第20回量子物理学と論理に関する国際会議(QPL 2023)の手続きを含む。
QPLカンファレンスシリーズの目的は、量子計算、量子物理学、および関連する分野の数学的基礎に取り組んでいる学術および産業研究者を集結させることである。
主な焦点は、代数的および分類的構造、形式言語、型システム、意味論的方法、および物理システム、物理過程、およびそれらの構成の研究に適用可能な他の数学的およびコンピュータ科学技術の使用である。 This volume contains the proceedings of the 20th International Conference on Quantum Physics and Logic (QPL 2023). The aim of the QPL conference series is to bring together academic and industry researchers working on mathematical foundations of quantum computation, quantum physics, and related areas. The main focus is on the use of algebraic and categorical structures, formal languages, type systems, semantic methods, as well as other mathematical and computer scientific techniques applicable to the study of physical systems, physical processes, and their composition. | 翻訳日:2023-09-07 18:16:47 公開日:2023-09-06 |
| # インテリジェントタスク自動化のためのLLMのスマートフォン活用 Empowering LLM to use Smartphone for Intelligent Task Automation ( http://arxiv.org/abs/2308.15272v2 ) ライセンス: Link先を確認 | Hao Wen, Yuanchun Li, Guohong Liu, Shanhui Zhao, Tao Yu, Toby Jia-Jun Li, Shiqi Jiang, Yunhao Liu, Yaqin Zhang, Yunxin Liu | (参考訳) モバイルタスク自動化は,スマートフォンとの音声ベースのハンズフリーユーザインタラクションを実現するための,魅力的なテクニックだ。
しかし、既存のアプローチは、言語理解能力の制限と開発者やエンドユーザが必要とする非自明な手作業のため、スケーラビリティに乏しい。
言語理解と推論における大規模言語モデル(LLM)の最近の進歩は、タスク準備、理解、実行が統一言語モデルによって扱われるモデル中心の観点から問題を再考するきっかけとなった。
本研究では,任意のタスクを手作業で処理できるモバイルタスク自動化システムであるautodroidを紹介する。
重要な洞察は、llmの共通センス知識と、アプリケーションのドメイン固有の知識を自動動的解析によって組み合わせることです。
主なコンポーネントには、uiとllmを橋渡しする機能対応のui表現方法、llmのアプリ固有のドメイン知識を強化する探索ベースのメモリ注入技術、モデル推論のコストを削減するマルチグラニュラ性クエリ最適化モジュールなどがある。
我々はAutoDroidを、オンラインGPT-4/GPT-3.5やオンデバイスVicunaを含む市販のLCMと統合し、158の共通タスクを備えたメモリ拡張Androidタスク自動化のための新しいベンチマークでパフォーマンスを評価する。
その結果、AutoDroidは精度90.9%のアクションを正確に生成でき、成功率71.3%のタスクが完了し、GPT-4のベースラインを36.4%、39.7%上回った。
autodroidのデモ、ベンチマークスイート、ソースコードはurl{https://autodroid-sys.github.io/}でリリースされる。 Mobile task automation is an attractive technique that aims to enable voice-based hands-free user interaction with smartphones. However, existing approaches suffer from poor scalability due to the limited language understanding ability and the non-trivial manual efforts required from developers or end-users. The recent advance of large language models (LLMs) in language understanding and reasoning inspires us to rethink the problem from a model-centric perspective, where task preparation, comprehension, and execution are handled by a unified language model. In this work, we introduce AutoDroid, a mobile task automation system that can handle arbitrary tasks on any Android application without manual efforts. The key insight is to combine the commonsense knowledge of LLMs and domain-specific knowledge of apps through automated dynamic analysis. The main components include a functionality-aware UI representation method that bridges the UI with the LLM, exploration-based memory injection techniques that augment the app-specific domain knowledge of LLM, and a multi-granularity query optimization module that reduces the cost of model inference. We integrate AutoDroid with off-the-shelf LLMs including online GPT-4/GPT-3.5 and on-device Vicuna, and evaluate its performance on a new benchmark for memory-augmented Android task automation with 158 common tasks. The results demonstrated that AutoDroid is able to precisely generate actions with an accuracy of 90.9%, and complete tasks with a success rate of 71.3%, outperforming the GPT-4-powered baselines by 36.4% and 39.7%. The demo, benchmark suites, and source code of AutoDroid will be released at url{https://autodroid-sys.github.io/}. | 翻訳日:2023-09-07 18:16:39 公開日:2023-09-06 |
| # instructme:潜在拡散モデルを用いた指導型音楽編集・リミックスフレームワーク InstructME: An Instruction Guided Music Edit And Remix Framework with Latent Diffusion Models ( http://arxiv.org/abs/2308.14360v2 ) ライセンス: Link先を確認 | Bing Han, Junyu Dai, Xuchen Song, Weituo Hao, Xinyan He, Dong Guo, Jitong Chen, Yuxuan Wang and Yanmin Qian | (参考訳) 音楽編集は、主に楽器のトラックの修正や全体のリミックスを伴い、一連の操作を通じてオリジナル曲の新たな再解釈を提供する。
これらの音楽処理手法は様々な応用において大きな可能性を秘めているが、かなりの専門知識を必要とする。
以前の手法は、画像や音声の修正に効果があるが、直接音楽に適用すると劣化する。
これは音楽の独特なデータの性質に起因しており、そのような手法は音楽の本質的な調和とコヒーレンスを必然的に損なうことができる。
本稿では,遅延拡散モデルに基づくインストラクションガイド付き音楽編集・リミックスフレームワークであるInstructMEを開発する。
本フレームワークは,編集前後の一貫性を維持するため,U-Netをマルチスケールアグリゲーションで強化する。
さらに,コンディション情報としてコード進行行列を導入し,それを意味空間に組み込んで,編集中の旋律調和を改善する。
拡張された楽曲に合わせてinstructmeはチャンクトランスフォーマを使用して、音楽シーケンス内の長期的な時間依存を識別する。
instructmeをインスツルメンテーション,リミックス,マルチラウンド編集でテストした。
主観的評価と客観的評価は,提案手法が音楽品質,テキスト関連性,調和性において先行するシステムを大幅に上回ることを示している。
デモサンプルはhttps://musicedit.github.io/で入手できる。 Music editing primarily entails the modification of instrument tracks or remixing in the whole, which offers a novel reinterpretation of the original piece through a series of operations. These music processing methods hold immense potential across various applications but demand substantial expertise. Prior methodologies, although effective for image and audio modifications, falter when directly applied to music. This is attributed to music's distinctive data nature, where such methods can inadvertently compromise the intrinsic harmony and coherence of music. In this paper, we develop InstructME, an Instruction guided Music Editing and remixing framework based on latent diffusion models. Our framework fortifies the U-Net with multi-scale aggregation in order to maintain consistency before and after editing. In addition, we introduce chord progression matrix as condition information and incorporate it in the semantic space to improve melodic harmony while editing. For accommodating extended musical pieces, InstructME employs a chunk transformer, enabling it to discern long-term temporal dependencies within music sequences. We tested InstructME in instrument-editing, remixing, and multi-round editing. Both subjective and objective evaluations indicate that our proposed method significantly surpasses preceding systems in music quality, text relevance and harmony. Demo samples are available at https://musicedit.github.io/ | 翻訳日:2023-09-07 18:16:08 公開日:2023-09-06 |
| # EgoBlur: Ariaの責任あるイノベーション EgoBlur: Responsible Innovation in Aria ( http://arxiv.org/abs/2308.13093v2 ) ライセンス: Link先を確認 | Nikhil Raina, Guruprasad Somasundaram, Kang Zheng, Sagar Miglani, Steve Saarinen, Jeff Meissner, Mark Schwesinger, Luis Pesqueira, Ishita Prasad, Edward Miller, Prince Gupta, Mingfei Yan, Richard Newcombe, Carl Ren, Omkar M Parkhi | (参考訳) Project Ariaは、Egocentric AIのフロンティアを、プライバシー第一のアプローチで意図的に設計された眼鏡を使って、大規模な現実世界のデータ収集で推進している。
メガネで記録された傍観者のプライバシーを守るため、我々の研究プロトコルは、傍観者の顔と車のナンバープレートを取り除くai匿名化モデルによって記録されたビデオが処理されることを保証するように設計されている。
検出された顔及びナンバープレート領域は、これらの個人識別情報(PII)領域が曖昧になるようにガウスぼけで処理される。
このプロセスは、ビデオの匿名化バージョンが研究目的で保持されることを保証するのに役立つ。
project ariaでは、最先端の匿名化システムegoblurを開発しました。
本稿では,最近リリースされたCasual Conversations V2データセット上でのResponsible AI分析を含む,業界や学界の他の最先端システムと比較した,課題のあるデータセットに対するEgoBlurの広範な分析を行う。 Project Aria pushes the frontiers of Egocentric AI with large-scale real-world data collection using purposely designed glasses with privacy first approach. To protect the privacy of bystanders being recorded by the glasses, our research protocols are designed to ensure recorded video is processed by an AI anonymization model that removes bystander faces and vehicle license plates. Detected face and license plate regions are processed with a Gaussian blur such that these personal identification information (PII) regions are obscured. This process helps to ensure that anonymized versions of the video is retained for research purposes. In Project Aria, we have developed a state-of-the-art anonymization system EgoBlur. In this paper, we present extensive analysis of EgoBlur on challenging datasets comparing its performance with other state-of-the-art systems from industry and academia including extensive Responsible AI analysis on recently released Casual Conversations V2 dataset. | 翻訳日:2023-09-07 18:15:48 公開日:2023-09-06 |
| # 階層的弱選好フィードバックによる深層強化学習 Deep Reinforcement Learning from Hierarchical Weak Preference Feedback ( http://arxiv.org/abs/2309.02632v1 ) ライセンス: Link先を確認 | Alexander Bukharin, Yixiao Li, Pengcheng He, Weizhu Chen, Tuo Zhao | (参考訳) リワードデザインは実践的強化学習(RL)の基本的かつ難しい側面である。
単純なタスクでは、研究者は典型的には報酬関数(例えば、いくつかの報酬要素の線形結合)を手作りする。
しかし、このような報酬工学は近似バイアスの対象であり、大きなチューニングコストを伴い、複雑なタスクに必要な粒度を提供できないことが多い。
これらの困難を避けるために、研究者は人間のフィードバック(rlhf)からの学習を強化することに目を向けた。
嗜好に基づく報酬モデリングを活用することで、RLHFは人間の嗜好によく適合する複雑な報酬を学習し、RLはますます困難な問題に取り組むことができる。
残念ながら、RLHFの適用性は、高いコストと人間の嗜好データを得るために制限されている。
このコストを考慮した複雑なタスクに対する報酬関数の学習は,単に報酬要因の重要性をランク付けすることで行う。
より具体的には、与えられたランキングによって引き起こされる階層的決定木を用いて軌跡を比較する新しいrlフレームワークであるheronを提案する。
これらの比較は嗜好に基づく報酬モデルのトレーニングに使用され、政策学習に使用される。
我々のフレームワークは、様々な困難なタスクでハイパフォーマンスエージェントを訓練できるだけでなく、サンプル効率の改善や堅牢性といった付加的なメリットも提供できる。
私たちのコードはhttps://github.com/abukharin3/heronで利用可能です。 Reward design is a fundamental, yet challenging aspect of practical reinforcement learning (RL). For simple tasks, researchers typically handcraft the reward function, e.g., using a linear combination of several reward factors. However, such reward engineering is subject to approximation bias, incurs large tuning cost, and often cannot provide the granularity required for complex tasks. To avoid these difficulties, researchers have turned to reinforcement learning from human feedback (RLHF), which learns a reward function from human preferences between pairs of trajectory sequences. By leveraging preference-based reward modeling, RLHF learns complex rewards that are well aligned with human preferences, allowing RL to tackle increasingly difficult problems. Unfortunately, the applicability of RLHF is limited due to the high cost and difficulty of obtaining human preference data. In light of this cost, we investigate learning reward functions for complex tasks with less human effort; simply by ranking the importance of the reward factors. More specifically, we propose a new RL framework -- HERON, which compares trajectories using a hierarchical decision tree induced by the given ranking. These comparisons are used to train a preference-based reward model, which is then used for policy learning. We find that our framework can not only train high performing agents on a variety of difficult tasks, but also provide additional benefits such as improved sample efficiency and robustness. Our code is available at https://github.com/abukharin3/HERON. | 翻訳日:2023-09-07 17:18:37 公開日:2023-09-06 |
| # Adaptive Consensus:分散最適化のためのネットワークプルーニングアプローチ Adaptive Consensus: A network pruning approach for decentralized optimization ( http://arxiv.org/abs/2309.02626v1 ) ライセンス: Link先を確認 | Suhail M. Shah, Albert S. Berahas, Raghu Bollapragada | (参考訳) ネットワーク内の各ノードが局所関数を持つネットワークベースの分散最適化問題について検討し、その目的は全ての局所関数の和を最小化するコンセンサスソリューションを集合的に達成することである。
分散最適化における大きな課題は、多くのアプリケーションにおいてかなりのボトルネックとなっている通信への依存である。
この課題に対処するために,不一致誤りを周期的に追跡し,各ノードにおいて最も影響力のあるエッジを選択することで,通信量を削減する適応的ランダム化通信効率アルゴリズムフレームワークを提案する。
このフレームワークでは,コンセンサス問題を解決する適応コンセンサス(ac)と,滑らかな強凸分散最適化問題を解決する適応コンセンサスベース勾配追跡(ac-gt)という2つのアルゴリズムを提案する。
提案するアルゴリズムに対する強理論的収束保証を確立し,その性能を標準仮定のもとで様々なアルゴリズムパラメータを用いて定量化する。
最後に,コンセンサス解決に必要な情報交換量を大幅に削減する手法の有効性を示す数値実験を行った。 We consider network-based decentralized optimization problems, where each node in the network possesses a local function and the objective is to collectively attain a consensus solution that minimizes the sum of all the local functions. A major challenge in decentralized optimization is the reliance on communication which remains a considerable bottleneck in many applications. To address this challenge, we propose an adaptive randomized communication-efficient algorithmic framework that reduces the volume of communication by periodically tracking the disagreement error and judiciously selecting the most influential and effective edges at each node for communication. Within this framework, we present two algorithms: Adaptive Consensus (AC) to solve the consensus problem and Adaptive Consensus based Gradient Tracking (AC-GT) to solve smooth strongly convex decentralized optimization problems. We establish strong theoretical convergence guarantees for the proposed algorithms and quantify their performance in terms of various algorithmic parameters under standard assumptions. Finally, numerical experiments showcase the effectiveness of the framework in significantly reducing the information exchange required to achieve a consensus solution. | 翻訳日:2023-09-07 17:18:13 公開日:2023-09-06 |
| # フルスライドvulvovaginal candidiasisスクリーニングのための進行的注意指導 Progressive Attention Guidance for Whole Slide Vulvovaginal Candidiasis Screening ( http://arxiv.org/abs/2309.02670v1 ) ライセンス: Link先を確認 | Jiangdong Cai, Honglin Xiong, Maosong Cao, Luyan Liu, Lichi Zhang and Qian Wang | (参考訳) VVC(Vulvovaginal candidiasis、VVC)は、ヒトのカンジダリー感染症の中で最も多く、全女性の75%が生涯に一度は罹患していると推定されている。
尿道炎、迷走神経痛など、いくつかの症状を引き起こす。
自動スライド画像(WSI)分類は, 疾患のコントロールと予防の負担が大きいため, 非常に要求が高い。
しかし、wsiベースのコンピュータ支援vccスクリーニング法は、candidaのラベル付きデータとユニークな特性のため、まだ空白である。
WSIのキャンディダは、その独特の細長い形状、空間分布の小さな割合、およびWSIとのスタイルギャップにより、従来の分類モデルによって捉えられがちである。
モデルがカンジダに焦点を合わせるのを容易にするために,ロバストな診断分類モデルが得られる注意誘導手法を提案する。
具体的には,まず,事前学習された検出モデルを事前指示として使用し,分類モデルを初期化する。
そこで我々は,カンジダの微細な特徴に注意を向けるために,スキップ自己注意モジュールを設計する。
最後に,wsisのスタイルギャップによる過剰フィットを軽減し,偽陽性領域への注意を抑制するために,対比学習法を用いる。
実験により,我々のフレームワークが最先端の性能を達成することを示す。
コードとサンプルデータはhttps://github.com/cjdbehumble/miccai2023-vvc-screeningで入手できる。 Vulvovaginal candidiasis (VVC) is the most prevalent human candidal infection, estimated to afflict approximately 75% of all women at least once in their lifetime. It will lead to several symptoms including pruritus, vaginal soreness, and so on. Automatic whole slide image (WSI) classification is highly demanded, for the huge burden of disease control and prevention. However, the WSI-based computer-aided VCC screening method is still vacant due to the scarce labeled data and unique properties of candida. Candida in WSI is challenging to be captured by conventional classification models due to its distinctive elongated shape, the small proportion of their spatial distribution, and the style gap from WSIs. To make the model focus on the candida easier, we propose an attention-guided method, which can obtain a robust diagnosis classification model. Specifically, we first use a pre-trained detection model as prior instruction to initialize the classification model. Then we design a Skip Self-Attention module to refine the attention onto the fined-grained features of candida. Finally, we use a contrastive learning method to alleviate the overfitting caused by the style gap of WSIs and suppress the attention to false positive regions. Our experimental results demonstrate that our framework achieves state-of-the-art performance. Code and example data are available at https://github.com/cjdbehumble/MICCAI2023-VVC-Screening. | 翻訳日:2023-09-07 17:07:23 公開日:2023-09-06 |
| # オフライン制約付き深層強化学習によるマーケティング予算配分 Marketing Budget Allocation with Offline Constrained Deep Reinforcement Learning ( http://arxiv.org/abs/2309.02669v1 ) ライセンス: Link先を確認 | Tianchi Cai, Jiyan Jiang, Wenpeng Zhang, Shiji Zhou, Xierui Song, Li Yu, Lihong Gu, Xiaodong Zeng, Jinjie Gu, Guannan Zhang | (参考訳) 以前収集したオフラインデータを利用したオンラインマーケティングキャンペーンにおける予算配分問題について検討する。
まず,オフライン環境でのマーケティング予算配分決定の最適化による長期的効果について考察する。
この課題を克服するために,混合ポリシーを用いた新しいゲーム理論的オフライン価値ベース強化学習手法を提案する。
提案手法は, 従来手法では無限に多くのポリシーを格納する必要性を減らし, 常に多くのポリシーしか保存せず, ほぼ最適な政策効率を実現し, 産業利用に有効である。
さらに, この手法は, マーケティング予算配分のための既往の価値ベース強化学習手法では達成できない最適方針に収束することが保証されている。
我々は,数千万人のユーザと10億以上の予算を持つ大規模マーケティングキャンペーンにおける実験により,提案手法が様々なベースライン手法を上回っていることを示す。
提案手法は,このマーケティングキャンペーンの全トラフィックに対して有効に展開されている。 We study the budget allocation problem in online marketing campaigns that utilize previously collected offline data. We first discuss the long-term effect of optimizing marketing budget allocation decisions in the offline setting. To overcome the challenge, we propose a novel game-theoretic offline value-based reinforcement learning method using mixed policies. The proposed method reduces the need to store infinitely many policies in previous methods to only constantly many policies, which achieves nearly optimal policy efficiency, making it practical and favorable for industrial usage. We further show that this method is guaranteed to converge to the optimal policy, which cannot be achieved by previous value-based reinforcement learning methods for marketing budget allocation. Our experiments on a large-scale marketing campaign with tens-of-millions users and more than one billion budget verify the theoretical results and show that the proposed method outperforms various baseline methods. The proposed method has been successfully deployed to serve all the traffic of this marketing campaign. | 翻訳日:2023-09-07 17:06:58 公開日:2023-09-06 |
| # エッジデバイスを用いた高速かつ資源効率の高い物体追跡:計測研究 Fast and Resource-Efficient Object Tracking on Edge Devices: A Measurement Study ( http://arxiv.org/abs/2309.02666v1 ) ライセンス: Link先を確認 | Sanjana Vijay Ganesh, Yanzhao Wu, Gaowen Liu, Ramana Kompella, Ling Liu | (参考訳) オブジェクト追跡は、エッジビデオ分析システムとサービスの重要な機能である。
マルチオブジェクトトラッキング(MOT)は動く物体を検出し、実際のシーンがビデオに写っているときにフレームによって位置をトラッキングする。
しかしながら、エッジ上のリアルタイムオブジェクトトラッキングは、特に異種コンピューティングリソースのエッジデバイスにおいて、重要な技術的課題となることはよく知られている。
本稿では,オブジェクト追跡の性能問題とエッジ特有の最適化機会について検討する。
十分に訓練され最適化されたMOTモデルでさえ、エッジデバイスが計算資源が不十分な場合にも、ランダムなフレーム降下問題に悩まされることを示します。
我々は、ウィンドウベースの最適化から類似性に基づく最適化まで、リアルタイムオブジェクト追跡を高速化するために、EMOと呼ばれるエッジ固有のパフォーマンス最適化戦略をいくつか提示する。
一般的なMOTベンチマークの大規模な実験により、私たちのEMOアプローチは、実行時の性能とトラッキング精度の観点から、デバイス上でのオブジェクト追跡技術の代表的手法と競合することを示した。
EMOはGithubでhttps://github.com/git-disl/EMOで公開されている。 Object tracking is an important functionality of edge video analytic systems and services. Multi-object tracking (MOT) detects the moving objects and tracks their locations frame by frame as real scenes are being captured into a video. However, it is well known that real time object tracking on the edge poses critical technical challenges, especially with edge devices of heterogeneous computing resources. This paper examines the performance issues and edge-specific optimization opportunities for object tracking. We will show that even the well trained and optimized MOT model may still suffer from random frame dropping problems when edge devices have insufficient computation resources. We present several edge specific performance optimization strategies, collectively coined as EMO, to speed up the real time object tracking, ranging from window-based optimization to similarity based optimization. Extensive experiments on popular MOT benchmarks demonstrate that our EMO approach is competitive with respect to the representative methods for on-device object tracking techniques in terms of run-time performance and tracking accuracy. EMO is released on Github at https://github.com/git-disl/EMO. | 翻訳日:2023-09-07 17:06:41 公開日:2023-09-06 |
| # 空間顆粒の沈下対策 Subsethood Measures of Spatial Granules ( http://arxiv.org/abs/2309.02662v1 ) ライセンス: Link先を確認 | Liquan Zhao and Yiyu Yao | (参考訳) 集合包含関係の次数を測定する部分集合は、ファジィ集合論において支配的である。
本稿では,空間の粒状化,粗大な関係,および相合,共役,商対合,商対合といった操作の基本的概念を紹介する。
すべての原子顆粒は集合包含関係によって階層化でき、全ての顆粒は粗粒関係によって階層化することができる。
マイクロ視点とマクロ視点から情報システムを見ることにより,マイクロ知識空間とマイクロ知識空間が得られ,そこから粗集合モデルと空間粗粒モデルがそれぞれ得られる。
古典的粗い集合モデルは微小知識空間から誘導される粗い集合モデルの特別な場合であり、空間的粗い粒状モデルは構造の問題解決において重要な役割を果たす。
本研究は,12の単トン増加部分集合公理と12の対応する単トン減少部分集合公理について論じ,それぞれ条件粒度と条件粒度を一般化する。
5つの条件粒度尺度と5つの条件粒度尺度を作成し、それぞれの条件粒度または微細度尺度が対応する12の公理を満たすことを証明した。
さらに、5つの条件粒度エントロピーと5つの条件粒度エントロピーを定義し、それぞれのエントロピーは境界条件の一部のみを満たすが、全ての10個のモノトン条件を満たす。 Subsethood, which is to measure the degree of set inclusion relation, is predominant in fuzzy set theory. This paper introduces some basic concepts of spatial granules, coarse-fine relation, and operations like meet, join, quotient meet and quotient join. All the atomic granules can be hierarchized by set-inclusion relation and all the granules can be hierarchized by coarse-fine relation. Viewing an information system from the micro and the macro perspectives, we can get a micro knowledge space and a micro knowledge space, from which a rough set model and a spatial rough granule model are respectively obtained. The classical rough set model is the special case of the rough set model induced from the micro knowledge space, while the spatial rough granule model will be play a pivotal role in the problem-solving of structures. We discuss twelve axioms of monotone increasing subsethood and twelve corresponding axioms of monotone decreasing supsethood, and generalize subsethood and supsethood to conditional granularity and conditional fineness respectively. We develop five conditional granularity measures and five conditional fineness measures and prove that each conditional granularity or fineness measure satisfies its corresponding twelve axioms although its subsethood or supsethood measure only hold one of the two boundary conditions. We further define five conditional granularity entropies and five conditional fineness entropies respectively, and each entropy only satisfies part of the boundary conditions but all the ten monotone conditions. | 翻訳日:2023-09-07 17:06:26 公開日:2023-09-06 |
| # gapエンジニアリングによるトランスモンキュービットにおける準粒子中毒の抑制 Suppression of quasiparticle poisoning in transmon qubits by gap engineering ( http://arxiv.org/abs/2309.02655v1 ) ライセンス: Link先を確認 | Plamen Kamenov, Thomas DiNapoli, Michael Gershenson, and Srivatsan Chakram | (参考訳) 超低温で動作する様々な超伝導デバイスの性能は、非平衡準粒子の存在によって損なわれる。
超伝導量子ビットにおけるジョセフソン接合の非弾性準粒子(QP)トンネルはデコヒーレンスと急激な励起をもたらし、特に量子誤差の補正を著しく阻害する相関誤差を引き起こす。
本研究は, 超伝導量子プロセッサの主要な構成要素であるal-based transmon qubitsにおける低エネルギー準粒子のトンネル化を抑制するためにgap engineeringを用いる。
QPの潜在的な障壁を実装することにより、接続点を横断するQPトンネルを強く抑制し、電荷パリティを10^3$秒以上保持する。
QPトンネルの抑制はまた、クォービットエネルギー緩和率の低下をもたらす。
ギャップエンジニアリングに対する実証されたアプローチは、ジョセフソン接合を持つ全てのAl系回路で容易に実装できる。 The performance of various superconducting devices operating at ultra-low temperatures is impaired by the presence of non-equilibrium quasiparticles. Inelastic quasiparticle (QP) tunneling across Josephson junctions in superconducting qubits results in decoherence and spurious excitations and, notably, can trigger correlated errors that severely impede quantum error correction. In this work, we use "gap engineering" to suppress the tunneling of low-energy quasiparticles in Al-based transmon qubits, a leading building block for superconducting quantum processors. By implementing potential barriers for QP, we strongly suppress QP tunneling across the junction and preserve charge parity for over $10^3$ seconds. The suppression of QP tunneling also results in a reduction in the qubit energy relaxation rates. The demonstrated approach to gap engineering can be easily implemented in all Al-based circuits with Josephson junctions. | 翻訳日:2023-09-07 17:05:59 公開日:2023-09-06 |
| # 大規模言語モデルに対するゼロソース幻覚防止 Zero-Resource Hallucination Prevention for Large Language Models ( http://arxiv.org/abs/2309.02654v1 ) ライセンス: Link先を確認 | Junyu Luo, Cao Xiao, Fenglong Ma | (参考訳) 様々な領域における大規模言語モデル(LLM)の一般的な使用は、LLMが事実的不正確な情報を生成する事例である「幻覚」の問題に注意を向けている。
言語アシスタントにおける幻覚検出のための既存の技術は、複雑なファジィで特定の自由言語に基づく思考連鎖(cot)技術または解釈可能性の問題に苦しむパラメータベース手法に依存している。
また,幻覚を識別する手法は,その発生を防止できず,命令形式やモデルスタイルの影響により,一貫性に欠ける性能に支障をきたすことができた。
本稿では,入力命令に含まれる概念に対するモデルの親しみ度を評価し,不慣れな概念の場合の応答の生成を抑えることを目的とした,新しい事前検出自己評価手法「 {\method} 」を紹介する。
このアプローチは、不慣れなトピックに反応する人間の能力をエミュレートし、幻覚を減らす。
4つの異なる大規模言語モデルにまたがって {\method} を検証し、既存の手法と比較して一貫して優れた性能を示している。
以上の結果から, LLMアシスタントの幻覚予防戦略への大幅な転換, 信頼性, 適用性, 解釈性の向上が示唆された。 The prevalent use of large language models (LLMs) in various domains has drawn attention to the issue of "hallucination," which refers to instances where LLMs generate factually inaccurate or ungrounded information. Existing techniques for hallucination detection in language assistants rely on intricate fuzzy, specific free-language-based chain of thought (CoT) techniques or parameter-based methods that suffer from interpretability issues. Additionally, the methods that identify hallucinations post-generation could not prevent their occurrence and suffer from inconsistent performance due to the influence of the instruction format and model style. In this paper, we introduce a novel pre-detection self-evaluation technique, referred to as {\method}, which focuses on evaluating the model's familiarity with the concepts present in the input instruction and withholding the generation of response in case of unfamiliar concepts. This approach emulates the human ability to refrain from responding to unfamiliar topics, thus reducing hallucinations. We validate {\method} across four different large language models, demonstrating consistently superior performance compared to existing techniques. Our findings propose a significant shift towards preemptive strategies for hallucination mitigation in LLM assistants, promising improvements in reliability, applicability, and interpretability. | 翻訳日:2023-09-07 17:05:42 公開日:2023-09-06 |
| # 核近似としての対比学習 Contrastive Learning as Kernel Approximation ( http://arxiv.org/abs/2309.02651v1 ) ライセンス: Link先を確認 | Konstantinos Christopher Tsiolis | (参考訳) 標準的な教師付き機械学習では、データの入力毎にラベルを提供する必要がある。
多くのアプリケーションドメインの生データはインターネット上で容易に取得できるが、このデータの手動ラベリングは必然的に高価である。
この問題を回避するために、コントラッシブラーニング手法は、大きな未ラベルデータセット上の高次元入力の低次元ベクトル表現(特徴とも呼ばれる)を生成する。
これは、類似の入力が高い内積を持ち、異種入力が特徴空間において低い内積を持つことを強制する対照的な損失関数による訓練によって行われる。
各入力を個別にアノテートするのではなく、類似した異なる入力のペアをサンプリングする手段を定義する。
対照的な特徴は、より小さなラベル付きデータセット上の教師付き学習システムへの入力として提供され、興味のあるタスクの精度を高めることができる。
この論文の目的は、コントラスト損失関数の最小化と、ラベルなしデータから特徴を学習するための事前手法との関係に関する、コントラスト学習の現在の理論的理解の概要を提供することである。
最小化関数が正半定値(PSD)カーネルを暗黙的に近似する一般のコントラスト損失関数に注目する。
後者は函数解析と学習理論においてよく研究された対象であり、空間の要素間の類似性の概念を形式化する。
PSDカーネルは、再生カーネルヒルベルト空間の理論を通じて、特徴の暗黙的な定義を提供する。 In standard supervised machine learning, it is necessary to provide a label for every input in the data. While raw data in many application domains is easily obtainable on the Internet, manual labelling of this data is prohibitively expensive. To circumvent this issue, contrastive learning methods produce low-dimensional vector representations (also called features) of high-dimensional inputs on large unlabelled datasets. This is done by training with a contrastive loss function, which enforces that similar inputs have high inner product and dissimilar inputs have low inner product in the feature space. Rather than annotating each input individually, it suffices to define a means of sampling pairs of similar and dissimilar inputs. Contrastive features can then be fed as inputs to supervised learning systems on much smaller labelled datasets to obtain high accuracy on end tasks of interest. The goal of this thesis is to provide an overview of the current theoretical understanding of contrastive learning, specifically as it pertains to the minimizers of contrastive loss functions and their relationship to prior methods for learning features from unlabelled data. We highlight popular contrastive loss functions whose minimizers implicitly approximate a positive semidefinite (PSD) kernel. The latter is a well-studied object in functional analysis and learning theory that formalizes a notion of similarity between elements of a space. PSD kernels provide an implicit definition of features through the theory of reproducing kernel Hilbert spaces. | 翻訳日:2023-09-07 17:05:18 公開日:2023-09-06 |
| # TFBEST:故障予測のための学習可能な位置符号化付きデュアルアスペクト変換器 TFBEST: Dual-Aspect Transformer with Learnable Positional Encoding for Failure Prediction ( http://arxiv.org/abs/2309.02641v1 ) ライセンス: Link先を確認 | Rohan Mohapatra and Saptarshi Sengupta | (参考訳) データセンターにおけるハードディスクドライブ(hdd)の障害は、破壊的なデータ損失から善意の問題に至るまで、コストがかかります。
HDD障害に対する積極的に監視する重要なツールは、Remaining Useful Life (RUL) のタイムリーな推定である。
この目的のために、HDD(S.M.A.R.T.)で採用されているセルフ監視・分析・報告技術は、これらの必須データストレージデバイスのセキュリティと信頼性の長期維持のために重要なログを提供する。
データ駆動予測モデルはこれまで、これらのS.M.A.R.T.ログとCNN/RNNベースのアーキテクチャを多用してきた。
しかし、彼らは予測されたRUL値の周囲の信頼区間を提供し、またログの非常に長いシーケンスを処理している。
さらに、LSTMベースのアプローチなど、これらのアプローチのいくつかは、本質的にトレーニングが遅く、面倒な機能エンジニアリングオーバーヘッドを抱えています。
これらの課題を克服するために,本研究では,ハードドライブの故障を予測するための時間的融合バイエンコーダセルフアテンショントランスフォーマ(tfbest)という新しいトランスアーキテクチャを提案する。
エンコーダ-デコーダベースのディープラーニング技術で、健康統計シーケンスの理解から得られたコンテキストを強化し、ディスクが失敗する可能性のある日数列を予測する。
本稿では、製造者が時間枠内のハードドライブを置き換えるのに役立つ、新たな信頼度マージン統計も提供する。
シーゲートHDDデータを用いた実験では,Backblaze (2013-現在) の10年間の徹底的なデータに対する試験において,我々の手法は最先端のRUL予測手法よりも有意に優れていた。
HDD故障予測で検証されているが、TFBESTアーキテクチャは他の予後学的な応用に適しており、関連する回帰問題に適用できる可能性がある。 Hard Disk Drive (HDD) failures in datacenters are costly - from catastrophic data loss to a question of goodwill, stakeholders want to avoid it like the plague. An important tool in proactively monitoring against HDD failure is timely estimation of the Remaining Useful Life (RUL). To this end, the Self-Monitoring, Analysis and Reporting Technology employed within HDDs (S.M.A.R.T.) provide critical logs for long-term maintenance of the security and dependability of these essential data storage devices. Data-driven predictive models in the past have used these S.M.A.R.T. logs and CNN/RNN based architectures heavily. However, they have suffered significantly in providing a confidence interval around the predicted RUL values as well as in processing very long sequences of logs. In addition, some of these approaches, such as those based on LSTMs, are inherently slow to train and have tedious feature engineering overheads. To overcome these challenges, in this work we propose a novel transformer architecture - a Temporal-fusion Bi-encoder Self-attention Transformer (TFBEST) for predicting failures in hard-drives. It is an encoder-decoder based deep learning technique that enhances the context gained from understanding health statistics sequences and predicts a sequence of the number of days remaining before a disk potentially fails. In this paper, we also provide a novel confidence margin statistic that can help manufacturers replace a hard-drive within a time frame. Experiments on Seagate HDD data show that our method significantly outperforms the state-of-the-art RUL prediction methods during testing over the exhaustive 10-year data from Backblaze (2013-present). Although validated on HDD failure prediction, the TFBEST architecture is well-suited for other prognostics applications and may be adapted for allied regression problems. | 翻訳日:2023-09-07 17:04:54 公開日:2023-09-06 |
| # epi-curriculum: ニューラルマシン翻訳における低リソース領域適応のためのエピソディックカリキュラム学習 Epi-Curriculum: Episodic Curriculum Learning for Low-Resource Domain Adaptation in Neural Machine Translation ( http://arxiv.org/abs/2309.02640v1 ) ライセンス: Link先を確認 | Keyu Chen, Di Zhuang, Mingchen Li, J. Morris Chang | (参考訳) ニューラルマシン翻訳(NMT)モデルは成功したが、限られた数のデータで新しいドメインを翻訳する際の性能は依然として劣っている。
本稿では,低リソース領域適応(DA)に対処する新しい手法であるEpi-Curriculumを提案する。
エピソディックトレーニングフレームワークは、エンコーダ/デコーダを経験の浅いデコーダ/エンコーダにエピソディカルに露出させることで、モデルのドメインシフトに対する堅牢性を高める。
識別されたカリキュラム学習は、ノイズのあるデータをフィルタリングし、学習プロセスをより簡単なタスクからより難しいタスクへと徐々に導くことにより、モデルの適応性を向上させる。
英語・ドイツ語・英語・ルーマニア語訳実験
(i)エピクルクルクルムは、見かけ上及び見当たらない領域におけるモデルのロバスト性と適応性の両方を改善する。
(ii)当社のエピソディックトレーニングフレームワークは、エンコーダとデコーダのドメインシフトに対する堅牢性を高めます。 Neural Machine Translation (NMT) models have become successful, but their performance remains poor when translating on new domains with a limited number of data. In this paper, we present a novel approach Epi-Curriculum to address low-resource domain adaptation (DA), which contains a new episodic training framework along with denoised curriculum learning. Our episodic training framework enhances the model's robustness to domain shift by episodically exposing the encoder/decoder to an inexperienced decoder/encoder. The denoised curriculum learning filters the noised data and further improves the model's adaptability by gradually guiding the learning process from easy to more difficult tasks. Experiments on English-German and English-Romanian translation show that: (i) Epi-Curriculum improves both model's robustness and adaptability in seen and unseen domains; (ii) Our episodic training framework enhances the encoder and decoder's robustness to domain shift. | 翻訳日:2023-09-07 17:04:24 公開日:2023-09-06 |
| # ネットワーク校正のための信頼性と確実性の多クラスアライメント Multiclass Alignment of Confidence and Certainty for Network Calibration ( http://arxiv.org/abs/2309.02636v1 ) ライセンス: Link先を確認 | Vinith Kugathasan and Muhammad Haris Khan | (参考訳) ディープニューラルネットワーク(DNN)は、いくつかの挑戦的な領域において最先端の技術を推し進める上で大きな一歩を踏み出した。
最近の研究では、自信過剰な予測をする傾向があることが示されている。
これにより、特に安全クリティカルなアプリケーションにおいて、モデル予測に対する全体的な信頼が大幅に低下する。
モデルキャリブレーションの改善の初期の作業は、限られたパラメータに依存し、ホールドアウトセットを必要とする後処理技術を採用している。
モデルパラメータを全て含む最近の列車時校正法では、後処理法を上回ることができる。
そこで本研究では,予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる,シンプルなプラグアンドプレイ補助損失を特徴とする列車時校正手法を提案する。
モデルミスカバリレーションはその予測的確実性に直接関連しているという観測に基づいており、平均信頼度と確実性の間の高いギャップは、分布内予測と分布外予測の両方において不十分なキャリブレーションとなる。
この知見に照らして、提案された損失は、自信(または自信の低い)モデルに対して、事前のソフトマックス分布に低い(あるいは高い)展開を提供することを明示的に促します。
領域内,領域外,非視覚的認識,医用画像分類のシナリオを網羅した10個の挑戦的データセットに対する大規模な実験により,本手法が領域内および領域外の両方で最先端の校正性能を達成することを示す。
私たちのコードとモデルは公開されます。 Deep neural networks (DNNs) have made great strides in pushing the state-of-the-art in several challenging domains. Recent studies reveal that they are prone to making overconfident predictions. This greatly reduces the overall trust in model predictions, especially in safety-critical applications. Early work in improving model calibration employs post-processing techniques which rely on limited parameters and require a hold-out set. Some recent train-time calibration methods, which involve all model parameters, can outperform the postprocessing methods. To this end, we propose a new train-time calibration method, which features a simple, plug-and-play auxiliary loss known as multi-class alignment of predictive mean confidence and predictive certainty (MACC). It is based on the observation that a model miscalibration is directly related to its predictive certainty, so a higher gap between the mean confidence and certainty amounts to a poor calibration both for in-distribution and out-of-distribution predictions. Armed with this insight, our proposed loss explicitly encourages a confident (or underconfident) model to also provide a low (or high) spread in the presoftmax distribution. Extensive experiments on ten challenging datasets, covering in-domain, out-domain, non-visual recognition and medical image classification scenarios, show that our method achieves state-of-the-art calibration performance for both in-domain and out-domain predictions. Our code and models will be publicly released. | 翻訳日:2023-09-07 17:04:07 公開日:2023-09-06 |
| # k-meansにおけるoutlier Robust Seedingの改良 Improved Outlier Robust Seeding for k-means ( http://arxiv.org/abs/2309.02710v1 ) ライセンス: Link先を確認 | Amit Deshpande and Rameshwar Pratap | (参考訳) k$-meansは一般的なクラスタリングの目標だが、本質的には非ロバストであり、外れ値に敏感である。
一般的なシードや初期化である$k$-means++は$D^{2}$サンプリングを使用し、証明可能な$O(\log k)$ approximation guarantee \cite{AV2007}が付属している。
しかし、逆雑音や異常値が存在する場合、サンプリングした$d^{2}$は、異常値クラスタではなく遠く離れた外れ値から中心を選択する傾向が強いため、その近似は、異常値に対する$k$-means の解を保証しない。
与えられたデータのうち、外れ値が一定の割合を占めると仮定すると、$D^2$のサンプリング分布において単純な変種が提案される。
我々のアルゴリズムは、$O(ndk)$タイムで実行され、$O(k)$クラスタを出力し、最適値よりも極端に多くのポイントを破棄し、証明可能な$O(1)$近似を保証する。
アルゴリズムは、o(k)$クラスタではなく、正確に$k$クラスタを出力するように変更することもでき、実行時間は$n$と$d$で線形に保たれます。
これは、lpリラクゼーションと丸い \cite{charikar}, \cite{krishnaswamyls18}, \textit{robust $k$-means++} \cite{deshpandekp20} に基づく堅牢な $k$-means に対する以前の結果に対する改善である。
実験結果から,本アルゴリズムの利点は,k$-means++~\cite{av2007},uniform random seeding,greedy sampling for $k$ means~\cite{tkmeanspp},ロバストな$k$-means++~\cite{deshpandekp20} を,従来の研究で使用した標準実世界および合成データセット上で示した。
我々の提案は、$k$-means++ \cite{Bahmani,BachemL017} のスケーラビリティと高速な並列実装に容易に対応でき、outliers \cite{feldman2007ptas,langberg2010universal,feldman 2011unified} の存在下でコアセットの構築に独立した関心を持っている。 The $k$-means is a popular clustering objective, although it is inherently non-robust and sensitive to outliers. Its popular seeding or initialization called $k$-means++ uses $D^{2}$ sampling and comes with a provable $O(\log k)$ approximation guarantee \cite{AV2007}. However, in the presence of adversarial noise or outliers, $D^{2}$ sampling is more likely to pick centers from distant outliers instead of inlier clusters, and therefore its approximation guarantees \textit{w.r.t.} $k$-means solution on inliers, does not hold. Assuming that the outliers constitute a constant fraction of the given data, we propose a simple variant in the $D^2$ sampling distribution, which makes it robust to the outliers. Our algorithm runs in $O(ndk)$ time, outputs $O(k)$ clusters, discards marginally more points than the optimal number of outliers, and comes with a provable $O(1)$ approximation guarantee. Our algorithm can also be modified to output exactly $k$ clusters instead of $O(k)$ clusters, while keeping its running time linear in $n$ and $d$. This is an improvement over previous results for robust $k$-means based on LP relaxation and rounding \cite{Charikar}, \cite{KrishnaswamyLS18} and \textit{robust $k$-means++} \cite{DeshpandeKP20}. Our empirical results show the advantage of our algorithm over $k$-means++~\cite{AV2007}, uniform random seeding, greedy sampling for $k$ means~\cite{tkmeanspp}, and robust $k$-means++~\cite{DeshpandeKP20}, on standard real-world and synthetic data sets used in previous work. Our proposal is easily amenable to scalable, faster, parallel implementations of $k$-means++ \cite{Bahmani,BachemL017} and is of independent interest for coreset constructions in the presence of outliers \cite{feldman2007ptas,langberg2010universal,feldman2011unified}. | 翻訳日:2023-09-07 16:58:42 公開日:2023-09-06 |
| # HAE-RAE Bench: 言語モデルにおける韓国語知識の評価 HAE-RAE Bench: Evaluation of Korean Knowledge in Language Models ( http://arxiv.org/abs/2309.02706v1 ) ライセンス: Link先を確認 | Guijin Son, Hanwool Lee, Suwan Kim, Jaecheol Lee, Je Won Yeom, Jihyu Jung, Jung Woo Kim, Songseong Kim | (参考訳) 大規模コーパスに事前学習された大規模言語モデル(llm)は、幅広いタスクにわたって顕著な能力を発揮するが、非英語言語への注目はこの分野で限定されている。
このギャップに対処し,韓国語・文化における言語モデルの習熟度を評価するために,語彙,歴史,一般知識を含む6つのタスクをカバーするhae-raeベンチを提案する。
本ベンチマークでは, GPT-3.5のような包括的, 普遍的モデルに対して, LLSM(Large Language-Specific Models)を用いることの潜在的な利点を強調した。
本研究は,GPT-3.5の約13倍のモデルで,言語固有の知識検索において,同様の性能を示すことを示す。
この観察は、プロレベルの言語特化モデルを訓練するための均質コーパスの重要性を強調している。
それとは対照的に、構造化された回答を生成するよう指示されたとき、これらの小さなLMのパープレッション性能の低下も観察する。 Large Language Models (LLMs) pretrained on massive corpora exhibit remarkable capabilities across a wide range of tasks, however, the attention given to non-English languages has been limited in this field of research. To address this gap and assess the proficiency of language models in the Korean language and culture, we present HAE-RAE Bench, covering 6 tasks including vocabulary, history, and general knowledge. Our evaluation of language models on this benchmark highlights the potential advantages of employing Large Language-Specific Models(LLSMs) over a comprehensive, universal model like GPT-3.5. Remarkably, our study reveals that models approximately 13 times smaller than GPT-3.5 can exhibit similar performance levels in terms of language-specific knowledge retrieval. This observation underscores the importance of homogeneous corpora for training professional-level language-specific models. On the contrary, we also observe a perplexing performance dip in these smaller LMs when they are tasked to generate structured answers. | 翻訳日:2023-09-07 16:57:47 公開日:2023-09-06 |
| # 対向プロンプトに対するllm安全性の検証 Certifying LLM Safety against Adversarial Prompting ( http://arxiv.org/abs/2309.02705v1 ) ライセンス: Link先を確認 | Aounon Kumar, Chirag Agarwal, Suraj Srinivas, Soheil Feizi and Hima Lakkaraju | (参考訳) 一般向けにリリースされた大型言語モデル(llm)は、出力が安全であることを保証するためにguardrailsを組み込んでいる。
整列型言語モデルは、有害なコンテンツを生成するユーザの要求を減らすべきである。
しかし、このような安全対策は、モデルの安全ガードを回避し有害なコンテンツを生み出すために悪意ある設計のトークンシーケンスを含む敵のプロンプトに対して脆弱である。
本稿では,検証可能な安全性保証によって敵のプロンプトから防御する最初のフレームワークである消去・チェックを紹介する。
トークンを個別に消去し、セーフティフィルタを用いて結果のサブシーケンスを検査する。
提案手法では, サブシーケンスや入力プロンプトがフィルタによって有害であると検出された場合, 入力プロンプトを有害であるとラベル付けする。
これは、有害なプロンプトの特定のサイズまで敵の修正が有害であることも保証する。
我々は3つの攻撃モードに対して防御する。
一 相手方の接尾辞で、プロンプトの終わりに相手方の接尾辞を付すもの
二 相手方の挿入であって、相手方のシーケンスがプロンプトの中央のどこにでも挿入されているもの
三 敵トークンをそのプロンプトにおいて任意の位置に挿入する場合であって、必ずしも連続ブロックではないもの
実験の結果,本手法は有害なプロンプトに対して高い安全性を保証し,安全プロンプトにおいて良好な性能を維持していることが示された。
例えば、長さ20の逆接接尾辞に対して、有害なプロンプトの93%を確実に検出し、安全フィルタとしてオープンソースの言語モデルLlama2を用いて、安全プロンプトの94%を安全であるとラベル付けする。 Large language models (LLMs) released for public use incorporate guardrails to ensure their output is safe, often referred to as "model alignment." An aligned language model should decline a user's request to produce harmful content. However, such safety measures are vulnerable to adversarial prompts, which contain maliciously designed token sequences to circumvent the model's safety guards and cause it to produce harmful content. In this work, we introduce erase-and-check, the first framework to defend against adversarial prompts with verifiable safety guarantees. We erase tokens individually and inspect the resulting subsequences using a safety filter. Our procedure labels the input prompt as harmful if any subsequences or the input prompt are detected as harmful by the filter. This guarantees that any adversarial modification of a harmful prompt up to a certain size is also labeled harmful. We defend against three attack modes: i) adversarial suffix, which appends an adversarial sequence at the end of the prompt; ii) adversarial insertion, where the adversarial sequence is inserted anywhere in the middle of the prompt; and iii) adversarial infusion, where adversarial tokens are inserted at arbitrary positions in the prompt, not necessarily as a contiguous block. Empirical results demonstrate that our technique obtains strong certified safety guarantees on harmful prompts while maintaining good performance on safe prompts. For example, against adversarial suffixes of length 20, it certifiably detects 93% of the harmful prompts and labels 94% of the safe prompts as safe using the open source language model Llama 2 as the safety filter. | 翻訳日:2023-09-07 16:57:31 公開日:2023-09-06 |
| # 画像分類のための遺伝子誘発マルチモーダル事前学習 Gene-induced Multimodal Pre-training for Image-omic Classification ( http://arxiv.org/abs/2309.02702v1 ) ライセンス: Link先を確認 | Ting Jin and Xingran Xie and Renjie Wan and Qingli Li and Yan Wang | (参考訳) ゲノムアッセイと統合した腫瘍微小環境の組織学的解析は、現代の医学におけるほとんどのがんの標準である。
本稿では、ゲノム情報と全スライド画像(WSI)を併用した遺伝子誘導型マルチモーダル事前学習(GiMP)フレームワークを提案する。
本研究は,(1)gigapixel wsisと数万の遺伝子からの患者レベルの特徴抽出の難しさ,(2)高次関連性モデリングを考慮した効果的な融合の課題に対処することを目的としている。
具体的には,まず,遺伝子発現コホートにおける大域的構造的特徴を捉えるために,グループ多頭自己結合型遺伝子エンコーダを提案する。
異なる組織に潜伏する病理特性を捉えるために,マスクパッチモデリングパラダイム (MPM) を設計した。
マスク戦略は、wsiのパッチ埋め込みの固定長連続部分列をランダムにマスキングする。
最後に,ペア型モダリティの分類トークンを組み合わせて,高次関連性と判別的患者レベル情報を学習するための三重項学習モジュールを提案する。
TCGAデータセットによる実験結果から,ネットワークアーキテクチャと事前学習フレームワークの優位性が示され,画像-オミクス分類の精度は99.47%に達した。
コードはhttps://github.com/huangwudiduan/GIMPで公開されている。 Histology analysis of the tumor micro-environment integrated with genomic assays is the gold standard for most cancers in modern medicine. This paper proposes a Gene-induced Multimodal Pre-training (GiMP) framework, which jointly incorporates genomics and Whole Slide Images (WSIs) for classification tasks. Our work aims at dealing with the main challenges of multi-modality image-omic classification w.r.t. (1) the patient-level feature extraction difficulties from gigapixel WSIs and tens of thousands of genes, and (2) effective fusion considering high-order relevance modeling. Concretely, we first propose a group multi-head self-attention gene encoder to capture global structured features in gene expression cohorts. We design a masked patch modeling paradigm (MPM) to capture the latent pathological characteristics of different tissues. The mask strategy is randomly masking a fixed-length contiguous subsequence of patch embeddings of a WSI. Finally, we combine the classification tokens of paired modalities and propose a triplet learning module to learn high-order relevance and discriminative patient-level information.After pre-training, a simple fine-tuning can be adopted to obtain the classification results. Experimental results on the TCGA dataset show the superiority of our network architectures and our pre-training framework, achieving 99.47% in accuracy for image-omic classification. The code is publicly available at https://github.com/huangwudiduan/GIMP. | 翻訳日:2023-09-07 16:57:02 公開日:2023-09-06 |
| # 視覚モデルと言語モデルにおける句の接地とタスクパフォーマンスに関する共同研究 A Joint Study of Phrase Grounding and Task Performance in Vision and Language Models ( http://arxiv.org/abs/2309.02691v1 ) ライセンス: Link先を確認 | Noriyuki Kojima, Hadar Averbuch-Elor, Yoav Artzi | (参考訳) 視覚的文脈における自然言語の推論を必要とするタスクの鍵は、言葉とフレーズを画像領域に接地することである。
しかし、この基底を現代のモデルで観察することは複雑であり、たとえそのタスクが一般化に導電性のある方法で対処されたとしても、一般に行われることが予想される。
本稿では,タスク性能と句のグラウンド化を共同で研究する枠組みを提案し,両者の関係を研究するための3つのベンチマークを提案する。
この結果から,現代モデルでは,句の理解能力と課題解決能力の矛盾が示されている。
本稿では,地中フラージングアノテーションのブルートフォーストレーニングによってこれに対処する方法を示し,その生成するダイナミクスを分析する。
コードと利用はhttps://github.com/lil-lab/phrase_grounding.com/。 Key to tasks that require reasoning about natural language in visual contexts is grounding words and phrases to image regions. However, observing this grounding in contemporary models is complex, even if it is generally expected to take place if the task is addressed in a way that is conductive to generalization. We propose a framework to jointly study task performance and phrase grounding, and propose three benchmarks to study the relation between the two. Our results show that contemporary models demonstrate inconsistency between their ability to ground phrases and solve tasks. We show how this can be addressed through brute-force training on ground phrasing annotations, and analyze the dynamics it creates. Code and at available at https://github.com/lil-lab/phrase_grounding. | 翻訳日:2023-09-07 16:56:39 公開日:2023-09-06 |
| # 量子減衰高調波発振器の有効記述:バトマン双対系の再検討 Effective Description of the Quantum Damped Harmonic Oscillator: Revisiting the Bateman Dual System ( http://arxiv.org/abs/2309.02689v1 ) ライセンス: Link先を確認 | Carlos Raul Javier Valdez, Hector Hugo Hernandez Hernandez, and Guillermo Chac\'on Acosta | (参考訳) 本稿では、モーメント量子力学として知られる枠組みを用いて、減衰調和振動子(qdho)の量子化スキームを提案する。
本手法は、位相空間変数が観測可能および量子分散の期待値によって与えられる、拡張古典ハミルトニアンから導かれる半古典力学系に依存する。
この研究の意義は、オープン量子システム(OQS)の効果的な記述の基礎となる可能性と、量子力学における散逸の記述にある。
初期古典的枠組みとしてバトマンの双対モデルを用い、量子化を行うことにより、我々の記述が確立されたリンドブラッドマスター方程式と非常によく一致することを証明した。
さらに,本手法はoqsの文脈においてロバスト性と幅広い適用性を示し,様々な現象を研究するための汎用的かつ強力なツールである。
我々は、減衰調和振動子を量子化し、オープン量子系の振舞いに光を遮る効果的な手段を提供することにより、量子物理学の発展に貢献する。 In this work, we present a quantization scheme for the damped harmonic oscillator (QDHO) using a framework known as momentous quantum mechanics. Our method relies on a semiclassical dynamical system derived from an extended classical Hamiltonian, where the phase-space variables are given by expectation values of observables and quantum dispersions. The significance of our study lies in its potential to serve as a foundational basis for the effective description of open quantum systems (OQS), and the description of dissipation in quantum mechanics. By employing the Bateman's dual model as the initial classical framework, and undergoing quantization, we demonstrate that our description aligns exceptionally well with the well-established Lindblad master equation. Furthermore, our approach exhibits robustness and broad applicability in the context of OQS, rendering it a versatile and powerful tool for studying various phenomena. We intend to contribute to the advancement of quantum physics by providing an effective means of quantizing the damped harmonic oscillator and shedding light on the behavior of open quantum systems. | 翻訳日:2023-09-07 16:56:26 公開日:2023-09-06 |
| # Diffusion-EDFs: 視覚ロボットマニピュレーションのためのSE(3)に基づく2-equivariant Denoising Generative Modeling Diffusion-EDFs: Bi-equivariant Denoising Generative Modeling on SE(3) for Visual Robotic Manipulation ( http://arxiv.org/abs/2309.02685v1 ) ライセンス: Link先を確認 | Hyunwoo Ryu, Jiwoo Kim, Junwoo Chang, Hyun Seok Ahn, Joohwan Seo, Taehan Kim, Jongeun Choi, Roberto Horowitz | (参考訳) 近年の研究では、同変法がロボット学習におけるデータ効率、一般化性、ロバスト性を大幅に改善できることが実証されている。
一方,確率的行動を伴う実演からロボット操作学習への有望なアプローチとして,拡散型生成モデリングが注目されている。
本稿では,空間的ロト変換等価性,すなわち拡散生成モデルに対するSE(3)-等価性を含む新しい手法である拡散EDFを提案する。
モデルアーキテクチャにse(3)等価性を統合することで,提案手法は顕著なデータ効率を示し,エンドツーエンドの効果的なトレーニングには5～10タスクのデモンストレーションしか必要としないことを示した。
さらに,本手法は,従来の拡散型操作法よりも優れた一般化性を示す。 Recent studies have verified that equivariant methods can significantly improve the data efficiency, generalizability, and robustness in robot learning. Meanwhile, denoising diffusion-based generative modeling has recently gained significant attention as a promising approach for robotic manipulation learning from demonstrations with stochastic behaviors. In this paper, we present Diffusion-EDFs, a novel approach that incorporates spatial roto-translation equivariance, i.e., SE(3)-equivariance to diffusion generative modeling. By integrating SE(3)-equivariance into our model architectures, we demonstrate that our proposed method exhibits remarkable data efficiency, requiring only 5 to 10 task demonstrations for effective end-to-end training. Furthermore, our approach showcases superior generalizability compared to previous diffusion-based manipulation methods. | 翻訳日:2023-09-07 16:56:07 公開日:2023-09-06 |
| # 膝X線画像の分類精度の向上:自動画像ラベリング手法 Improving Image Classification of Knee Radiographs: An Automated Image Labeling Approach ( http://arxiv.org/abs/2309.02681v1 ) ライセンス: Link先を確認 | Jikai Zhang, Carlos Santos, Christine Park, Maciej Mazurowski, Roy Colglazier | (参考訳) 膝の異常を診断するために深層学習モデルのトレーニングに使用できる、多くのx線画像が膝のx線治療で利用可能である。
しかし、これらの画像は、人間のアノテーションの制限のため、簡単に利用可能なラベルを含まない。
本研究の目的は, 画像分類モデルの改善を図り, 正常膝画像と関節形成術以前の画像とを識別する自動ラベリング手法を開発することである。
自動ラベラーはラベル付きデータの小さなセットで訓練され、ずっと大きなラベル付きデータを自動的にラベル付けし、さらに膝x線診断のための画像分類性能を改善した。
7,382人の患者を用いてアプローチを開発し、637人の患者で検証した。
AUC-ROC 0.894, 異常 AUC-ROC 0.896, 関節形成 AUC-ROC 0.990) とベースラインモデル (WAUC=0.857, 正常 AUC-ROC 0.842, 異常 AUC-ROC 0.848, 関節形成 AUC-ROC 0.987) を比較した。
DeLong 試験では, 正常 (p-value<0.002) と異常 (p-value<0.001) 画像に有意な改善が認められた。
以上の結果より, 自動ラベリング手法により, 画像診断における画像分類の精度が向上し, 患者のケアや大規模な膝のデータセットのキュレーションが容易となった。 Large numbers of radiographic images are available in knee radiology practices which could be used for training of deep learning models for diagnosis of knee abnormalities. However, those images do not typically contain readily available labels due to limitations of human annotations. The purpose of our study was to develop an automated labeling approach that improves the image classification model to distinguish normal knee images from those with abnormalities or prior arthroplasty. The automated labeler was trained on a small set of labeled data to automatically label a much larger set of unlabeled data, further improving the image classification performance for knee radiographic diagnosis. We developed our approach using 7,382 patients and validated it on a separate set of 637 patients. The final image classification model, trained using both manually labeled and pseudo-labeled data, had the higher weighted average AUC (WAUC: 0.903) value and higher AUC-ROC values among all classes (normal AUC-ROC: 0.894; abnormal AUC-ROC: 0.896, arthroplasty AUC-ROC: 0.990) compared to the baseline model (WAUC=0.857; normal AUC-ROC: 0.842; abnormal AUC-ROC: 0.848, arthroplasty AUC-ROC: 0.987), trained using only manually labeled data. DeLong tests show that the improvement is significant on normal (p-value<0.002) and abnormal (p-value<0.001) images. Our findings demonstrated that the proposed automated labeling approach significantly improves the performance of image classification for radiographic knee diagnosis, allowing for facilitating patient care and curation of large knee datasets. | 翻訳日:2023-09-07 16:55:53 公開日:2023-09-06 |
| # 変形型変圧器を用いた視覚追跡の効率的な訓練 Efficient Training for Visual Tracking with Deformable Transformer ( http://arxiv.org/abs/2309.02676v1 ) ライセンス: Link先を確認 | Qingmao Wei, Guotian Zeng, Bi Zeng | (参考訳) 最近のトランスフォーマーベースの視覚追跡モデルは優れた性能を示している。
しかしながら、以前の作業はリソース集約的で、gpuのトレーニング時間が長くなり、非効率なトレーニング方法と畳み込みベースのターゲットヘッドによって推論中に高いgflopsが発生している。
このリソース利用は、現実世界のアプリケーションには適さない。
本稿では,エンドツーエンドのビジュアルオブジェクト追跡フレームワークであるDETRackを提案する。
本フレームワークでは,変形可能な変換器デコーダを目標とする効率的なエンコーダデコーダ構造を用いて,従来の畳み込みヘッドよりも高い空間幅を実現し,GFLOPを低減させる。
トレーニングでは,新しい1対多ラベルの割り当てと補助的復調手法を導入し,モデルの収束を著しく加速する。
提案手法の有効性と有効性を確認する総合実験を行った。
例えば、DETRackはベースラインに必要なトレーニングエポックの20%しか使用せず、GOT-10kベンチマークに挑戦する72.9%のAOを達成し、すべてのトランスフォーマーベースのトラッカーよりも低いGFLOPで動作する。 Recent Transformer-based visual tracking models have showcased superior performance. Nevertheless, prior works have been resource-intensive, requiring prolonged GPU training hours and incurring high GFLOPs during inference due to inefficient training methods and convolution-based target heads. This intensive resource use renders them unsuitable for real-world applications. In this paper, we present DETRack, a streamlined end-to-end visual object tracking framework. Our framework utilizes an efficient encoder-decoder structure where the deformable transformer decoder acting as a target head, achieves higher sparsity than traditional convolution heads, resulting in decreased GFLOPs. For training, we introduce a novel one-to-many label assignment and an auxiliary denoising technique, significantly accelerating model's convergence. Comprehensive experiments affirm the effectiveness and efficiency of our proposed method. For instance, DETRack achieves 72.9% AO on challenging GOT-10k benchmarks using only 20% of the training epochs required by the baseline, and runs with lower GFLOPs than all the transformer-based trackers. | 翻訳日:2023-09-07 16:55:13 公開日:2023-09-06 |
| # RLSynC: シントーン補完のためのオフラインオンライン強化学習 RLSynC: Offline-Online Reinforcement Learning for Synthon Completion ( http://arxiv.org/abs/2309.02671v1 ) ライセンス: Link先を確認 | Frazier N. Baker, Ziqi Chen, and Xia Ning | (参考訳) レトロ合成(Retro synthesis)は、反応可能な反応分子の集合が望ましい生成物を形成する過程である。
合成反応の逆論理を模倣する半テンポレートベースの逆合成法は、まず生成物の反応中心を予測し、その結果のシンソンを反応剤に戻す。
これらの手法は、合成計画に必要とされる解釈可能性と高実用性を可能にする。
セミテンプレート法におけるシントーン補完のためのオフラインオンライン強化学習法 RLSynC を開発した。
rlsyncは1つのエージェントを各シントンに割り当て、それぞれが同期した方法でアクションをステップバイステップで実行することでシントンを完了する。
RLSynCはオフライントレーニングエピソードとオンラインインタラクションの両方からポリシーを学び、RSynCは新しい反応空間を探索する。
RLSynCは、生成物を合成する際に予測された反応物質の可能性を評価するために前方合成モデルを使用し、したがって作用探索を導く。
RLSynCと最先端の逆合成法を比較した。
実験の結果, RLSynCはこれらの手法よりも14.9%, レトロ合成では14.0%向上し, 合成計画におけるその可能性を強調した。 Retrosynthesis is the process of determining the set of reactant molecules that can react to form a desired product. Semi-template-based retrosynthesis methods, which imitate the reverse logic of synthesis reactions, first predict the reaction centers in the products, and then complete the resulting synthons back into reactants. These methods enable necessary interpretability and high practical utility to inform synthesis planning. We develop a new offline-online reinforcement learning method RLSynC for synthon completion in semi-template-based methods. RLSynC assigns one agent to each synthon, all of which complete the synthons by conducting actions step by step in a synchronized fashion. RLSynC learns the policy from both offline training episodes and online interactions which allow RLSynC to explore new reaction spaces. RLSynC uses a forward synthesis model to evaluate the likelihood of the predicted reactants in synthesizing a product, and thus guides the action search. We compare RLSynC with the state-of-the-art retrosynthesis methods. Our experimental results demonstrate that RLSynC can outperform these methods with improvement as high as 14.9% on synthon completion, and 14.0% on retrosynthesis, highlighting its potential in synthesis planning. | 翻訳日:2023-09-07 16:54:52 公開日:2023-09-06 |
| # 拡張訓練による自動評価のためのルーブリックなアプローチ Rubric-Specific Approach to Automated Essay Scoring with Augmentation Training ( http://arxiv.org/abs/2309.02740v1 ) ライセンス: Link先を確認 | Brian Cho, Youngbin Jang, Jaewoong Yoon | (参考訳) 主観的応答の自動評価に対するニューラルベースアプローチは、従来のルールベースおよび特徴工学指向のソリューションよりも優れた性能と効率を示した。
しかし,近年の研究では,モデルトレーニングと検証において自動エッセイ評価に必須の粗末な項目を適切に考慮していないため,提案するニューラルソリューションが人間のレーダの十分な代替物であるかどうかは不明である。
本稿では,学生評価自動データセットにおいて,先行研究で見落とされた特徴や機能を学習し,最先端のパフォーマンスを保ちながら,自動スコアリングモデルを訓練し,テストする一連のデータ拡張操作を提案する。 Neural based approaches to automatic evaluation of subjective responses have shown superior performance and efficiency compared to traditional rule-based and feature engineering oriented solutions. However, it remains unclear whether the suggested neural solutions are sufficient replacements of human raters as we find recent works do not properly account for rubric items that are essential for automated essay scoring during model training and validation. In this paper, we propose a series of data augmentation operations that train and test an automated scoring model to learn features and functions overlooked by previous works while still achieving state-of-the-art performance in the Automated Student Assessment Prize dataset. | 翻訳日:2023-09-07 16:46:42 公開日:2023-09-06 |
| # 量子モンテカルロにインスパイアされた高速シミュレートアニーリング Fast Simulated Annealing inspired by Quantum Monte Carlo ( http://arxiv.org/abs/2309.02735v1 ) ライセンス: Link先を確認 | Kiyotaka Murashima | (参考訳) 量子モンテカルロ (QMC) は量子アニーリング (QA) のシミュレーションで一般的に用いられるが, ヒューリスティックアプローチとしてのQMCは最小エネルギーを見つけるのに多くの時間を要するため, 非常に困難である。
主に鈴木トロッター分解に由来するトロッター層の存在に依存している。
本稿では,数学的には厳密ではないが,短い時間を要する新しい手法を提案する。
従来のQMC法と比較して,有効性と有利性についても論じる。 Quantum Monte Carlo (QMC) is commonly used in simulations for Quantum Annealing (QA), but QMC as a heuristic approach has great difficulty in that it takes much time to find minimum energy. It mainly depends on the existence of a trotter layer derived from Suzuki-Trotter decomposition. In this paper, I propose a new approach to take a short time, although it isn't rigorous mathematically. Its validity and advantageous points are also discussed, in comparison with conventional QMC methods. | 翻訳日:2023-09-07 16:46:28 公開日:2023-09-06 |
| # HC3 Plus:人間のChatGPT比較コーパス HC3 Plus: A Semantic-Invariant Human ChatGPT Comparison Corpus ( http://arxiv.org/abs/2309.02731v1 ) ライセンス: Link先を確認 | Zhenpeng Su, Xing Wu, Wei Zhou, Guangyuan Ma, Songlin Hu | (参考訳) ChatGPTはその優れたパフォーマンスのために大きな関心を集めているが、その潜在的なリスク、特に訓練されていない人間が識別することが困難なAIGC(AIGC)の発見について、人々はますます懸念している。
現在のデータセットは、ChatGPT生成したテキストを主に質問回答を中心に検出するために使用されているが、要約、翻訳、パラフレーズ化といった意味不変性を持つタスクを無視する傾向にある。
本研究は,意味不変タスクにおけるモデル生成テキストの検出が困難であることを示す。
このギャップを埋めるため、私たちは、セマンティック不変タスクを含む、以前の作業よりも多くの種類のタスクを検討する、より広範囲で包括的なデータセットを導入します。
さらに、多数のタスク命令の微調整後のモデルは、強力なパフォーマンスを示している。
従来の成功により,tk-instructの微調整をさらに指導し,より強力な検出システムを構築した。
実験の結果,提案検出器は従来のRoBERTa検出器よりも優れていた。 ChatGPT has gained significant interest due to its impressive performance, but people are increasingly concerned about its potential risks, particularly around the detection of AI-generated content (AIGC), which is often difficult for untrained humans to identify. Current datasets utilized for detecting ChatGPT-generated text primarily center around question-answering, yet they tend to disregard tasks that possess semantic-invariant properties, such as summarization, translation, and paraphrasing. Our primary studies demonstrate that detecting model-generated text on semantic-invariant tasks is more difficult. To fill this gap, we introduce a more extensive and comprehensive dataset that considers more types of tasks than previous work, including semantic-invariant tasks. In addition, the model after a large number of task instruction fine-tuning shows a strong powerful performance. Owing to its previous success, we further instruct fine-tuning Tk-instruct and built a more powerful detection system. Experimental results show that our proposed detector outperforms the previous state-of-the-art RoBERTa-based detector. | 翻訳日:2023-09-07 16:46:18 公開日:2023-09-06 |
| # Stylebook: 音声データのみを用いた任意の音声変換のためのコンテンツ依存音声スタイルモデリング Stylebook: Content-Dependent Speaking Style Modeling for Any-to-Any Voice Conversion using Only Speech Data ( http://arxiv.org/abs/2309.02730v1 ) ライセンス: Link先を確認 | Hyungseob Lim, Kyungguen Byun, Sunkuk Moon, Erik Visser | (参考訳) 最近の音声変換モデルの多くは、対象音声のスタイル情報を変換音声に転送することに成功したが、それでも対象話者の発話スタイルを忠実に再現する能力に欠けていた。
本研究では,対象発話からリッチなスタイル情報を抽出し,テキストの書き起こしや話者ラベリングを必要とせずにソース音声コンテンツに効率的に転送する手法を提案する。
提案手法では,音声内容の異なる話者の発話スタイルを収集するために,自己教師付き学習(ssl)モデルを用いた注意機構を導入する。
スタイルはスタイルブックと呼ばれる埋め込みのセットで表現される。
次のステップでは、スタイルブックにソース音声の音声コンテンツが添付され、ソースコンテンツ毎の最終ターゲットスタイルが決定される。
最後に、ソース音声から抽出されたコンテンツ情報とコンテンツ依存のターゲットスタイル埋め込みとを拡散型デコーダに入力し、変換された音声メルスペクトルを生成する。
実験結果から,提案手法と拡散型生成モデルを組み合わせることで,ベースラインモデルと比較して音声変換タスクの話者類似性が向上し,長い発話による計算複雑性の増大が抑制された。 While many recent any-to-any voice conversion models succeed in transferring some target speech's style information to the converted speech, they still lack the ability to faithfully reproduce the speaking style of the target speaker. In this work, we propose a novel method to extract rich style information from target utterances and to efficiently transfer it to source speech content without requiring text transcriptions or speaker labeling. Our proposed approach introduces an attention mechanism utilizing a self-supervised learning (SSL) model to collect the speaking styles of a target speaker each corresponding to the different phonetic content. The styles are represented with a set of embeddings called stylebook. In the next step, the stylebook is attended with the source speech's phonetic content to determine the final target style for each source content. Finally, content information extracted from the source speech and content-dependent target style embeddings are fed into a diffusion-based decoder to generate the converted speech mel-spectrogram. Experiment results show that our proposed method combined with a diffusion-based generative model can achieve better speaker similarity in any-to-any voice conversion tasks when compared to baseline models, while the increase in computational complexity with longer utterances is suppressed. | 翻訳日:2023-09-07 16:46:02 公開日:2023-09-06 |
| # オープンドメイン科学仮説発見のための大規模言語モデル Large Language Models for Automated Open-domain Scientific Hypotheses Discovery ( http://arxiv.org/abs/2309.02726v1 ) ライセンス: Link先を確認 | Zonglin Yang, Xinya Du, Junxian Li, Jie Zheng, Soujanya Poria, Erik Cambria | (参考訳) 仮説的帰納は、科学者が世界を観察し、それらの観察を説明する仮説を提案しようとするときに、主要な推論タイプとして認識される。
仮説誘導に関する過去の研究は、(1)データセットの観察アノテーションは生のウェブコーパスではなく、手作業で選択された文である(近接ドメイン設定で解釈する)こと、(2)基礎的真理仮説アノテーションは概ね常識的な知識であり、タスクの難易度を低くする、という制限がある。
本稿では,社会科学誌上で発表された50の論文からなる,社会科学学術的仮説発見のための最初のnlpデータセットを提案する。
論文で仮説を策定するのに必要となる生のウェブコーパスもデータセットに収集され、有効な(人間研究者にとって)仮説を自動生成するシステムを構築するという最終目標は、生のウェブコーパスの山だけに限られる。
新たなデータセットは,(1)生のウェブコーパスを観察に利用する必要があり,(2)人間性にはさらに新しい仮説を提案するため,従来の課題に対処することができる。
タスク用にマルチモジュールフレームワークが開発され、ベースフレームワークのパフォーマンス向上を実証的に示す3つのフィードバックメカニズムが開発されている。
最後に,GPT-4に基づく評価と社会科学の専門家による評価の両面で高い性能を示す。 Hypothetical induction is recognized as the main reasoning type when scientists make observations about the world and try to propose hypotheses to explain those observations. Past research on hypothetical induction has a limited setting that (1) the observation annotations of the dataset are not raw web corpus but are manually selected sentences (resulting in a close-domain setting); and (2) the ground truth hypotheses annotations are mostly commonsense knowledge, making the task less challenging. In this work, we propose the first NLP dataset for social science academic hypotheses discovery, consisting of 50 recent papers published in top social science journals. Raw web corpora that are necessary for developing hypotheses in the published papers are also collected in the dataset, with the final goal of creating a system that automatically generates valid, novel, and helpful (to human researchers) hypotheses, given only a pile of raw web corpora. The new dataset can tackle the previous problems because it requires to (1) use raw web corpora as observations; and (2) propose hypotheses even new to humanity. A multi-module framework is developed for the task, as well as three different feedback mechanisms that empirically show performance gain over the base framework. Finally, our framework exhibits high performance in terms of both GPT-4 based evaluation and social science expert evaluation. | 翻訳日:2023-09-07 16:45:39 公開日:2023-09-06 |
| # 攻撃的ヘブライ語コーパスとBERTによる検出 Offensive Hebrew Corpus and Detection using BERT ( http://arxiv.org/abs/2309.02724v1 ) ライセンス: Link先を確認 | Nagham Hamad, Mustafa Jarrar, Mohammad Khalilia, Nadim Nashif | (参考訳) 攻撃的言語検出は多くの言語でよく研究されているが、ヘブライ語のような低リソース言語では遅れを取っている。
本稿では,ヘブライ語における新しい攻撃言語コーパスを提案する。
合計で15,881件のツイートがtwitterから検索された。
それぞれ5つのクラス(虐待、憎悪、暴力、ポルノ、無害)のうち1つ以上をアラビア語・ヘブライ語のバイリンガル話者によってラベル付けされた。
アノテーションのプロセスは、各アノテータがそれぞれのツイートのコンテキストを理解するためにイスラエルの文化、政治、プラクティスに精通していることが予想されるため、難しかった。
提案したデータセットと別のデータセットを用いて,Hebrew BERTモデルであるHeBERTとAlephBERTを微調整した。
D_OLaHと組み合わせることでHeBERTの性能が2%向上することがわかった。
alephbertをデータに微調整し、d_olahでテストすると69%の精度が得られますが、d_olahで微調整してデータでテストすると57%の精度が得られます。
データセットと微調整されたモデルはGitHubとHuggingfaceで利用可能です。 Offensive language detection has been well studied in many languages, but it is lagging behind in low-resource languages, such as Hebrew. In this paper, we present a new offensive language corpus in Hebrew. A total of 15,881 tweets were retrieved from Twitter. Each was labeled with one or more of five classes (abusive, hate, violence, pornographic, or none offensive) by Arabic-Hebrew bilingual speakers. The annotation process was challenging as each annotator is expected to be familiar with the Israeli culture, politics, and practices to understand the context of each tweet. We fine-tuned two Hebrew BERT models, HeBERT and AlephBERT, using our proposed dataset and another published dataset. We observed that our data boosts HeBERT performance by 2% when combined with D_OLaH. Fine-tuning AlephBERT on our data and testing on D_OLaH yields 69% accuracy, while fine-tuning on D_OLaH and testing on our data yields 57% accuracy, which may be an indication to the generalizability our data offers. Our dataset and fine-tuned models are available on GitHub and Huggingface. | 翻訳日:2023-09-07 16:45:16 公開日:2023-09-06 |
| # DMKD:デュアルマスキング強化による物体検出のための特徴ベース知識蒸留の改良 DMKD: Improving Feature-based Knowledge Distillation for Object Detection Via Dual Masking Augmentation ( http://arxiv.org/abs/2309.02719v1 ) ライセンス: Link先を確認 | Guang Yang1, Yin Tang2, Zhijian Wu, Jun Li1, Jianhua Xu, Xili Wan | (参考訳) 最近の主流のマスキング蒸留法では,教師の特徴地図から学生ネットワークの選択的マスキング領域を再構成する機能がある。
これらの手法では,教師の特徴のような十分な識別と表現能力が再現されるように,マスク領域を適切に選択する必要がある。
しかし, 従来のマスク蒸留法では, 空間マスキングのみに焦点が当てられており, 得られたマスキング領域は情報チャネルの手がかりを符号化することなく, 空間的重要性に偏っている。
本研究では,包括的マスク付き特徴再構成のための空間的重要情報とチャネル的情報的手がかりの両方を捕捉できるDMKD(Dual Masked Knowledge Distillation)フレームワークを考案した。
具体的には,各マスキング枝を案内する2重注意機構を用い,2重重要度を符号化した特徴の再構築を行う。
さらに, 自己調整可能な重み付け戦略により, 効率的な特徴蒸留を行うことにより, 再構成された特徴を融合させる。
対象検出タスクにおける実験により, RetinaNet と Cascade Mask R-CNN をそれぞれ教師ネットワークとして用いた場合, 生徒ネットワークの性能は4.1%, 4.3%向上し, 他の最先端蒸留法よりも優れていた。 Recent mainstream masked distillation methods function by reconstructing selectively masked areas of a student network from the feature map of its teacher counterpart. In these methods, the masked regions need to be properly selected, such that reconstructed features encode sufficient discrimination and representation capability like the teacher feature. However, previous masked distillation methods only focus on spatial masking, making the resulting masked areas biased towards spatial importance without encoding informative channel clues. In this study, we devise a Dual Masked Knowledge Distillation (DMKD) framework which can capture both spatially important and channel-wise informative clues for comprehensive masked feature reconstruction. More specifically, we employ dual attention mechanism for guiding the respective masking branches, leading to reconstructed feature encoding dual significance. Furthermore, fusing the reconstructed features is achieved by self-adjustable weighting strategy for effective feature distillation. Our experiments on object detection task demonstrate that the student networks achieve performance gains of 4.1% and 4.3% with the help of our method when RetinaNet and Cascade Mask R-CNN are respectively used as the teacher networks, while outperforming the other state-of-the-art distillation methods. | 翻訳日:2023-09-07 16:44:54 公開日:2023-09-06 |
| # 赤外線ビデオによる無刺激・軽量睡眠時無呼吸検出 SlAction: Non-intrusive, Lightweight Obstructive Sleep Apnea Detection using Infrared Video ( http://arxiv.org/abs/2309.02713v1 ) ライセンス: Link先を確認 | You Rim Choi, Gyeongseon Eo, Wonhyuck Youn, Hyojin Lee, Haemin Jang, Dongyoon Kim, Hyunwoo Shin, Hyung-Sin Kim | (参考訳) 閉塞性睡眠時無呼吸症(Osstructive sleep apnea,OSA)は、全世界で約10億人の睡眠障害である。
OSA(Polysomnography、PSG)を診断するための現在の金の標準は、複数のセンサーを装着した一晩の病院滞在である。
そこで本研究では,赤外線ビデオを用いた日常睡眠環境における非侵入型OSA検出システムであるSlActionを提案する。
この研究は、睡眠ビデオが最小の動作を示すことを認識し、「睡眠中の人間の動きに適切に反映された呼吸現象があるか?
最大5,098時間の睡眠ビデオデータセットを分析し、OSAイベントと睡眠中の人間の動きの相関関係を確立する。
提案手法では,低フレームレート(2.5FPS),大サイズ(60秒),ステップ(30秒)を用いてウィンドウ解析を行い,OSAに関連するスロー・長期動作を捉える。
さらに,リソース制約のあるデバイスに対して,軽量なディープニューラルネットワークを利用することで,すべてのビデオストリームがプライバシを損なうことなくローカルに処理されることを保証する。
評価の結果、SlActionは様々な環境におけるOSA検出において平均F1スコア87.6%を達成した。
NVIDIA Jetson Nano上でSlActionを実装することで、リアルタイム推論(60秒のビデオクリップで約3秒)が可能になり、OSAの早期検出とパーソナライズされた処理の可能性を強調している。 Obstructive sleep apnea (OSA) is a prevalent sleep disorder affecting approximately one billion people world-wide. The current gold standard for diagnosing OSA, Polysomnography (PSG), involves an overnight hospital stay with multiple attached sensors, leading to potential inaccuracies due to the first-night effect. To address this, we present SlAction, a non-intrusive OSA detection system for daily sleep environments using infrared videos. Recognizing that sleep videos exhibit minimal motion, this work investigates the fundamental question: "Are respiratory events adequately reflected in human motions during sleep?" Analyzing the largest sleep video dataset of 5,098 hours, we establish correlations between OSA events and human motions during sleep. Our approach uses a low frame rate (2.5 FPS), a large size (60 seconds) and step (30 seconds) for sliding window analysis to capture slow and long-term motions related to OSA. Furthermore, we utilize a lightweight deep neural network for resource-constrained devices, ensuring all video streams are processed locally without compromising privacy. Evaluations show that SlAction achieves an average F1 score of 87.6% in detecting OSA across various environments. Implementing SlAction on NVIDIA Jetson Nano enables real-time inference (~3 seconds for a 60-second video clip), highlighting its potential for early detection and personalized treatment of OSA. | 翻訳日:2023-09-07 16:44:27 公開日:2023-09-06 |
| # ディープラーニングのフロンティアを開拓する - 多様なドメインを形成するイノベーション Unveiling the frontiers of deep learning: innovations shaping diverse domains ( http://arxiv.org/abs/2309.02712v1 ) ライセンス: Link先を確認 | Shams Forruque Ahmed, Md. Sakib Bin Alam, Maliha Kabir, Shaila Afrin, Sabiha Jannat Rafa, Aanushka Mehjabin, Amir H. Gandomi | (参考訳) ディープラーニング(dl)は、データの学習、可視化、最適化、精錬、予測が可能なコンピュータモデルの開発を可能にする。
近年、DLは、音声・視覚データ処理、農業、交通予測、自然言語、バイオメディシン、災害管理、バイオインフォマティクス、薬物設計、ゲノム学、顔認識、生態学など、様々な分野に応用されている。
深層学習の現状を探るためには,これらの分野における最新の深層学習の展開と応用を検討する必要がある。
しかし、この文献はあらゆる潜在的な分野におけるディープラーニングの応用を探求するに不足している。
本稿では,すべての主要な研究分野にわたる深層学習の潜在的な応用と,関連するメリットと課題について詳細に検討する。
文献に示されているように、dlは予測と解析において正確性を示し、強力な計算ツールとなり、それ自体を明瞭化し最適化し、事前のトレーニングなしでデータの処理に効果的である。
トレーニングデータから独立していることを考えると、ディープラーニングはデータボリュームと同様に、効果的な分析と処理のために大量のデータを必要とする。
ディープラーニングで使用する大量の医療、科学、医療、環境データをコンパイルする課題に対処するために、LSTMやGRUといったゲートアーキテクチャを利用することができる。
マルチモーダル学習には,神経活動の共有ニューロンと特定のタスクのための専用ニューロンが必要である。 Deep learning (DL) enables the development of computer models that are capable of learning, visualizing, optimizing, refining, and predicting data. In recent years, DL has been applied in a range of fields, including audio-visual data processing, agriculture, transportation prediction, natural language, biomedicine, disaster management, bioinformatics, drug design, genomics, face recognition, and ecology. To explore the current state of deep learning, it is necessary to investigate the latest developments and applications of deep learning in these disciplines. However, the literature is lacking in exploring the applications of deep learning in all potential sectors. This paper thus extensively investigates the potential applications of deep learning across all major fields of study as well as the associated benefits and challenges. As evidenced in the literature, DL exhibits accuracy in prediction and analysis, makes it a powerful computational tool, and has the ability to articulate itself and optimize, making it effective in processing data with no prior training. Given its independence from training data, deep learning necessitates massive amounts of data for effective analysis and processing, much like data volume. To handle the challenge of compiling huge amounts of medical, scientific, healthcare, and environmental data for use in deep learning, gated architectures like LSTMs and GRUs can be utilized. For multimodal learning, shared neurons in the neural network for all activities and specialized neurons for particular tasks are necessary. | 翻訳日:2023-09-07 16:43:59 公開日:2023-09-06 |
| # 不完全対称性:新しい対称性学習アクタ-クリティック拡張 Addressing Imperfect Symmetry: a Novel Symmetry-Learning Actor-Critic Extension ( http://arxiv.org/abs/2309.02711v1 ) ライセンス: Link先を確認 | Miguel Abreu, Luis Paulo Reis, Nuno Lau | (参考訳) 環境を理解する基本的な概念である対称性は、しばしば数学的観点から現実を単純化する。
人間は、外見と認知バイアス(例えば、支配的な手を持つ)の観点から、完全な対称性から逸脱する主要な例である。
それでも、私たちの脳はこれらの不完全さを克服し、対称的なタスクに効率的に適応できます。
この仕事の背後にある動機は、強化学習を通じてこの能力を捉えることである。
この目的のために、適応対称性学習 (asl) $\unicode{x2013}$ 学習プロセス中に自己を適応させることで、不完全または不適合な対称性記述に対処するモデル最小化アクター-批判拡張を導入する。
ASLは、学習されたポリシーに適応しながら、すべての状態に共通の対称関係を強制する対称性適合成分とモジュラー損失関数からなる。
ASLの性能は、多方向移動タスクのための4脚のアリモデルを含むケーススタディにおいて、既存の対称性強化手法と比較される。
その結果、ASLは大きな摂動から回復し、知識を隠れ対称状態に一般化できることを示した。
ほとんどのシナリオで代替メソッドと同等あるいは優れたパフォーマンスを達成し、固有の摂動を補償しながらモデル対称性を活用するための貴重なアプローチとなる。 Symmetry, a fundamental concept to understand our environment, often oversimplifies reality from a mathematical perspective. Humans are a prime example, deviating from perfect symmetry in terms of appearance and cognitive biases (e.g. having a dominant hand). Nevertheless, our brain can easily overcome these imperfections and efficiently adapt to symmetrical tasks. The driving motivation behind this work lies in capturing this ability through reinforcement learning. To this end, we introduce Adaptive Symmetry Learning (ASL) $\unicode{x2013}$ a model-minimization actor-critic extension that addresses incomplete or inexact symmetry descriptions by adapting itself during the learning process. ASL consists of a symmetry fitting component and a modular loss function that enforces a common symmetric relation across all states while adapting to the learned policy. The performance of ASL is compared to existing symmetry-enhanced methods in a case study involving a four-legged ant model for multidirectional locomotion tasks. The results demonstrate that ASL is capable of recovering from large perturbations and generalizing knowledge to hidden symmetric states. It achieves comparable or better performance than alternative methods in most scenarios, making it a valuable approach for leveraging model symmetry while compensating for inherent perturbations. | 翻訳日:2023-09-07 16:43:35 公開日:2023-09-06 |
| # GRASS:音声意味理解のための統一生成モデル GRASS: Unified Generation Model for Speech Semantic Understanding ( http://arxiv.org/abs/2309.02780v1 ) ライセンス: Link先を確認 | Aobo Xia, Shuyu Lei, Yushu Yang, Xiang Guo and Hua Chai | (参考訳) 本稿では,音声データに対するタスク関連プロンプトに条件付きセマンティックラベルを生成する統合エンドツーエンド(E2E)フレームワークを導入することで,音声意味理解のための命令微調整手法について検討する。
大規模かつ多様なデータを用いて事前学習を行い,TTS(text-to-speech)システムを用いて命令-音声ペアを構築する。
広範な実験により,提案モデルが下流タスクの微調整後の最先端(sota)モデルを大幅に上回ることを示した。
さらに,提案モデルでは,ゼロショットと少数ショットのシナリオで競合性能を実現する。
音声合成タスクの微調整の今後の取り組みを容易にするため,命令データセットとコードをリリースする。 This paper explores the instruction fine-tuning technique for speech semantic understanding by introducing a unified end-to-end (E2E) framework that generates semantic labels conditioned on a task-related prompt for audio data. We pre-train the model using large and diverse data, where instruction-speech pairs are constructed via a text-to-speech (TTS) system. Extensive experiments demonstrate that our proposed model significantly outperforms state-of-the-art (SOTA) models after fine-tuning downstream tasks. Furthermore, the proposed model achieves competitive performance in zero-shot and few-shot scenarios. To facilitate future work on instruction fine-tuning for speech-to-semantic tasks, we release our instruction dataset and code. | 翻訳日:2023-09-07 16:38:53 公開日:2023-09-06 |
| # lightneus:光減衰を用いた内視鏡下神経表面再建 LightNeuS: Neural Surface Reconstruction in Endoscopy using Illumination Decline ( http://arxiv.org/abs/2309.02777v1 ) ライセンス: Link先を確認 | V\'ictor M. Batlle, Jos\'e M. M. Montiel, Pascal Fua and Juan D. Tard\'os | (参考訳) 単眼内視鏡で取得した画像から3次元再構成を行う手法を提案する。
それは二つの重要な洞察に基づいている。
第一に、内光キャビティは水密であり、符号付き距離関数でモデル化することで自然に強制される性質である。
第2に、シーン照明は可変である。
内視鏡の光源から発生し、表面への二乗距離の逆数で崩壊する。
これらの知見を生かして,複数の視点から外観とSDF表面モデルを学ぶ能力に優れたニュートラルサーフェス再構成技術であるNeuSを開発したが,現在は静的照明のシーンに限られている。
この制限を除去し, 画素輝度と奥行きの関係を活かすため, NeuS アーキテクチャを明示的に考慮し, 内視鏡カメラと光源の校正光度モデルを導入する。
当法は結腸全節の水密再建を初めて行った方法である。
ファントム画像の精度は良好である。
注目に値するのは, 水密前と照明の低下が組み合わさって, 表面の見えない部分の再現を許容される精度で達成し, がん検診の自動的品質評価への道を開き, 観察された粘膜のグローバルパーセンテージを測定したことである。 We propose a new approach to 3D reconstruction from sequences of images acquired by monocular endoscopes. It is based on two key insights. First, endoluminal cavities are watertight, a property naturally enforced by modeling them in terms of a signed distance function. Second, the scene illumination is variable. It comes from the endoscope's light sources and decays with the inverse of the squared distance to the surface. To exploit these insights, we build on NeuS, a neural implicit surface reconstruction technique with an outstanding capability to learn appearance and a SDF surface model from multiple views, but currently limited to scenes with static illumination. To remove this limitation and exploit the relation between pixel brightness and depth, we modify the NeuS architecture to explicitly account for it and introduce a calibrated photometric model of the endoscope's camera and light source. Our method is the first one to produce watertight reconstructions of whole colon sections. We demonstrate excellent accuracy on phantom imagery. Remarkably, the watertight prior combined with illumination decline, allows to complete the reconstruction of unseen portions of the surface with acceptable accuracy, paving the way to automatic quality assessment of cancer screening explorations, measuring the global percentage of observed mucosa. | 翻訳日:2023-09-07 16:38:39 公開日:2023-09-06 |
| # diffusion modelは、ひそかにトレーニングフリーなオープン語彙セグメンタである Diffusion Model is Secretly a Training-free Open Vocabulary Semantic Segmenter ( http://arxiv.org/abs/2309.02773v1 ) ライセンス: Link先を確認 | Jinglong Wang, Xiawei Li, Jing Zhang, Qingyuan Xu, Qin Zhou, Qian Yu, Lu Sheng, Dong Xu | (参考訳) 近年、CLIPのような事前訓練されたテキスト画像識別モデルを用いて、オープン語彙セマンティックセマンティックセグメンテーションに関わる課題に取り組む研究が進められている。
しかし、これらのモデルが用いた対照的な学習に基づくアライメントプロセスは、正確なセマンティックセグメンテーションを実現するのに不可欠である、重要なローカライズ情報とオブジェクト完全性の喪失を意図せずに引き起こす可能性があることに注意する必要がある。
最近では、特にセマンティックセグメンテーションの領域において、テキストから画像生成タスク以外の拡散モデルの適用拡大への関心が高まっている。
これらの手法は、注釈付きデータの生成や意味的セグメンテーションを容易にする特徴抽出に拡散モデルを利用する。
これは典型的には、大量の合成データを生成したり、追加のマスクアノテーションを組み込んだセグメンテーションモデルを訓練する。
そこで本研究では, 生成文から画像への条件付き拡散モデルが, 高効率なオープン語彙セマンティックセマンティックセマンティクスとしての可能性を明らかにするとともに, DiffSegmenter という新たなトレーニング不要アプローチを導入する。
具体的には、入力画像と候補クラスを既成の事前学習された条件付き潜在拡散モデルに供給することにより、デノイジングu-netによって生成されたクロスアテンションマップをセグメンテーションスコアとして直接使用し、その後の自己アテンションマップによりさらに洗練され完成される。
さらに,有効テキストプロンプトとカテゴリフィルタリング機構を慎重に設計し,セグメンテーション結果をさらに強化する。
3つのベンチマークデータセットに関する広範囲な実験により、提案するdiffsegmenterは、open-vocabulary semantic segmentationの印象的な結果を得た。 Recent research has explored the utilization of pre-trained text-image discriminative models, such as CLIP, to tackle the challenges associated with open-vocabulary semantic segmentation. However, it is worth noting that the alignment process based on contrastive learning employed by these models may unintentionally result in the loss of crucial localization information and object completeness, which are essential for achieving accurate semantic segmentation. More recently, there has been an emerging interest in extending the application of diffusion models beyond text-to-image generation tasks, particularly in the domain of semantic segmentation. These approaches utilize diffusion models either for generating annotated data or for extracting features to facilitate semantic segmentation. This typically involves training segmentation models by generating a considerable amount of synthetic data or incorporating additional mask annotations. To this end, we uncover the potential of generative text-to-image conditional diffusion models as highly efficient open-vocabulary semantic segmenters, and introduce a novel training-free approach named DiffSegmenter. Specifically, by feeding an input image and candidate classes into an off-the-shelf pre-trained conditional latent diffusion model, the cross-attention maps produced by the denoising U-Net are directly used as segmentation scores, which are further refined and completed by the followed self-attention maps. Additionally, we carefully design effective textual prompts and a category filtering mechanism to further enhance the segmentation results. Extensive experiments on three benchmark datasets show that the proposed DiffSegmenter achieves impressive results for open-vocabulary semantic segmentation. | 翻訳日:2023-09-07 16:38:18 公開日:2023-09-06 |
| # 動的温度サンプリングによるコード生成の改善 Improving Code Generation by Dynamic Temperature Sampling ( http://arxiv.org/abs/2309.02772v1 ) ライセンス: Link先を確認 | Yuqi Zhu, Jia Allen Li, Ge Li, YunFei Zhao, Jia Li, Zhi Jin, Hong Mei | (参考訳) 最近、Large Language Models (LLMs) はコード生成において驚くべき結果を示している。
しかし、既存のデコード戦略は自然言語(NL)生成のために設計されており、NLとプログラミング言語(PL)の違いを見越している。
この見落としのため、コード生成のためのより良いデコーディング戦略は、まだ未解決の問題である。
本稿では,コード生成に特化した復号化戦略を探求する最初の体系的研究を行う。
コードトークンの損失分布を分析することで、コードトークンを2つのカテゴリに分類できることが分かりました。
その中でも、難易度の高いトークンは、主にコードブロックの先頭に現れる。
この結果に触発されて,適応温度サンプリング(adapted temperature (adapt) sampling)という簡易かつ効果的な手法を提案し,異なるトークンの復号時に温度係数を動的に調整する手法を提案する。
難解なトークンをサンプリングする際には, LLMが多様な選択を探索できるように, より大きな温度を適用する。
我々は、テールランダムネスノイズの影響を避けるため、信頼性トークンに対してより小さい温度を用いる。
異なるサイズのllmに適応サンプリングを適用し,2つの人気のあるデータセット上で評価を行う。
その結果,適応サンプリングは最先端のデコーディング戦略を大きく上回ることがわかった。 Recently, Large Language Models (LLMs) have shown impressive results in code generation. However, existing decoding strategies are designed for Natural Language (NL) generation, overlooking the differences between NL and programming languages (PL). Due to this oversight, a better decoding strategy for code generation remains an open question. In this paper, we conduct the first systematic study to explore a decoding strategy specialized in code generation. With an analysis of loss distributions of code tokens, we find that code tokens can be divided into two categories: challenging tokens that are difficult to predict and confident tokens that can be easily inferred. Among them, the challenging tokens mainly appear at the beginning of a code block. Inspired by the above findings, we propose a simple yet effective method: Adaptive Temperature (AdapT) sampling, which dynamically adjusts the temperature coefficient when decoding different tokens. We apply a larger temperature when sampling for challenging tokens, allowing LLMs to explore diverse choices. We employ a smaller temperature for confident tokens avoiding the influence of tail randomness noises. We apply AdapT sampling to LLMs with different sizes and conduct evaluations on two popular datasets. Results show that AdapT sampling significantly outperforms state-of-the-art decoding strategy. | 翻訳日:2023-09-07 16:37:38 公開日:2023-09-06 |
| # 多要素ベイズ最適化における不均一誤差の影響について On the Effects of Heterogeneous Errors on Multi-fidelity Bayesian Optimization ( http://arxiv.org/abs/2309.02771v1 ) ライセンス: Link先を確認 | Zahra Zanjani Foumani, Amin Yousefpour, Mehdi Shishehbor, Ramin Bostanabad | (参考訳) ベイズ最適化 (bayesian optimization, bo) は、材料設計を含む幅広い分野においてますます採用されている逐次最適化戦略である。
実世界のアプリケーションでは、物理実験やHFシミュレーションを通じて高忠実度(HF)データを取得することがBOの主要なコスト要素である。
このボトルネックを軽減するために、MF法は、高価なHFデータのみに依存することを防ぎ、HFサンプルと相関した安価な低密度(LF)ソースをクエリすることでサンプリングコストを削減する。
しかし、既存の多元性bo(mfbo)法は、(1)lfソースは、hfデータとグローバルスケールでよく相関するデータを提供し、(2)単一ランダムプロセスは、融合データのノイズをモデル化できるという、実用的応用ではめったにない2つの仮定の下で動作する。
これらの仮定は、LFソースがHFソースと局所的にのみ相関している場合や、データソース間でノイズのばらつきが変化する場合、MFBOの性能を劇的に低下させる。
本稿では,(1)データソース毎にノイズモデルを学習するMFエミュレーション法を提案し,(2)HFソースにのみ相関する高バイアスのLFソースをMFBOが利用できるようにすることにより,これらの誤った仮定を解消する。
材料設計に関する分析例と工学的課題から,本手法の性能について述べる。 Bayesian optimization (BO) is a sequential optimization strategy that is increasingly employed in a wide range of areas including materials design. In real world applications, acquiring high-fidelity (HF) data through physical experiments or HF simulations is the major cost component of BO. To alleviate this bottleneck, multi-fidelity (MF) methods are used to forgo the sole reliance on the expensive HF data and reduce the sampling costs by querying inexpensive low-fidelity (LF) sources whose data are correlated with HF samples. However, existing multi-fidelity BO (MFBO) methods operate under the following two assumptions that rarely hold in practical applications: (1) LF sources provide data that are well correlated with the HF data on a global scale, and (2) a single random process can model the noise in the fused data. These assumptions dramatically reduce the performance of MFBO when LF sources are only locally correlated with the HF source or when the noise variance varies across the data sources. In this paper, we dispense with these incorrect assumptions by proposing an MF emulation method that (1) learns a noise model for each data source, and (2) enables MFBO to leverage highly biased LF sources which are only locally correlated with the HF source. We illustrate the performance of our method through analytical examples and engineering problems on materials design. | 翻訳日:2023-09-07 16:37:09 公開日:2023-09-06 |
| # グラフニューラルネットワークにおける過密化と過密化の統一:物理情報に基づくアプローチ Unifying over-smoothing and over-squashing in graph neural networks: A physics informed approach and beyond ( http://arxiv.org/abs/2309.02769v1 ) ライセンス: Link先を確認 | Zhiqi Shao, Dai Shi, Andi Han, Yi Guo, Qibin Zhao, Junbin Gao | (参考訳) グラフニューラルネットワーク(GNN)は、グラフ構造化データの機械学習における主要なアプローチの1つである。
その大きな成功にもかかわらず、過密、過密、限られた表現力といった重要な計算課題がGNNの性能に影響を与え続けている。
本研究では,古典・量子物理学で一般的に用いられる時間反転原理に着想を得て,グラフ熱方程式の時間方向を逆転する。
その結果、反転処理はグラフノードの特徴のシャープさを高める高パスフィルタリング関数のクラスを生成する。
この概念を生かしたマルチスケールヒートカーネルベースGNN(MHKG)を導入する。
より柔軟なフィルタリング条件を探るため,我々はさらにg-mhkgと呼ばれるモデルにmhkgを一般化し,オーバースムーシング,オーバースケーシング,表現力の制御における各要素の役割を徹底的に示す。
特に、上記の問題はすべて、フィルタリング関数の特性によって特徴づけ、分析することができ、過度なスムースメントと過度なスキャッシングのトレードオフを明らかにする:ノード特徴のシャープネスの強化により、モデルが過度なスキャッシングに苦しむこと、その逆も可能となる。
さらに、G-MHKGが2つの問題を軽度条件下でどのように処理できるかを示すために、この時間を再度操作する。
実験の結果,提案モデルの有効性が浮き彫りになった。
ホモフィリーとヘテロフィリーの両方を特徴とするグラフデータセットのパフォーマンスにおいて、いくつかのGNNベースラインモデルを上回る。 Graph Neural Networks (GNNs) have emerged as one of the leading approaches for machine learning on graph-structured data. Despite their great success, critical computational challenges such as over-smoothing, over-squashing, and limited expressive power continue to impact the performance of GNNs. In this study, inspired from the time-reversal principle commonly utilized in classical and quantum physics, we reverse the time direction of the graph heat equation. The resulted reversing process yields a class of high pass filtering functions that enhance the sharpness of graph node features. Leveraging this concept, we introduce the Multi-Scaled Heat Kernel based GNN (MHKG) by amalgamating diverse filtering functions' effects on node features. To explore more flexible filtering conditions, we further generalize MHKG into a model termed G-MHKG and thoroughly show the roles of each element in controlling over-smoothing, over-squashing and expressive power. Notably, we illustrate that all aforementioned issues can be characterized and analyzed via the properties of the filtering functions, and uncover a trade-off between over-smoothing and over-squashing: enhancing node feature sharpness will make model suffer more from over-squashing, and vice versa. Furthermore, we manipulate the time again to show how G-MHKG can handle both two issues under mild conditions. Our conclusive experiments highlight the effectiveness of proposed models. It surpasses several GNN baseline models in performance across graph datasets characterized by both homophily and heterophily. | 翻訳日:2023-09-07 16:36:17 公開日:2023-09-06 |
| # 量子計測と客観的古典的現実 Quantum Measurement and Objective Classical Reality ( http://arxiv.org/abs/2309.02764v1 ) ライセンス: Link先を確認 | Vishal Johnson (1,2), Philipp Frank (1), Torsten En{\ss}lin (1,2) ((1) Max Planck Institute for Astrophysics, Garching, (2) Ludwig-Maximilians-Universit\"at, Munich) | (参考訳) エベレットユニタリ量子力学の文脈で量子測定を探求し、明示的なユニタリ測定手順を構築する。
そこで我々は,この手法が有効であるような先行相関状態の存在を提案し,従って,相関が測定時に消費される資源であると主張する。
このような測定のネットワークは、安定した客観的古典的現実を確立するとも主張されている。 We explore quantum measurement in the context of Everettian unitary quantum mechanics and construct an explicit unitary measurement procedure. We propose the existence of prior correlated states that enable this procedure to work and therefore argue that correlation is a resource that is consumed when measurements take place. It is also argued that a network of such measurements establishes a stable objective classical reality. | 翻訳日:2023-09-07 16:35:39 公開日:2023-09-06 |
| # 特徴と構造を欠いたグラフの教師なしグラフ補完学習に向けて Towards Unsupervised Graph Completion Learning on Graphs with Features and Structure Missing ( http://arxiv.org/abs/2309.02762v1 ) ライセンス: Link先を確認 | Sichao Fu, Qinmu Peng, Yang He, Baokun Du, Xinge You | (参考訳) 近年、グラフニューラルネットワーク(gnn)は様々なグラフ分析タスクにおいて重要な発展を遂げている。
それでも、GNNの優れたパフォーマンスは、収集されたノードの特徴や構造的関係が、予測不可能な多くの要因に部分的に欠落している場合に深刻なダメージを受けることになる。
最近出現したグラフ補完学習(GCL)は、特に監督されたタスクの指導の下で欠落したノードの特徴や構造的関係を再構築することを目的として注目されている。
これらの提案したGCL法は大きな成功を収めているが、ラベルへの依存、再構成ノードの特徴の偏り、構造的関係といった問題が存在する。
さらに、既存のGCLの一般化能力は、収集されたノードの特徴と構造的関係が同時に欠落している場合にも大きな課題に直面している。
上記の課題を解決するため,既存のGNN変種の特徴と構造が欠けているグラフ上でのタスク性能向上を目的とした,自己教師付き学習を支援する,より汎用的なGCLフレームワーク(unsupervised GCL:unsupervised GCL)を提案する。
具体的には、GNNのメッセージパッシング過程における欠落ノードの特徴と構造とのミスマッチを避けるため、特徴再構成と構造再構成を分離し、パーソナライズされたモデルの設計を行う。
そして、構造レベルと特徴レベルとの2つの対比損失を導入し、特徴再構築と構造再構築経路からのノード表現の相互情報を最大化し、より多くの監督信号を提供する。
最後に、下流ノード分類タスクに再構成ノードの特徴と構造を適用することができる。
8つのデータセット,3つのGNN変種および5つの欠落率に関する大規模な実験により,提案手法の有効性が示された。 In recent years, graph neural networks (GNN) have achieved significant developments in a variety of graph analytical tasks. Nevertheless, GNN's superior performance will suffer from serious damage when the collected node features or structure relationships are partially missing owning to numerous unpredictable factors. Recently emerged graph completion learning (GCL) has received increasing attention, which aims to reconstruct the missing node features or structure relationships under the guidance of a specifically supervised task. Although these proposed GCL methods have made great success, they still exist the following problems: the reliance on labels, the bias of the reconstructed node features and structure relationships. Besides, the generalization ability of the existing GCL still faces a huge challenge when both collected node features and structure relationships are partially missing at the same time. To solve the above issues, we propose a more general GCL framework with the aid of self-supervised learning for improving the task performance of the existing GNN variants on graphs with features and structure missing, termed unsupervised GCL (UGCL). Specifically, to avoid the mismatch between missing node features and structure during the message-passing process of GNN, we separate the feature reconstruction and structure reconstruction and design its personalized model in turn. Then, a dual contrastive loss on the structure level and feature level is introduced to maximize the mutual information of node representations from feature reconstructing and structure reconstructing paths for providing more supervision signals. Finally, the reconstructed node features and structure can be applied to the downstream node classification task. Extensive experiments on eight datasets, three GNN variants and five missing rates demonstrate the effectiveness of our proposed method. | 翻訳日:2023-09-07 16:35:29 公開日:2023-09-06 |
| # SWAP: 時系列で敵攻撃の第二線ログを爆発させる SWAP: Exploiting Second-Ranked Logits for Adversarial Attacks on Time Series ( http://arxiv.org/abs/2309.02752v1 ) ライセンス: Link先を確認 | Chang George Dong, Liangwei Nathan Zheng, Weitong Chen, Wei Emma Zhang, Lin Yue | (参考訳) 時系列分類(tsc)は様々な領域において重要なタスクとして出現し、深層神経モデルはtscタスクにおいて優れた性能を示している。
しかし、これらのモデルは敵の攻撃に対して脆弱であり、微妙な摂動が予測結果に大きな影響を及ぼす可能性がある。
既存の敵対的手法はしばしば過剰パラメータ化やランダムロジットの摂動に悩まされ、その効果を阻害する。
さらに、攻撃成功率(ASR)の増加は、通常より多くのノイズを発生させ、攻撃をより容易に検出できるようにする。
そこで本研究では,tscモデルに対する新たな攻撃手法であるswapを提案する。
SWAPは、他のロジットの操作を最小限にしながら、第2級ロジットの信頼性を高めることに焦点を当てている。
これは、ターゲットロジット分布と予測ロジット分布とのKullback-Leibler分散を最小化する。
実験の結果, SWAPは従来の手法に比べて50%以上18%増加し, 最先端性能を達成できた。 Time series classification (TSC) has emerged as a critical task in various domains, and deep neural models have shown superior performance in TSC tasks. However, these models are vulnerable to adversarial attacks, where subtle perturbations can significantly impact the prediction results. Existing adversarial methods often suffer from over-parameterization or random logit perturbation, hindering their effectiveness. Additionally, increasing the attack success rate (ASR) typically involves generating more noise, making the attack more easily detectable. To address these limitations, we propose SWAP, a novel attacking method for TSC models. SWAP focuses on enhancing the confidence of the second-ranked logits while minimizing the manipulation of other logits. This is achieved by minimizing the Kullback-Leibler divergence between the target logit distribution and the predictive logit distribution. Experimental results demonstrate that SWAP achieves state-of-the-art performance, with an ASR exceeding 50% and an 18% increase compared to existing methods. | 翻訳日:2023-09-07 16:35:04 公開日:2023-09-06 |
| # mln-net : 多層正規化を用いたマルチソース医用マイクロ石灰化画像分割法 MLN-net: A multi-source medical image segmentation method for clustered microcalcifications using multiple layer normalization ( http://arxiv.org/abs/2309.02742v1 ) ライセンス: Link先を確認 | Ke Wang, Zanting Ye, Xiang Xie, Haidong Cui, Tao Chen, Banteng Liu | (参考訳) 乳がんの診断と治療には,マンモグラフィーにおけるクラスタ化微小石灰化の正確なセグメンテーションが不可欠である。
専門家レベルの精度を示すにもかかわらず、最近の医学画像分割におけるディープラーニングの進歩は、患者の姿勢や個々の腺密度、マンモグラフィのイメージングモダリティなどの違いによるドメインシフトによって、実用的な応用に不十分な貢献を与えている。
本稿では,マルチソースイメージを単一ソース画像のみを用いて高精度にセグメント化できるmln-netという新しいフレームワークを提案する。
本稿ではまず,マルチソース画像を生成するためのソース領域画像拡張手法を提案する。
また、複数の層正規化(ln)層の構造を用いてセグメンテーションネットワークを構築し、異なる領域のクラスタ化マイクロ石灰化セグメンテーションに効率的であることが分かる。
さらに、ソースドメインデータとターゲットドメインデータの類似度を測定するために、分岐選択戦略が設計されている。
提案するMLN-netを検証するため, アブレーション実験を含む広範囲な解析を行い, 12塩基法との比較を行った。
広範囲な実験により、異なる領域からのクラスタ化マイクロ石灰化のセグメンテーションにおけるMLN-netの有効性が検証され、そのセグメンテーション精度は最先端の手法を超えている。
コードはhttps://github.com/yezanting/MLN-NET-VERSON1.comから入手できる。 Accurate segmentation of clustered microcalcifications in mammography is crucial for the diagnosis and treatment of breast cancer. Despite exhibiting expert-level accuracy, recent deep learning advancements in medical image segmentation provide insufficient contribution to practical applications, due to the domain shift resulting from differences in patient postures, individual gland density, and imaging modalities of mammography etc. In this paper, a novel framework named MLN-net, which can accurately segment multi-source images using only single source images, is proposed for clustered microcalcification segmentation. We first propose a source domain image augmentation method to generate multi-source images, leading to improved generalization. And a structure of multiple layer normalization (LN) layers is used to construct the segmentation network, which can be found efficient for clustered microcalcification segmentation in different domains. Additionally, a branch selection strategy is designed for measuring the similarity of the source domain data and the target domain data. To validate the proposed MLN-net, extensive analyses including ablation experiments are performed, comparison of 12 baseline methods. Extensive experiments validate the effectiveness of MLN-net in segmenting clustered microcalcifications from different domains and the its segmentation accuracy surpasses state-of-the-art methods. Code will be available at https://github.com/yezanting/MLN-NET-VERSON1. | 翻訳日:2023-09-07 16:34:48 公開日:2023-09-06 |
| # テレマティクスは運転スタイルを改善できるか?
自動車保険における行動データの利用 Can Telematics Improve Driving Style? The Use of Behavioural Data in Motor Insurance ( http://arxiv.org/abs/2309.02814v1 ) ライセンス: Link先を確認 | Alberto Cevolini, Elena Morotti, Elena Esposito, Lorenzo Romanelli, Riccardo Tisseur, Cristiano Misani | (参考訳) 保険における行動データの使用には、約束と未解決の問題がロードされる。
本稿では,サードパーティの自動車保険におけるテレマティクスデータの利用事例と課題について考察する。
行動データは、政策ステークホルダーのリスクプロファイルを洗練させるだけでなく、革新的なコーチング戦略の実装にも使われ、データから得られた集約された情報をドライバーにフィードバックする。
その目的は、運転スタイルの改善を促進することである。
本研究は,テレマティクス自動車保険を販売している企業のデータセットの実証調査に基づいて,コーチングの有効性を検討する。
定量的分析の結果,この効果は,テレマティクスアプリを利用する政策立案者の妥当性に大きく依存していることがわかった。
我々は、エンゲージメントを付加的な行動として観察し、保険会社が記録・戦略的に利用できる2次の行動データを生成する。
結論は、行動データのこの拡張解釈と関連する潜在的な利点とリスクについて論じる。 The use of behavioural data in insurance is loaded with promises and unresolved issues. This paper explores the related opportunities and challenges analysing the use of telematics data in third-party liability motor insurance. Behavioural data are used not only to refine the risk profile of policyholders, but also to implement innovative coaching strategies, feeding back to the drivers the aggregated information obtained from the data. The purpose is to encourage an improvement in their driving style. Our research explores the effectiveness of coaching on the basis of an empirical investigation of the dataset of a company selling telematics motor insurance policies. The results of our quantitative analysis show that this effectiveness crucially depends on the propensity of policyholders to engage with the telematics app. We observe engagement as an additional kind of behaviour, producing second-order behavioural data that can also be recorded and strategically used by insurance companies. The conclusions discuss potential advantages and risks connected with this extended interpretation of behavioural data. | 翻訳日:2023-09-07 16:27:01 公開日:2023-09-06 |
| # エージェントによる歩行者の地震避難シミュレーション : レバノン・ベイルートへの適用 Agent-based simulation of pedestrians' earthquake evacuation; application to Beirut, Lebanon ( http://arxiv.org/abs/2309.02812v1 ) ライセンス: Link先を確認 | Rouba Iskandar (UGA), Kamel Allaw, Julie Dugdale, Elise Beck, Jocelyne Adjizian-G\'erard, C\'ecile Cornou, Jacques Harb, Pascal Lacroix, Nada Badaro-Saliba, St\'ephane Cartier, Rita Zaarour | (参考訳) 多くの地震リスク評価手法は, リスクの社会的側面を十分に考慮せずに, 建設環境の被害と社会経済的損失を推定することに焦点を当てている。
しかし、人間の行動は地震の人的影響を予測する上で重要な要素であり、定量的リスクアセスメント研究に含めることが重要である。
本研究では,都市規模での地震時の歩行者避難をシミュレーションする学際的アプローチをエージェントベースモデルを用いて開発する。
このモデルは地震災害、物理的脆弱性、個人の行動や移動性を統合している。
シミュレーターはレバノンのベイルートに適用される。
レバノンは、いくつかのmw>7地震を発生させたレバント断層システムの中心にあり、最新のものは1759年である。
地中海地域では最も地震のリスクが高い国の一つである。
これは、2012年まで地震規制が義務付けられていなかったこと、都市化の高度化、適切な空間計画とリスク防止政策の欠如などによる、建物の耐震性の高さによるものである。
レバノンの主要な住宅、経済、機関の中心であるベイルートは人口密度が高い。
都市開発の必要性の高まりに対応するため、建設は市の緑地全てをほぼ占拠し、広場や庭園は消失して高層ビルに取って代わられている。
しかし、オープンスペースは、破片から離れた安全な場所であり、地震の避難に不可欠な役割を担っている。
大規模な都市化にもかかわらず、いくつかのオープンスペースがあるが、ロックゲートやその他の人為的障壁は、しばしばそのアクセスを制限する。
この複雑な状況をシミュレートするために、歩行者の避難シミュレーションは、gama [1]で実装された非常に現実的な空間環境で実行される。
ベイルート[2, 3]の土壌および建物に関する過去のデータは、高解像度のプレアデス衛星画像から抽出された新しい地理データによって補完される。
地震荷重は、レバノンの地震法規で述べられているように、最大地上加速度0.3gと定義されている。
地震荷重, 地盤, 建物振動特性に基づいて, 平均損傷 [4] を予測するように訓練した人工ニューラルネットワークを用いて, 建築物の損傷を推定する [5]。
さらに、各建物周辺で発生した破片の量とフットプリントを推定し、モデルに含める。
我々は、地形、建物、破片、オープンスペースへのアクセスが個人のモビリティに与える影響をシミュレートする。
2つの都市構成が実施されている。
1. オープンスペースは、障壁のないアクセスです。
2. オープンスペースへのアクセスはブロックされている。
最初のシミュレーションの結果、地震後5分以内に人口の52%がオープンスペースに到達できるが、オープンスペースの1つをロックすると39%に減少することが示された。
これらの結果から,地震発生時の住民の安全確保には,都市内のアクセス可能なオープンスペースの存在と住宅への近接が重要な要因であることが示唆された。 Most seismic risk assessment methods focus on estimating the damages to the built environment and the consequent socioeconomic losses without fully taking into account the social aspect of risk. Yet, human behaviour is a key element in predicting the human impact of an earthquake, therefore, it is important to include it in quantitative risk assessment studies. In this study, an interdisciplinary approach simulating pedestrians' evacuation during earthquakes at the city scale is developed using an agent-based model. The model integrates the seismic hazard, the physical vulnerability as well as individuals' behaviours and mobility. The simulator is applied to the case of Beirut, Lebanon. Lebanon is at the heart of the Levant fault system that has generated several Mw>7 earthquakes, the latest being in 1759. It is one of the countries with the highest seismic risk in the Mediterranean region. This is due to the high seismic vulnerability of the buildings due to the absence of mandatory seismic regulation until 2012, the high level of urbanization, and the lack of adequate spatial planning and risk prevention policies. Beirut as the main residential, economic and institutional hub of Lebanon is densely populated. To accommodate the growing need for urban development, constructions have almost taken over all of the green areas of the city; squares and gardens are disappearing to give place to skyscrapers. However, open spaces are safe places to shelter, away from debris, and therefore play an essential role in earthquake evacuation. Despite the massive urbanization, there are a few open spaces but locked gates and other types of anthropogenic barriers often limit their access. To simulate this complex context, pedestrians' evacuation simulations are run in a highly realistic spatial environment implemented in GAMA [1]. Previous data concerning soil and buildings in Beirut [2, 3] are complemented by new geographic data extracted from high-resolution Pleiades satellite images. The seismic loading is defined as a peak ground acceleration of 0.3g, as stated in Lebanese seismic regulations. Building damages are estimated using an artificial neural network trained to predict the mean damage [4] based on the seismic loading as well as the soil and building vibrational properties [5]. Moreover, the quantity and the footprint of the generated debris around each building are also estimated and included in the model. We simulate how topography, buildings, debris, and access to open spaces, affect individuals' mobility. Two city configurations are implemented: 1. Open spaces are accessible without any barriers; 2. Access to some open spaces is blocked. The first simulation results show that while 52% of the population is able to arrive to an open space within 5 minutes after an earthquake, this number is reduced to 39% when one of the open spaces is locked. These results show that the presence of accessible open spaces in a city and their proximity to the residential buildings is a crucial factor for ensuring people's safety when an earthquake occurs. | 翻訳日:2023-09-07 16:26:47 公開日:2023-09-06 |
| # 熱力学-インフォームド・シンボリック回帰の導入 -- 状態発展の熱力学方程式のツール Introducing Thermodynamics-Informed Symbolic Regression -- A Tool for Thermodynamic Equations of State Development ( http://arxiv.org/abs/2309.02805v1 ) ライセンス: Link先を確認 | Viktor Martinek and Ophelia Frotscher and Markus Richter and Roland Herzog | (参考訳) 状態の熱力学方程式(EOS)は、多くの産業や学術分野において必須である。
データ取得に必要な高価で広範な測定キャンペーンを別にすれば、EOSの開発は極めて時間を要するプロセスであり、専門家の知識と反復的な微調整に大きく依存することが多い。
eos開発プロセスを改良し、加速するために、熱力学eosモデリングを目的としたシンボリックレグレッション(sr)ツールであるthermodynamics-informed symbolic regression(tisr)を導入する。
TiSRはすでに有能なSRツールであり、https://doi.org/10.1007/s10765-023-03197-zの研究で使われた。
SRベースと、しばしば散在する実験データ、異なる残差前処理と後処理オプション、熱力学的EOS開発を検討するのに必要な追加機能とを組み合わせることを目的としている。
TiSRはまだエンドユーザー向けには準備が整っていないが,本論文は現状を報告し,進捗を報告し,今後の方向性を議論することを目的としている。
TiSRはhttps://github.com/scoop-group/TiSRで利用可能であり、https://doi.org/10.5281/zenodo.8317547として参照できる。 Thermodynamic equations of state (EOS) are essential for many industries as well as in academia. Even leaving aside the expensive and extensive measurement campaigns required for the data acquisition, the development of EOS is an intensely time-consuming process, which does often still heavily rely on expert knowledge and iterative fine-tuning. To improve upon and accelerate the EOS development process, we introduce thermodynamics-informed symbolic regression (TiSR), a symbolic regression (SR) tool aimed at thermodynamic EOS modeling. TiSR is already a capable SR tool, which was used in the research of https://doi.org/10.1007/s10765-023-03197-z. It aims to combine an SR base with the extensions required to work with often strongly scattered experimental data, different residual pre- and post-processing options, and additional features required to consider thermodynamic EOS development. Although TiSR is not ready for end users yet, this paper is intended to report on its current state, showcase the progress, and discuss (distant and not so distant) future directions. TiSR is available at https://github.com/scoop-group/TiSR and can be cited as https://doi.org/10.5281/zenodo.8317547. | 翻訳日:2023-09-07 16:26:06 公開日:2023-09-06 |
| # 単一カメラによるドローンの3次元軌道再構成 3D Trajectory Reconstruction of Drones using a Single Camera ( http://arxiv.org/abs/2309.02801v1 ) ライセンス: Link先を確認 | Seobin Hwang, Hanyoung Kim, Chaeyeon Heo, Youkyoung Na, Cheongeun Lee, and Yeongjun Cho | (参考訳) ドローンは様々な分野で広く利用されているが、違法に使用されるドローンの数は近年増加している。
本研究では,これらの違法ドローンを防止すべく,単一カメラを用いてドローンの3次元軌道を再構築するための新しい枠組みを提案する。
キャリブレーションカメラを利用することで、2d空間と3d空間の関係を活用できる。
ドローンを2D画像で自動的に追跡し、その2Dローテーションを推定する。
推定された2Dドローンの位置と実際の長さ情報とカメラパラメータを組み合わせることで、ドローンの3D軌跡を幾何学的に推定する。
パブリックドローンデータセットの欠如に対処するために、合成2dおよび3dドローンデータセットも作成します。
実験の結果,提案手法は3次元空間におけるドローンの軌道を正確に再構築し,カメラによる監視システムの実現の可能性を示した。 Drones have been widely utilized in various fields, but the number of drones being used illegally and for hazardous purposes has increased recently. To prevent those illegal drones, in this work, we propose a novel framework for reconstructing 3D trajectories of drones using a single camera. By leveraging calibrated cameras, we exploit the relationship between 2D and 3D spaces. We automatically track the drones in 2D images using the drone tracker and estimate their 2D rotations. By combining the estimated 2D drone positions with their actual length information and camera parameters, we geometrically infer the 3D trajectories of the drones. To address the lack of public drone datasets, we also create synthetic 2D and 3D drone datasets. The experimental results show that the proposed methods accurately reconstruct drone trajectories in 3D space, and demonstrate the potential of our framework for single camera-based surveillance systems. | 翻訳日:2023-09-07 16:25:44 公開日:2023-09-06 |
| # IoTインフラを活用したギリシャの学校ビル群における室内騒音レベルに関する研究 A Study on Indoor Noise Levels in a Set of School Buildings in Greece utilizing an IoT infrastructure ( http://arxiv.org/abs/2309.02797v1 ) ライセンス: Link先を確認 | Georgios Mylonas, Lidia Pocero Fraile, Stelios Tsampas, Athanasios Kalogeras | (参考訳) 都市部における騒音汚染のより体系的なモニタリングは,特にスマートシティやIoTの普及に伴い,研究コミュニティのテーマとして注目を集めている。
しかし、職場や公共の建物内での室内騒音のレベルをモニターすることは、私たちの生活に大きな影響を与えています。
本研究では,ギリシャの5つの学校ビル内に設置したIoTインフラストラクチャによる騒音レベルデータについて報告する。
以上の結果から,学生や教育者が毎日経験している状況をより正確に把握し,健康リスクや聴覚の快適さの観点から有用な知見が得られることが示唆された。 Monitoring noise pollution in urban areas in a more systematic manner has been gaining traction as a theme among the research community, especially with the rise of smart cities and the IoT. However, although it affects our everyday life in a profound way, monitoring indoor noise levels inside workplaces and public buildings has so far grabbed less of our attention. In this work, we report on noise levels data produced by an IoT infrastructure installed inside 5 school buildings in Greece. Our results indicate that such data can help to produce a more accurate picture of the conditions that students and educators experience every day, and also provide useful insights in terms of health risks and aural comfort. | 翻訳日:2023-09-07 16:25:30 公開日:2023-09-06 |
| # Bi$_2$Se$_3$ナノシートのトポロジー Topology of Bi$_2$Se$_3$ nanosheets ( http://arxiv.org/abs/2309.02792v1 ) ライセンス: Link先を確認 | Lucas Maisel Licer\'an, Sebastiaan Koerhuis, Daniel Vanmaekelbergh, Henk Stoof | (参考訳) 近年, トポロジカル絶縁体Bi$_2$Se$_3$の2次元コロイドナノ結晶の量子スピンホールエッジチャネルが直接観測されている。
本研究は, 従来, 薄いナノシートを記述するために用いられてきた4バンド有効モデルを再考する。
3次元の $\boldsymbol{k} \boldsymbol{cdot} \boldsymbol{p}$ モデルから派生したもので、材料厚みの小さいため隙間となる上面と下面の電子状態を記述する。
しかし、3次元理論から直接導かれる表面状態の4バンドモデルだけでは、いくつかの4重層からなる薄膜の記述には不適切であり、また、かなりの範囲の厚さで不正確な位相不変量が得られることも判明した。
この制限に対処するために、表面状態に加えてフェルミレベルに最も近いバルクバンドの集合も含む8バンドモデルを提案する。
8バンドモデルは実験的な観測のほとんどを捉えているだけでなく、厚さの異なる薄膜における$\mathbb{z}_{2}$の以前の第一原理計算とも一致している。
さらに, 薄いBi$_2$Se$_3$ナノシートのトポロジー特性は, 表面とバルク状態の間の複雑な相互作用の結果出現し, 実際に後者は非自明なチャーン数となることを示した。 Recently, the quantum spin-Hall edge channels of two-dimensional colloidal nanocrystals of the topological insulator Bi$_2$Se$_3$ were observed directly. Motivated by this development, we reconsider the four-band effective model which has been traditionally employed in the past to describe thin nanosheets of this material. Derived from a three-dimensional $\boldsymbol{k} \boldsymbol{\cdot} \boldsymbol{p}$ model, it physically describes the top and bottom electronic surface states that become gapped due to the material's small thickness. However, we find that the four-band model for the surface states alone, as derived directly from the three-dimensional theory, is inadequate for the description of thin films of a few quintuple layers and even yields an incorrect topological invariant within a significant range of thicknesses. To address this limitation we propose an eight-band model which, in addition to the surface states, also incorporates the set of bulk bands closest to the Fermi level. We find that the eight-band model not only captures most of the experimental observations, but also agrees with previous first-principles calculations of the $\mathbb{Z}_{2}$ invariant in thin films of varying thickness. Moreover, we demonstrate that the topological properties of thin Bi$_2$Se$_3$ nanosheets emerge as a result of an intricate interplay between the surface and bulk states, which in fact results in nontrivial Chern numbers for the latter. | 翻訳日:2023-09-07 16:25:18 公開日:2023-09-06 |
| # モバイルエッジコンピューティングにおける分割学習のための情報の動的エンコーディングと復号化:情報ボットネック理論の活用 Dynamic Encoding and Decoding of Information for Split Learning in Mobile-Edge Computing: Leveraging Information Bottleneck Theory ( http://arxiv.org/abs/2309.02787v1 ) ライセンス: Link先を確認 | Omar Alhussein and Moshi Wei and Arashmid Akhavain | (参考訳) 分割学習(split learning)は、mlモデル(ニューラルネットワークなど)を2つの部分(エンコーダとデコーダ)に分割する、プライバシを保護した分散学習パラダイムである。
エンコーダは、モデルトレーニングのために、生データではなく、いわゆる潜在表現を共有する。
モバイルエッジコンピューティングでは、ネットワーク機能(トラフィック予測など)を、ユーザ機器(ue)にエンコーダが、エッジネットワークにデコーダが配置されたスプリットラーニングを通じてトレーニングすることができる。
本稿では,データ処理の不等式と情報ボトルネック(IB)理論に基づいて,送信リソース消費の動的バランスと共有潜在表現の情報伝達性を両立させることにより,予測性能に直接影響を及ぼす新しい枠組みとトレーニング機構を提案する。
提案するトレーニングメカニズムは、複雑な関連トレードオフの複数のモードを特徴とするエンコーダ-デコーダニューラルネットワークアーキテクチャを提供する。
適応性は、さまざまなリアルタイムネットワーク条件とアプリケーション要件に対応でき、運用コストの削減とネットワークアジリティの向上が期待できる。
概念実証として,ミリ波(ミリ波)のスループット予測問題に適用する。
IB理論の観点から、リカレントニューラルネットワークに関するいくつかの課題を取り上げ、新たな洞察を提供する。
興味深いことに,逐次モデルの時間領域にまたがる圧縮現象と,トレーニング時間数で発生する圧縮位相がみられた。 Split learning is a privacy-preserving distributed learning paradigm in which an ML model (e.g., a neural network) is split into two parts (i.e., an encoder and a decoder). The encoder shares so-called latent representation, rather than raw data, for model training. In mobile-edge computing, network functions (such as traffic forecasting) can be trained via split learning where an encoder resides in a user equipment (UE) and a decoder resides in the edge network. Based on the data processing inequality and the information bottleneck (IB) theory, we present a new framework and training mechanism to enable a dynamic balancing of the transmission resource consumption with the informativeness of the shared latent representations, which directly impacts the predictive performance. The proposed training mechanism offers an encoder-decoder neural network architecture featuring multiple modes of complexity-relevance tradeoffs, enabling tunable performance. The adaptability can accommodate varying real-time network conditions and application requirements, potentially reducing operational expenditure and enhancing network agility. As a proof of concept, we apply the training mechanism to a millimeter-wave (mmWave)-enabled throughput prediction problem. We also offer new insights and highlight some challenges related to recurrent neural networks from the perspective of the IB theory. Interestingly, we find a compression phenomenon across the temporal domain of the sequential model, in addition to the compression phase that occurs with the number of training epochs. | 翻訳日:2023-09-07 16:24:50 公開日:2023-09-06 |
| # 意味情報抽出とドメイン固有言語モデルを用いたCVEによる攻撃予測 CVE-driven Attack Technique Prediction with Semantic Information Extraction and a Domain-specific Language Model ( http://arxiv.org/abs/2309.02785v1 ) ライセンス: Link先を確認 | Ehsan Aghaei, Ehab Al-Shaer | (参考訳) 本稿では,CVE(Common Vulnerabilities and Exposures)に代表される脆弱性情報と,結果として生じるサイバー攻撃行動のギャップという,サイバーセキュリティにおける重要な課題に対処する。
CVEは脆弱性に関する洞察を提供するが、ATT&CKフレームワーク内の潜在的な脅威アクション(戦術、技術、手順、TP)の詳細を欠くことが多い。
このギャップは、正確なCVE分類と積極的な対策開始を妨げる。
本稿では、CVE記述を分析し、CVEによるTTP攻撃を推測する革新的な技術を用いて、TTP予測ツールを提案する。
TTPpredictorは、限定ラベル付きデータとCVEとTP記述間の意味的差異によって引き起こされる課題を克服する。
当初は、Semantic Role Labeling (SRL) 技術を用いて、構造化されていないサイバー脅威レポートから脅威アクションを抽出した。
これらのアクションは、コンテキスト属性とともに、MITREのアタック機能クラスと相関する。
この自動相関は、新しい脅威アクションを脅威機能クラスとTTPに分類するために不可欠なラベル付きデータの作成を促進する。
本報告では,CVE分類の95%から98%からATT&CK技術まで,約98%,F1スコアの精度でTTP予測器の有効性を実証した経験的評価を行った。
TTP予測器は、ChatGPTのような最先端の言語モデルツールより優れている。
本論文は、サイバーセキュリティ実践者が脅威を積極的に識別し軽減する能力を向上し、CVEを潜在的な攻撃技術にリンクする堅牢なソリューションを提供する。 This paper addresses a critical challenge in cybersecurity: the gap between vulnerability information represented by Common Vulnerabilities and Exposures (CVEs) and the resulting cyberattack actions. CVEs provide insights into vulnerabilities, but often lack details on potential threat actions (tactics, techniques, and procedures, or TTPs) within the ATT&CK framework. This gap hinders accurate CVE categorization and proactive countermeasure initiation. The paper introduces the TTPpredictor tool, which uses innovative techniques to analyze CVE descriptions and infer plausible TTP attacks resulting from CVE exploitation. TTPpredictor overcomes challenges posed by limited labeled data and semantic disparities between CVE and TTP descriptions. It initially extracts threat actions from unstructured cyber threat reports using Semantic Role Labeling (SRL) techniques. These actions, along with their contextual attributes, are correlated with MITRE's attack functionality classes. This automated correlation facilitates the creation of labeled data, essential for categorizing novel threat actions into threat functionality classes and TTPs. The paper presents an empirical assessment, demonstrating TTPpredictor's effectiveness with accuracy rates of approximately 98% and F1-scores ranging from 95% to 98% in precise CVE classification to ATT&CK techniques. TTPpredictor outperforms state-of-the-art language model tools like ChatGPT. Overall, this paper offers a robust solution for linking CVEs to potential attack techniques, enhancing cybersecurity practitioners' ability to proactively identify and mitigate threats. | 翻訳日:2023-09-07 16:24:24 公開日:2023-09-06 |
| # Norm Tweaking:大規模言語モデルの高速低ビット量子化 Norm Tweaking: High-performance Low-bit Quantization of Large Language Models ( http://arxiv.org/abs/2309.02784v1 ) ライセンス: Link先を確認 | Liang Li, Qingyuan Li, Bo Zhang, Xiangxiang Chu | (参考訳) 大規模言語モデル(LLM)のサイズが拡大するにつれ、精度を犠牲にすることなくモデル圧縮が重要な課題となっている。
GPTQのようないくつかの量子化法は許容される4ビットの重みのみの量子化を達成するために進歩してきたが、低ビットの量子化の試みは、しばしば深刻な性能劣化をもたらす。
本稿では,現行のPTQ手法のプラグインとして利用でき,コスト効率を向上し,高精度な手法であるノルム調整手法を提案する。
本手法は, フロートに適合する量子化活性化分布の修正により, LLMの精度が容易に回復できることに着想を得たものである。
これを実現するために,キャリブレーションデータ生成とチャネル間距離制約を含む微調整戦略を慎重に設計し,正規化層の重み付けを更新し,より一般化する。
我々は,複数のオープンソース LLM を用いて,様々なデータセットに対する広範な実験を行う。
本手法は,既存のPTQ法を超越して,重量のみの量子化と重量と活性化の連成量子化の両面で有意な改善を示す。
GLM-130B と OPT-66B では,フロート法と同程度の精度で2ビット量子化を行う。
私たちのシンプルで効果的なアプローチは、現実のアプリケーションでより実用的になります。 As the size of large language models (LLMs) continues to grow, model compression without sacrificing accuracy has become a crucial challenge for deployment. While some quantization methods, such as GPTQ, have made progress in achieving acceptable 4-bit weight-only quantization, attempts at lower bit quantization often result in severe performance degradation. In this paper, we introduce a technique called norm tweaking, which can be used as a plugin in current PTQ methods to achieve high precision while being cost-efficient. Our approach is inspired by the observation that rectifying the quantized activation distribution to match its float counterpart can readily restore accuracy for LLMs. To achieve this, we carefully design a tweaking strategy that includes calibration data generation and channel-wise distance constraint to update the weights of normalization layers for better generalization. We conduct extensive experiments on various datasets using several open-sourced LLMs. Our method demonstrates significant improvements in both weight-only quantization and joint quantization of weights and activations, surpassing existing PTQ methods. On GLM-130B and OPT-66B, our method even achieves the same level of accuracy at 2-bit quantization as their float ones. Our simple and effective approach makes it more practical for real-world applications. | 翻訳日:2023-09-07 16:23:58 公開日:2023-09-06 |
| # ビジョントランスを用いた肺癌の診断と予後の改善:スコーピング・レビュー Improving diagnosis and prognosis of lung cancer using vision transformers: A scoping review ( http://arxiv.org/abs/2309.02783v1 ) ライセンス: Link先を確認 | Hazrat Ali, Farida Mohsen, Zubair Shah | (参考訳) vision transformerベースの手法は、肺癌の応用を含む、医学的人工知能とがんイメージングの分野を進歩させています。
近年,多くの研究者が肺がんの診断と予後のための視覚変換器ベースのAI手法を開発した。
このスコーピングレビューは、肺がんイメージング応用のためのビジョントランスフォーマーベースのAI手法の最近の展開を特定することを目的としている。
ビジョントランスフォーマーがAIのパフォーマンスを補完し、肺がんのディープラーニング手法を補完する方法について、重要な洞察を提供する。
さらに、レビューはフィールドの進行に寄与したデータセットも識別する。
314の研究のうち、このレビューは2020年から2022年にかけて出版された34の研究を含んでいる。
これらの研究で最も一般的な課題は、肺扁平上皮癌と肺腺癌とを分類し、良性と悪性の肺結節を同定することであった。
その他の応用としては、肺がん患者の生存予測や肺の分節化がある。
その研究は臨床転換のための明確な戦略を欠いていた。
SWINトランスフォーマーは研究者の間で人気があったが、視覚トランスフォーマーと畳み込みニューラルネットワークやUNetモデルが組み合わされた他の多くのアーキテクチャも報告された。
vision transformerベースのモデルは、肺がん応用のためのai手法の開発でますます人気が高まっていると結論付けることができる。
しかし、その計算複雑性と臨床関連性は今後の研究で考慮すべき重要な要素である。
このレビューは、AIと医療の分野の研究者が肺癌の診断と予後の最先端を推し進めるための貴重な洞察を提供する。
肺がん.onrender.com/のインタラクティブダッシュボードを提供する。 Vision transformer-based methods are advancing the field of medical artificial intelligence and cancer imaging, including lung cancer applications. Recently, many researchers have developed vision transformer-based AI methods for lung cancer diagnosis and prognosis. This scoping review aims to identify the recent developments on vision transformer-based AI methods for lung cancer imaging applications. It provides key insights into how vision transformers complemented the performance of AI and deep learning methods for lung cancer. Furthermore, the review also identifies the datasets that contributed to advancing the field. Of the 314 retrieved studies, this review included 34 studies published from 2020 to 2022. The most commonly addressed task in these studies was the classification of lung cancer types, such as lung squamous cell carcinoma versus lung adenocarcinoma, and identifying benign versus malignant pulmonary nodules. Other applications included survival prediction of lung cancer patients and segmentation of lungs. The studies lacked clear strategies for clinical transformation. SWIN transformer was a popular choice of the researchers; however, many other architectures were also reported where vision transformer was combined with convolutional neural networks or UNet model. It can be concluded that vision transformer-based models are increasingly in popularity for developing AI methods for lung cancer applications. However, their computational complexity and clinical relevance are important factors to be considered for future research work. This review provides valuable insights for researchers in the field of AI and healthcare to advance the state-of-the-art in lung cancer diagnosis and prognosis. We provide an interactive dashboard on lung-cancer.onrender.com/. | 翻訳日:2023-09-07 16:23:36 公開日:2023-09-06 |
| # 組合せベイズ最適化のためのランダム後処理 Random postprocessing for combinatorial Bayesian optimization ( http://arxiv.org/abs/2309.02842v1 ) ライセンス: Link先を確認 | Keisuke Morita, Yoshihiko Nishikawa, Masayuki Ohzeki | (参考訳) ベイズ最適化を含む離散的「ブラックボックス」最適化に対するモデルベースシーケンシャルなアプローチは、しばしば対象関数に対して同じ点を複数回アクセスし、その結果、グローバル最適化を見つけるための多くのステップをもたらす。
本稿では,データセットの重複サンプルを厳格に禁止するベイズ最適化に対するポストプロセッシング手法の効果を数値的に検討する。
本手法は, 取得関数が最大後方推定値である場合には, 逐次ステップ数を大幅に削減し, グローバル最適度を求める。
この結果は,高次元問題に対するベイズ最適化の緩やかな収束を解決するための単純だが一般的な戦略である。 Model-based sequential approaches to discrete "black-box" optimization, including Bayesian optimization techniques, often access the same points multiple times for a given objective function in interest, resulting in many steps to find the global optimum. Here, we numerically study the effect of a postprocessing method on Bayesian optimization that strictly prohibits duplicated samples in the dataset. We find the postprocessing method significantly reduces the number of sequential steps to find the global optimum, especially when the acquisition function is of maximum a posterior estimation. Our results provide a simple but general strategy to solve the slow convergence of Bayesian optimization for high-dimensional problems. | 翻訳日:2023-09-07 16:17:30 公開日:2023-09-06 |
| # 非繰り返し符号化におけるアジャケーシホッピング・ド・ブルイン系列 Adjacency-hopping de Bruijn Sequences for Non-repetitive Coding ( http://arxiv.org/abs/2309.02841v1 ) ライセンス: Link先を確認 | Bin Chen, Zhenglin Liang, Shiqian Wu | (参考訳) 本論文では, 副次ホッピング・ド・ブリュイーン列と呼ばれる特別タイプの巡回配列を紹介する。
このような列の存在を理論的に証明し、それらの列の数を導出する。
これらの列は、隣接する全ての符号が異なることを保証し、その部分列の特異性を保ちながら、符号化とマッチングにおいて元のド・ブリュイアン列の重要な特徴である。
最終的に、構造化光符号化にアジャカシホッピング・ド・ブルイーンシーケンスを適用し、そのようなシーケンスで符号化されたカラーフリンジパターンを示す。
要約すると、提案したシーケンスは、サブシーケンスの特異性と隣接ホッピング特性により構造化光符号化において大きな利点を示し、非繰り返し符号化と効率的なマッチングの要件に類似した他のフィールドへの拡張の可能性を示す。 A special type of cyclic sequences named adjacency-hopping de Bruijn sequences is introduced in this paper. It is theoretically proved the existence of such sequences, and the number of such sequences is derived. These sequences guarantee that all neighboring codes are different while retaining the uniqueness of subsequences, which is a significant characteristic of original de Bruijn sequences in coding and matching. At last, the adjacency-hopping de Bruijn sequences are applied to structured light coding, and a color fringe pattern coded by such a sequence is presented. In summary, the proposed sequences demonstrate significant advantages in structured light coding by virtue of the uniqueness of subsequences and the adjacency-hopping characteristic, and show potential for extension to other fields with similar requirements of non-repetitive coding and efficient matching. | 翻訳日:2023-09-07 16:17:18 公開日:2023-09-06 |
| # スーパーデンス符号化を超越した量子双方向通信プロトコル Quantum Two-Way Communication Protocol Beyond Superdense Coding ( http://arxiv.org/abs/2309.02837v1 ) ライセンス: Link先を確認 | Lorenzo Valentini, Kristian Skafte Jensen, Ren\'e B{\o}dker Christensen, Marco Chiani, Petar Popovski | (参考訳) 量子対を絡めて古典的なビットを伝送するための双方向通信プロトコルに一方向超深符号化の一般化を導入する。
提案プロトコルは,片方向スーパーデンス符号化において与えられると考えられる絡み合ったペアのプロビジョニングを行う。
提案プロトコルは,従来のプロトコルと比較して,データレートとエネルギー効率を50%向上させる。
デコヒーレンスを考慮しても、デコヒーレンス時間が極端に短い限り、量子プロトコルはより良く動作する。 We introduce a generalization of one-way superdense coding to two-way communication protocols for transmitting classical bits by using entangled quantum pairs. The proposed protocol caters for provision of entangled pairs, which is assumed to be given in one-way superdense coding. The proposed protocol gives a 50% increase in both data rate and energy efficiency compared to the classical protocol. Even when decoherence is taken into consideration, the quantum protocol performs better as long as the decoherence time is not extremely short. | 翻訳日:2023-09-07 16:17:02 公開日:2023-09-06 |
| # BigVSAN: Slicing Adversarial NetworkによるGANベースのニューラルヴォコーダの強化 BigVSAN: Enhancing GAN-based Neural Vocoders with Slicing Adversarial Network ( http://arxiv.org/abs/2309.02836v1 ) ライセンス: Link先を確認 | Takashi Shibuya, Yuhta Takida, Yuki Mitsufuji | (参考訳) 高忠実度音声波形をリアルタイムより高速に合成できるGANベースのボコーダの研究が盛んに行われている。
しかし、ほとんどのGANは、特徴空間における実データと偽データの識別に最適な予測値を得ることができないことが報告されている。
本報告では, 画像生成作業において, 最適投影を見出すことができる改良型GANトレーニングフレームワークであるスライシング・ディバイサル・ネットワーク(SAN)が有効であることが実証されている。
本稿では,VocodeタスクにおけるSANの有効性について検討する。
そこで本研究では,ほとんどのGANベースのボコーダが採用している最小二乗GANを,損失関数がSANの要求を満たすように修正する手法を提案する。
実験により,SANは,BigVGANを含むGANベースのボコーダの性能を小さな修正で向上させることができることを示した。
私たちのコードはhttps://github.com/sony/bigvsan.comで利用可能です。 Generative adversarial network (GAN)-based vocoders have been intensively studied because they can synthesize high-fidelity audio waveforms faster than real-time. However, it has been reported that most GANs fail to obtain the optimal projection for discriminating between real and fake data in the feature space. In the literature, it has been demonstrated that slicing adversarial network (SAN), an improved GAN training framework that can find the optimal projection, is effective in the image generation task. In this paper, we investigate the effectiveness of SAN in the vocoding task. For this purpose, we propose a scheme to modify least-squares GAN, which most GAN-based vocoders adopt, so that their loss functions satisfy the requirements of SAN. Through our experiments, we demonstrate that SAN can improve the performance of GAN-based vocoders, including BigVGAN, with small modifications. Our code is available at https://github.com/sony/bigvsan. | 翻訳日:2023-09-07 16:16:54 公開日:2023-09-06 |
| # Few-Shot Class-Incremental Learningのための画像オブジェクト特異的プロンプト学習 Image-Object-Specific Prompt Learning for Few-Shot Class-Incremental Learning ( http://arxiv.org/abs/2309.02833v1 ) ライセンス: Link先を確認 | In-Ug Yoon, Tae-Min Choi, Sun-Kyung Lee, Young-Min Kim, Jong-Hwan Kim | (参考訳) 多くのFSCIL研究が実施されているが、特にインクリメンタルセッションにおいて、満足なパフォーマンスを達成することは依然として困難である。
注目すべき課題のひとつは、十分なベースセッショントレーニングセットでトレーニングされたエンコーダが、インクリメンタルセッションではパフォーマンスが劣っていることだ。
本研究では,CLIP(Contrastive Language- Image Pre-Training)モデルのクラスに対する一般化性を活かした,FSCILの新しいトレーニングフレームワークを提案する。
入力画像に対する画像オブジェクト固有(IOS)分類器を定式化する。
ここでは、IOS分類器は画像の背景ではなく、クラスオブジェクトの特定の属性(翼や車輪など)をターゲットにしている。
これらのIOS分類器を作成するために、特別に設計されたモジュールを使ってバイアスプロンプトを分類器にエンコードし、キーとプロンプトのペアを使って各セッションでクラスのIOS機能をピンポイントする。
fscilの立場から考えると、私たちのフレームワークは以前の知識を保ち、新しいセッションに素早く適応するように構成されています。
これは各セッションにおけるモジュールのアップカビリティと、高速収束のために実証的なトリックを考慮したものである。
提案手法は,MiniImageNet,CIFAR100,CUB200データセットを対象とする最先端手法と比較して,優れた性能を示す。
さらに、IOS分類器を実現するための学習モデルの能力を検証するための追加実験も提供する。
また、アーキテクチャ内の各モジュールの影響を分析するためのアブレーション研究も行います。 While many FSCIL studies have been undertaken, achieving satisfactory performance, especially during incremental sessions, has remained challenging. One prominent challenge is that the encoder, trained with an ample base session training set, often underperforms in incremental sessions. In this study, we introduce a novel training framework for FSCIL, capitalizing on the generalizability of the Contrastive Language-Image Pre-training (CLIP) model to unseen classes. We achieve this by formulating image-object-specific (IOS) classifiers for the input images. Here, an IOS classifier refers to one that targets specific attributes (like wings or wheels) of class objects rather than the image's background. To create these IOS classifiers, we encode a bias prompt into the classifiers using our specially designed module, which harnesses key-prompt pairs to pinpoint the IOS features of classes in each session. From an FSCIL standpoint, our framework is structured to retain previous knowledge and swiftly adapt to new sessions without forgetting or overfitting. This considers the updatability of modules in each session and some tricks empirically found for fast convergence. Our approach consistently demonstrates superior performance compared to state-of-the-art methods across the miniImageNet, CIFAR100, and CUB200 datasets. Further, we provide additional experiments to validate our learned model's ability to achieve IOS classifiers. We also conduct ablation studies to analyze the impact of each module within the architecture. | 翻訳日:2023-09-07 16:16:35 公開日:2023-09-06 |
| # 文脈と応答のパターン情報学習によるオープンドメイン対話生成の促進 Promoting Open-domain Dialogue Generation through Learning Pattern Information between Contexts and Responses ( http://arxiv.org/abs/2309.02823v1 ) ライセンス: Link先を確認 | Mengjuan Liu, Chenyang Liu, Yunfan Yang, Jiang Liu, Mohan Jing | (参考訳) 近年,深層ニューラルネットワークによるオープンドメイン対話モデルの構築が話題となっている。
しかし、これらのモデルが生成する応答は、文脈化されていない応答や、情報内容が欠けている一般的な応答を生成する傾向、ユーザの体験に深刻なダメージを与えるなど、多くの問題に悩まされる。
したがって、多くの研究が対話モデルにより多くの情報を導入して、生成した応答をより鮮明かつ情報豊かにしようとする。
それらと異なり,学習サンプルにおける文脈と応答の暗黙的なパターン情報を学習することにより,生成した応答の質を向上させる。
本稿では,まず,事前学習言語モデル(GPT-2)に基づくオープンドメイン対話モデルを構築する。
そして, 事前学習モデルにおいて, 露出バイアス問題を避けつつ, 学習段階での応答生成を誘導するために, 応答を活用できる改良されたスケジュールサンプリング法を提案する。
より重要なことは、生成した応答がより多様でヒトの応答に近似するように、文脈と応答の間の暗黙のパターン情報をマイニングする応答認識機構を設計することである。
最後に,提案モデル(rad)をペルソナチャットおよび日次ダイアログデータセット上で評価し,本モデルがほとんどの自動メトリクスおよび手動メトリクスのベースラインを上回ることを示す。 Recently, utilizing deep neural networks to build the opendomain dialogue models has become a hot topic. However, the responses generated by these models suffer from many problems such as responses not being contextualized and tend to generate generic responses that lack information content, damaging the user's experience seriously. Therefore, many studies try introducing more information into the dialogue models to make the generated responses more vivid and informative. Unlike them, this paper improves the quality of generated responses by learning the implicit pattern information between contexts and responses in the training samples. In this paper, we first build an open-domain dialogue model based on the pre-trained language model (i.e., GPT-2). And then, an improved scheduled sampling method is proposed for pre-trained models, by which the responses can be used to guide the response generation in the training phase while avoiding the exposure bias problem. More importantly, we design a response-aware mechanism for mining the implicit pattern information between contexts and responses so that the generated replies are more diverse and approximate to human replies. Finally, we evaluate the proposed model (RAD) on the Persona-Chat and DailyDialog datasets; and the experimental results show that our model outperforms the baselines on most automatic and manual metrics. | 翻訳日:2023-09-07 16:16:11 公開日:2023-09-06 |
| # Roulette: ディープラーニング分類タスクのためのセマンティックプライバシ保護デバイスエッジ協調推論フレームワーク Roulette: A Semantic Privacy-Preserving Device-Edge Collaborative Inference Framework for Deep Learning Classification Tasks ( http://arxiv.org/abs/2309.02820v1 ) ライセンス: Link先を確認 | Jingyi Li, Guocheng Liao, Lin Chen, and Xu Chen | (参考訳) ディープラーニング分類器は、人工知能の時代において不可欠である。
デバイスエッジベースのコラボレーティブ推論は、IoTおよび5G/6Gネットワークでのアプリケーションを促進するための効率的なフレームワークとして広く採用されている。
しかし、ID以外のデータ配信やプライバシー開示の精度低下に悩まされている。
精度の低下のため、転送学習と分割学習の直接利用はコストが高く、プライバシーの問題も残る。
プライバシー開示のために、暗号ベースのアプローチは大きなオーバーヘッドにつながる。
他の軽量な方法は、基底の真理は非感受性であり、露呈できると仮定する。
しかし、多くのアプリケーションにとって、基本的な真実はユーザーのプライバシーに敏感な情報です。
本稿では,ディープラーニング分類のためのタスク指向のセマンティックプライバシ保存協調推論フレームワークであるRouletteのフレームワークを提案する。
入力データよりも、データの基礎的真実をプライベート情報として扱う。
我々は,バックエンドDNNを凍結し,フロントエンドDNNを特徴抽出器と暗号化器の両方に再訓練する,分割学習のパラダイムを開発する。
さらに,プライバシの異なる保証を提供し,真理推論攻撃の難しさを解析する。
提案したRouletteの有効性を検証するために,現実的なデータセットを用いて広範な性能評価を行い,Rouletteが様々な攻撃に対して効果的に防御でき,一方でモデル精度も良好であることを示す。
非i.d.が非常に厳しい状況では、Rouletteはベンチマークよりも平均21\%の推論精度を向上し、一方、識別攻撃の精度はランダムな推測とほぼ同等である。 Deep learning classifiers are crucial in the age of artificial intelligence. The device-edge-based collaborative inference has been widely adopted as an efficient framework for promoting its applications in IoT and 5G/6G networks. However, it suffers from accuracy degradation under non-i.i.d. data distribution and privacy disclosure. For accuracy degradation, direct use of transfer learning and split learning is high cost and privacy issues remain. For privacy disclosure, cryptography-based approaches lead to a huge overhead. Other lightweight methods assume that the ground truth is non-sensitive and can be exposed. But for many applications, the ground truth is the user's crucial privacy-sensitive information. In this paper, we propose a framework of Roulette, which is a task-oriented semantic privacy-preserving collaborative inference framework for deep learning classifiers. More than input data, we treat the ground truth of the data as private information. We develop a novel paradigm of split learning where the back-end DNN is frozen and the front-end DNN is retrained to be both a feature extractor and an encryptor. Moreover, we provide a differential privacy guarantee and analyze the hardness of ground truth inference attacks. To validate the proposed Roulette, we conduct extensive performance evaluations using realistic datasets, which demonstrate that Roulette can effectively defend against various attacks and meanwhile achieve good model accuracy. In a situation where the non-i.i.d. is very severe, Roulette improves the inference accuracy by 21\% averaged over benchmarks, while making the accuracy of discrimination attacks almost equivalent to random guessing. | 翻訳日:2023-09-07 16:15:47 公開日:2023-09-06 |
| # 特異点近傍による振動支援エネルギー移動の促進と蛍光検出振動分光法による距離探査 Enhancing vibrationally assisted energy transfer by proximity to exceptional points and probing the distance via fluorescence-detected vibrational spectroscopy ( http://arxiv.org/abs/2309.02819v1 ) ライセンス: Link先を確認 | Zeng-Zhao Li and K. Birgitta Whaley | (参考訳) 量子プラットフォーム上の自然系におけるエネルギー移動過程のエミュレーションは、自然の複雑なダイナミクスの理解をさらに深めることができる。
1つの顕著な例は、閉じ込められたイオン量子エミュレータ上での振動補助エネルギー伝達(VAET)のデモンストレーションであり、光収穫のエネルギー学的な知見を提供する。
本研究では、閉じ込められたイオンを用いたVAETシミュレーションの研究を、振動モードに弱結合した$\mathscr{PT}$-symmetric chromophore dimerからなる非エルミタン量子系に拡張する。
まず,振動を伴わない励起エネルギー移動過程の例外点(eps)と非エルミート的特徴を特徴付ける。
振動を含む系の非エルミート力学を探索した結果, 振動モードからのフォノンの吸収に伴うエネルギー移動はEP付近で顕著に増強できることがわかった。
計算の結果,固有状態と固有エネルギーの結合を示す特異なスペクトル特性が示され,新しい蛍光検出振動分光法がEPをプローブする。
EP近傍でのVAETプロセスの増強は、EPにおけるフォノン吸収の最大選択性に起因することが判明した。
非エルミート量子系におけるVAETプロセスの改善に関する研究は、励起エネルギー移動に関連する量子力学における非ハーミティシティの活用の道を開く。 Emulation of energy transfer processes in natural systems on quantum platforms can further our understanding of complex dynamics in nature. One notable example is the demonstration of vibrationally assisted energy transfer (VAET) on a trapped-ion quantum emulator, which offers insights for the energetics of light harvesting. In this work, we expand the study of VAET simulation with trapped ions to a non-Hermitian quantum system comprising a $\mathscr{PT}$-symmetric chromophore dimer weakly coupled to a vibrational mode. We first characterize exceptional points (EPs) and non-Hermitian features of the excitation energy transfer processes in the absence of the vibration. Exploring the non-Hermitian dynamics of the whole system including vibrations, we find that energy transfer accompanied by absorption of phonons from a vibrational mode can be significantly enhanced near an EP. Our calculations reveal a unique spectral feature signifying the coalescing of eigenstates and eigenenergies, providing a novel fluorescence-detected vibrational spectroscopy approach to probe EPs. Enhancement of the VAET process near the EP is found to be due to maximal favorability of phonon absorption at the EP. Our work on improving VAET processes in non-Hermitian quantum systems paves the way for leveraging non-Hermiticity in quantum dynamics related to excitation energy transfer. | 翻訳日:2023-09-07 16:15:24 公開日:2023-09-06 |
| # 遠心圧縮機の熱力学に基づくモデルとアクティブ機械学習を組み合わせた産業設計最適化 Combining Thermodynamics-based Model of the Centrifugal Compressors and Active Machine Learning for Enhanced Industrial Design Optimization ( http://arxiv.org/abs/2309.02818v1 ) ライセンス: Link先を確認 | Shadi Ghiasi, Guido Pazzi, Concettina Del Grosso, Giovanni De Magistris, Giacomo Veneri | (参考訳) 遠心圧縮機の設計プロセスは、圧縮機の力学方程式の基礎となる複雑な解析方程式のために計算コストが高い最適化プロセスを適用する必要がある。
回帰サロゲートモデルはそのようなプロセスの計算コストを大幅に削減できるが、サロゲートモデルを訓練するためのデータの不足が大きな課題である。
ラベル付きサンプルを戦略的に活用するために,我々は,熱力学ベースの圧縮機モデル(コンプレッサー設計のための内部ソフトウェア)とガウス過程に基づくサーロゲートモデルをデプロイ可能なアクティブラーニング(al)設定で組み合わせるアクティブコンプレッサーフレームワークを提案する。
まず、オフライン環境で実験を行い、さらに、熱力学ベースの圧縮機モデルとのリアルタイムインタラクションによって本番環境への展開を可能にするオンラインalフレームワークに拡張する。
ActiveCompDesignは、データポイントのランダムな選択に関して、ALフレームワーク内のサンプルの不確実性に基づくクエリ関数を活用することで、サロゲートモデリングの大幅なパフォーマンス向上を示す。
さらに,本システムでは,コンプレッサの設計最適化の総計算時間を,内部熱力学に基づくシミュレータに依存するよりも約46%高速化し,同じ性能を実現している。 The design process of centrifugal compressors requires applying an optimization process which is computationally expensive due to complex analytical equations underlying the compressor's dynamical equations. Although the regression surrogate models could drastically reduce the computational cost of such a process, the major challenge is the scarcity of data for training the surrogate model. Aiming to strategically exploit the labeled samples, we propose the Active-CompDesign framework in which we combine a thermodynamics-based compressor model (i.e., our internal software for compressor design) and Gaussian Process-based surrogate model within a deployable Active Learning (AL) setting. We first conduct experiments in an offline setting and further, extend it to an online AL framework where a real-time interaction with the thermodynamics-based compressor's model allows the deployment in production. ActiveCompDesign shows a significant performance improvement in surrogate modeling by leveraging on uncertainty-based query function of samples within the AL framework with respect to the random selection of data points. Moreover, our framework in production has reduced the total computational time of compressor's design optimization to around 46% faster than relying on the internal thermodynamics-based simulator, achieving the same performance. | 翻訳日:2023-09-07 16:15:03 公開日:2023-09-06 |
| # 連続状態-作用空間に対する近連続時間強化学習 Near-continuous time Reinforcement Learning for continuous state-action spaces ( http://arxiv.org/abs/2309.02815v1 ) ライセンス: Link先を確認 | Lorenzo Croissant (CEREMADE), Marc Abeille, Bruno Bouchard (CEREMADE) | (参考訳) 未知の力学系を制御するための強化学習問題を考えることで,1つの軌道に沿った長期平均報酬を最大化する。
文献の多くは、離散時間と離散状態-作用空間で発生するシステム相互作用を考察している。
この立場はゲームに適しているが、連続時間でなければ高い頻度で相互作用が起こり、本質的に連続でなければ状態空間が大きいメカニカルまたはデジタルシステムでは不十分であることが多い。
おそらく唯一の例外は、離散時間と連続時間の両方に結果が存在する線形二次フレームワークである。
しかし、連続状態を扱う能力は、強固な動的および報酬構造の欠点をもたらす。
この研究は、離散時間 (\varepsilon=1$) から連続時間 (\varepsilon\downarrow0$) までの任意の時間スケールをキャプチャするpoissonクロック $\varepsilon^{-1}$ で相互作用時間をモデル化することで、これらの欠点を克服することを目的としている。
さらに、一般的な報酬関数を検討し、$\mathbb{r}^d$ 上の任意の遷移核を持つジャンププロセスに従って状態ダイナミクスをモデル化する。
提案手法は,サブタスク(学習と計画)が効果的に実行される場合に有効であることを示す。
我々は,エリューダー次元の枠組み内での学習に取り組み,ジャンプ過程の拡散極限近似に基づく近似計画法を提案する。
全体として、我々のアルゴリズムは次数 $\tilde{\mathcal{O}}(\varepsilon^{1/2} T+\sqrt{T})$ を後悔している。
相互作用の頻度が爆発すると、近似誤差$\varepsilon^{1/2} T$は消え、$\tilde{\mathcal{O}}(\sqrt{T})$がほぼ連続時間で達成可能であることを示す。 We consider the Reinforcement Learning problem of controlling an unknown dynamical system to maximise the long-term average reward along a single trajectory. Most of the literature considers system interactions that occur in discrete time and discrete state-action spaces. Although this standpoint is suitable for games, it is often inadequate for mechanical or digital systems in which interactions occur at a high frequency, if not in continuous time, and whose state spaces are large if not inherently continuous. Perhaps the only exception is the Linear Quadratic framework for which results exist both in discrete and continuous time. However, its ability to handle continuous states comes with the drawback of a rigid dynamic and reward structure. This work aims to overcome these shortcomings by modelling interaction times with a Poisson clock of frequency $\varepsilon^{-1}$, which captures arbitrary time scales: from discrete ($\varepsilon=1$) to continuous time ($\varepsilon\downarrow0$). In addition, we consider a generic reward function and model the state dynamics according to a jump process with an arbitrary transition kernel on $\mathbb{R}^d$. We show that the celebrated optimism protocol applies when the sub-tasks (learning and planning) can be performed effectively. We tackle learning within the eluder dimension framework and propose an approximate planning method based on a diffusive limit approximation of the jump process. Overall, our algorithm enjoys a regret of order $\tilde{\mathcal{O}}(\varepsilon^{1/2} T+\sqrt{T})$. As the frequency of interactions blows up, the approximation error $\varepsilon^{1/2} T$ vanishes, showing that $\tilde{\mathcal{O}}(\sqrt{T})$ is attainable in near-continuous time. | 翻訳日:2023-09-07 16:14:42 公開日:2023-09-06 |
| # オンライン連続学習におけるモメンタム知識蒸留の再考 Rethinking Momentum Knowledge Distillation in Online Continual Learning ( http://arxiv.org/abs/2309.02870v1 ) ライセンス: Link先を確認 | Nicolas Michel, Maorong Wang, Ling Xiao, Toshihiko Yamasaki | (参考訳) オンライン連続学習(ocl)は、複数の分類タスクが順次現れる連続データストリーム上でニューラルネットワークをトレーニングする問題に対処する。
オフライン連続学習とは対照的に、データはoclで1回だけ見ることができる。
この文脈では、リプレイベースの戦略は印象的な結果をもたらし、ほとんどの最先端のアプローチはそれらに大きく依存しています。
知識蒸留(KD)はオフラインの連続学習で広く使われているが、OCLではその可能性にもかかわらず未公開のままである。
本稿では,OCLにKDを適用する際の課題を理論的に分析する。
我々は,多くの旗艦OCL法にMKD(Momentum Knowledge Distillation)を適用するための直接的かつ効果的な手法を導入し,既存のアプローチを強化する能力を実証する。
ImageNet100の既存の最先端の精度を10\%以上向上することに加えて、私たちは、OCLでのトレーニング中にMKDの内部力学と影響に光を当てました。
リプレイと同様、MKDはOCLの中心的なコンポーネントであるべきだと我々は主張する。 Online Continual Learning (OCL) addresses the problem of training neural networks on a continuous data stream where multiple classification tasks emerge in sequence. In contrast to offline Continual Learning, data can be seen only once in OCL. In this context, replay-based strategies have achieved impressive results and most state-of-the-art approaches are heavily depending on them. While Knowledge Distillation (KD) has been extensively used in offline Continual Learning, it remains under-exploited in OCL, despite its potential. In this paper, we theoretically analyze the challenges in applying KD to OCL. We introduce a direct yet effective methodology for applying Momentum Knowledge Distillation (MKD) to many flagship OCL methods and demonstrate its capabilities to enhance existing approaches. In addition to improving existing state-of-the-arts accuracy by more than $10\%$ points on ImageNet100, we shed light on MKD internal mechanics and impacts during training in OCL. We argue that similar to replay, MKD should be considered a central component of OCL. | 翻訳日:2023-09-07 16:06:56 公開日:2023-09-06 |
| # 深層強化学習モデルにおける望ましくない行動の低減について On Reducing Undesirable Behavior in Deep Reinforcement Learning Models ( http://arxiv.org/abs/2309.02869v1 ) ライセンス: Link先を確認 | Ophir Carmel, Guy Katz | (参考訳) 深層強化学習(DRL)は様々な応用分野において非常に有用であることが証明されている。
しかし、成功したDRLベースのソフトウェアでさえ、非常に望ましくない振る舞いを示す。
これは、典型的には一般的な傾向を捉えるが、システムの特定の振る舞いを正確に捉えたり、排除したりできない報奨関数を最大化することに基づくdrlトレーニングである。
本稿では,DRLベースのソフトウェアにおいて,その性能を維持しつつ,望ましくない動作を大幅に削減することを目的とした新しいフレームワークを提案する。
さらに,我々のフレームワークは,このような望ましくない振る舞いの理解しやすい特徴を技術者に提供するのに役立てることができる。
我々のアプローチは、誤った状態-アクションペアから決定木分類器を抽出し、これらの木をdrlトレーニングループに統合し、エラーを発生させるたびにシステムをペナルティ化する。
我々は,本手法の概念実証実装を行い,その手法を3つの重要なケーススタディで評価する。
当社のアプローチでは、既存のフレームワークを簡単な方法で拡張することが可能で、トレーニング時間のオーバーヘッドはわずかです。
さらに、パフォーマンスに非常にわずかな打撃しかかからず、場合によっては改善されるが、望ましくない振る舞いの頻度は大幅に減少する。 Deep reinforcement learning (DRL) has proven extremely useful in a large variety of application domains. However, even successful DRL-based software can exhibit highly undesirable behavior. This is due to DRL training being based on maximizing a reward function, which typically captures general trends but cannot precisely capture, or rule out, certain behaviors of the system. In this paper, we propose a novel framework aimed at drastically reducing the undesirable behavior of DRL-based software, while maintaining its excellent performance. In addition, our framework can assist in providing engineers with a comprehensible characterization of such undesirable behavior. Under the hood, our approach is based on extracting decision tree classifiers from erroneous state-action pairs, and then integrating these trees into the DRL training loop, penalizing the system whenever it performs an error. We provide a proof-of-concept implementation of our approach, and use it to evaluate the technique on three significant case studies. We find that our approach can extend existing frameworks in a straightforward manner, and incurs only a slight overhead in training time. Further, it incurs only a very slight hit to performance, or even in some cases - improves it, while significantly reducing the frequency of undesirable behavior. | 翻訳日:2023-09-07 16:06:38 公開日:2023-09-06 |
| # コントラスト関係推論によるイベントシーケンスモデリングの強化 Enhancing Event Sequence Modeling with Contrastive Relational Inference ( http://arxiv.org/abs/2309.02868v1 ) ライセンス: Link先を確認 | Yan Wang, Zhixuan Chu, Tao Zhou, Caigao Jiang, Hongyan Hao, Minjie Zhu, Xindong Cai, Qing Cui, Longfei Li, James Y Zhang, Siqiao Xue, Jun Zhou | (参考訳) ニューラル・テンポラリ・ポイント・プロセス(tpps)は連続時間イベントシーケンスのモデリングに有望であることを示した。
しかし、イベントシーケンスデータの予測のような推論タスクを実行するためには、イベント間のインタラクションをキャプチャすることは難しい。
既存のTPPモデルは、将来の事象の条件分布をパラメータ化することに重点を置いている。
本稿では、ニューラルリレーショナル推論(NRI)を利用して、観測データから動的パターンを同時に学習しながら相互作用を推論する関係グラフを学習する新しいアプローチを提案する。
我々のアプローチであるContrastive Relational Inference-based Hawkes Process (CRIHP)は、変動推論フレームワークの下でのイベント相互作用の理由である。
強度に基づく学習を利用して、コントラスト関係制約のプロトタイプパスを探索する。
3つの実世界のデータセットに対する大規模な実験は、イベントシーケンスモデリングタスクにおけるイベントインタラクションのキャプチャにおける我々のモデルの有効性を示す。 Neural temporal point processes(TPPs) have shown promise for modeling continuous-time event sequences. However, capturing the interactions between events is challenging yet critical for performing inference tasks like forecasting on event sequence data. Existing TPP models have focused on parameterizing the conditional distribution of future events but struggle to model event interactions. In this paper, we propose a novel approach that leverages Neural Relational Inference (NRI) to learn a relation graph that infers interactions while simultaneously learning the dynamics patterns from observational data. Our approach, the Contrastive Relational Inference-based Hawkes Process (CRIHP), reasons about event interactions under a variational inference framework. It utilizes intensity-based learning to search for prototype paths to contrast relationship constraints. Extensive experiments on three real-world datasets demonstrate the effectiveness of our model in capturing event interactions for event sequence modeling tasks. | 翻訳日:2023-09-07 16:06:18 公開日:2023-09-06 |
| # 定数深さ量子回路の誤差しきい値における西森遷移の実現 Realizing the Nishimori transition across the error threshold for constant-depth quantum circuits ( http://arxiv.org/abs/2309.02863v1 ) ライセンス: Link先を確認 | Edward H. Chen, Guo-Yi Zhu, Ruben Verresen, Alireza Seif, Elisa Ba\"umer, David Layden, Nathanan Tantivasadakarn, Guanyu Zhu, Sarah Sheldon, Ashvin Vishwanath, Simon Trebst, Abhinav Kandala | (参考訳) 多くの量子ビットにまたがる量子状態の準備は、量子コンピュータのポテンシャルを完全に解き放つために必要である。
しかしながら、ノイズやゲートの不完全さに安定した効率的な準備プロトコルを実現することが重要な課題である。
ここでは、127個の超伝導量子ビットデバイス上の測定ベースのプロトコルを用いて、54個の系量子ビット上で、グリーンベルガー・ホルン・ザイリンガー状態(GHZ)と繰り返し符号(英語版)に精通した最も単純な長距離オーダー(Ising Order)の生成について研究する。
定数深度プロトコルと古典デコーダの効率的な実装により、GHZ状態の忠実度は、サイズ依存のユニタリプロトコルと比較して高い。
コーヒーレントおよび非コヒーレント誤差率を実験的に調整することにより、この復号された長距離秩序の2次元における安定性を、異常な西森普遍性クラスに属する遷移に対応する臨界点まで示す。
古典的なシステムでは、西森物理学は複数のパラメータを微調整する必要があるが、ここでは、測定確率のボルン則の直接的な結果として生じる。
本研究は、100量子ビットを超える量子プロセッサ上で測定に基づく状態準備が有意義に探究できることを示す。 Preparing quantum states across many qubits is necessary to unlock the full potential of quantum computers. However, a key challenge is to realize efficient preparation protocols which are stable to noise and gate imperfections. Here, using a measurement-based protocol on a 127 superconducting qubit device, we study the generation of the simplest long-range order -- Ising order, familiar from Greenberger-Horne-Zeilinger (GHZ) states and the repetition code -- on 54 system qubits. Our efficient implementation of the constant-depth protocol and classical decoder shows higher fidelities for GHZ states compared to size-dependent, unitary protocols. By experimentally tuning coherent and incoherent error rates, we demonstrate stability of this decoded long-range order in two spatial dimensions, up to a critical point which corresponds to a transition belonging to the unusual Nishimori universality class. Although in classical systems Nishimori physics requires fine-tuning multiple parameters, here it arises as a direct result of the Born rule for measurement probabilities -- locking the effective temperature and disorder driving this transition. Our study exemplifies how measurement-based state preparation can be meaningfully explored on quantum processors beyond a hundred qubits. | 翻訳日:2023-09-07 16:06:03 公開日:2023-09-06 |
| # 学習可能なクエリによる画像美学評価 Image Aesthetics Assessment via Learnable Queries ( http://arxiv.org/abs/2309.02861v1 ) ライセンス: Link先を確認 | Zhiwei Xiong, Yunfan Zhang, Zhiqi Shen, Peiran Ren, Han Yu | (参考訳) image aesthetics assessment (iaa) は、画像の美学を推定することを目的としている。
画像の内容によっては、審美性を評価するために様々な基準を選択する必要がある。
既存の作品は、コンテンツ知識に基づいてトレーニング済みの視覚バックボーンを使用して画像美学を学ぶ。
しかし、これらのバックボーンのトレーニングは時間がかかり、注意の分散に苦しむ。
視覚言語アライメントにおける学習可能なクエリに着想を得て,学習可能なクエリ(IAA-LQ)を用いた画像美学アセスメントを提案する。
学習可能なクエリに適応し、凍結画像エンコーダから得られた予め訓練された画像特徴から美的特徴を抽出する。
実世界のデータに対する大規模な実験はIAA-LQの利点を示し、SRCCとPLCCでそれぞれ2.2%と2.1%の最先端の手法を上回りました。 Image aesthetics assessment (IAA) aims to estimate the aesthetics of images. Depending on the content of an image, diverse criteria need to be selected to assess its aesthetics. Existing works utilize pre-trained vision backbones based on content knowledge to learn image aesthetics. However, training those backbones is time-consuming and suffers from attention dispersion. Inspired by learnable queries in vision-language alignment, we propose the Image Aesthetics Assessment via Learnable Queries (IAA-LQ) approach. It adapts learnable queries to extract aesthetic features from pre-trained image features obtained from a frozen image encoder. Extensive experiments on real-world data demonstrate the advantages of IAA-LQ, beating the best state-of-the-art method by 2.2% and 2.1% in terms of SRCC and PLCC, respectively. | 翻訳日:2023-09-07 16:05:37 公開日:2023-09-06 |
| # 一般化された相互情報:識別的クラスタリングのためのフレームワーク Generalised Mutual Information: a Framework for Discriminative Clustering ( http://arxiv.org/abs/2309.02858v1 ) ライセンス: Link先を確認 | Louis Ohl, Pierre-Alexandre Mattei, Charles Bouveyron, Warith Harchaoui, Micka\"el Leclercq, Arnaud Droit, Fr\'ed\'eric Precioso | (参考訳) この10年で、ディープクラスタリングの成功は、ニューラルネットワークをトレーニングするための教師なしの目的として、Mutual Information(MI)に大きく関与した。
正規化の質は改善のために主に議論されてきたが、クラスタリングの目的としてのMIの関連性にはほとんど注目されていない。
本稿ではまず,MIの最大化がクラスタ満足度に寄与しないことを示す。
この行動の主な原因として,kullback-leiblerの発散を確認した。
そこで我々は、教師なしニューラルネットワークトレーニングのための指標セットであるGeneralized Mutual Information (GEMINI)を導入し、コア距離を変化させて相互情報を一般化する。
miとは異なり、一部のgeminiはデータ空間内の距離やカーネルによって幾何学的認識を持つため、トレーニング時に正規化を必要としない。
最後に、GEMINIsが関連するクラスタ数を自動的に選択できることを強調し、クラスタ数が未知の深層識別クラスタリングコンテキストにおいて、ほとんど研究されていないプロパティについて述べる。 In the last decade, recent successes in deep clustering majorly involved the Mutual Information (MI) as an unsupervised objective for training neural networks with increasing regularisations. While the quality of the regularisations have been largely discussed for improvements, little attention has been dedicated to the relevance of MI as a clustering objective. In this paper, we first highlight how the maximisation of MI does not lead to satisfying clusters. We identified the Kullback-Leibler divergence as the main reason of this behaviour. Hence, we generalise the mutual information by changing its core distance, introducing the Generalised Mutual Information (GEMINI): a set of metrics for unsupervised neural network training. Unlike MI, some GEMINIs do not require regularisations when training as they are geometry-aware thanks to distances or kernels in the data space. Finally, we highlight that GEMINIs can automatically select a relevant number of clusters, a property that has been little studied in deep discriminative clustering context where the number of clusters is a priori unknown. | 翻訳日:2023-09-07 16:05:21 公開日:2023-09-06 |
| # 個人的すぎる:オンライン適応アルゴリズムにおける特徴選択の重要性 Getting too personal(ized): The importance of feature choice in online adaptive algorithms ( http://arxiv.org/abs/2309.02856v1 ) ライセンス: Link先を確認 | ZhaoBin Li, Luna Yee, Nathaniel Sauerberg, Irene Sakson, Joseph Jay Williams, Anna N. Rafferty | (参考訳) デジタル教育技術は、学生の体験をカスタマイズし、生徒の働き方を学習し、より多くの生徒がそれと対話するにつれて、テクノロジーを強化する可能性を秘めている。
個人情報への適応がすべての学生に利益をもたらす政策の導入を遅らせる可能性があるかなど、パーソナライズ方法を見つけようとするとコストがかかるかどうかを検討する。
本稿は,マルチアーム・バンディット(MAB)アルゴリズムを用いて,各学生に提示する教育技術のバージョンに関するポリシーを学習し,学生の特性と結果の関係を変動させ,アルゴリズムがこれらの特徴を認識しているかどうかを考察する。
シミュレーションにより,パーソナライゼーションのための学生特性の包含は,その特性が最適行動の学習に必要となる場合に有益であることを示す。
他のシナリオでは、この包含はbanditアルゴリズムのパフォーマンスを低下させる。
また、不必要な学生特性を含むと、これらの特徴に対する共通価値が低い学生を体系的に不利にすることができる。
しかし,本シミュレーションでは,実世界のシナリオにおいてリアルタイムのパーソナライズが有効であることが示唆され,既存の実験結果を用いたケーススタディを通じて述べる。
シミュレーションでは、教育技術の適応的パーソナライゼーションは、ある文脈における生徒の体験を改善するが、適応の遅さや差別化の結果は、よりパーソナライズされたモデルが必ずしも有益ではないことを意味する。 Digital educational technologies offer the potential to customize students' experiences and learn what works for which students, enhancing the technology as more students interact with it. We consider whether and when attempting to discover how to personalize has a cost, such as if the adaptation to personal information can delay the adoption of policies that benefit all students. We explore these issues in the context of using multi-armed bandit (MAB) algorithms to learn a policy for what version of an educational technology to present to each student, varying the relation between student characteristics and outcomes and also whether the algorithm is aware of these characteristics. Through simulations, we demonstrate that the inclusion of student characteristics for personalization can be beneficial when those characteristics are needed to learn the optimal action. In other scenarios, this inclusion decreases performance of the bandit algorithm. Moreover, including unneeded student characteristics can systematically disadvantage students with less common values for these characteristics. Our simulations do however suggest that real-time personalization will be helpful in particular real-world scenarios, and we illustrate this through case studies using existing experimental results in ASSISTments. Overall, our simulations show that adaptive personalization in educational technologies can be a double-edged sword: real-time adaptation improves student experiences in some contexts, but the slower adaptation and potentially discriminatory results mean that a more personalized model is not always beneficial. | 翻訳日:2023-09-07 16:05:04 公開日:2023-09-06 |
| # ニューラルネットワーク圧縮のための帯域効率推論 Bandwidth-efficient Inference for Neural Image Compression ( http://arxiv.org/abs/2309.02855v1 ) ライセンス: Link先を確認 | Shanzhi Yin, Tongda Xu, Yongsheng Liang, Yuanyuan Wang, Yanghao Li, Yan Wang, Jingjing Liu | (参考訳) ニューラルネットワークが深くなり、機能マップが大きくなり、外部メモリ(dram)による通信帯域が制限され、電力制約がモバイルやエッジデバイスでネットワーク推論を実装する上でボトルネックとなる。
本稿では,ニューラルデータ圧縮法により圧縮されたアクティベーションを用いた終端から終端までの帯域幅効率のよいニューラル推論法を提案する。
具体的には、対称指数ゴロンブ符号化によるアクティベーション圧縮のための変換量子化エントロピー符号化パイプラインと、演算符号化のためのデータ依存ガウスエントロピーモデルを提案する。
既存のモデル量子化法により最適化され、画像圧縮の低レベルタスクは6.21倍の省エネで最大19倍の帯域幅を削減できる。 With neural networks growing deeper and feature maps growing larger, limited communication bandwidth with external memory (or DRAM) and power constraints become a bottleneck in implementing network inference on mobile and edge devices. In this paper, we propose an end-to-end differentiable bandwidth efficient neural inference method with the activation compressed by neural data compression method. Specifically, we propose a transform-quantization-entropy coding pipeline for activation compression with symmetric exponential Golomb coding and a data-dependent Gaussian entropy model for arithmetic coding. Optimized with existing model quantization methods, low-level task of image compression can achieve up to 19x bandwidth reduction with 6.21x energy saving. | 翻訳日:2023-09-07 16:04:37 公開日:2023-09-06 |
| # シーケンスに基づく異常検出手法の評価に用いる共通ログデータセットの批判的レビュー A Critical Review of Common Log Data Sets Used for Evaluation of Sequence-based Anomaly Detection Techniques ( http://arxiv.org/abs/2309.02854v1 ) ライセンス: Link先を確認 | Max Landauer and Florian Skopik and Markus Wurzenberger | (参考訳) ログデータストア システムやアプリケーションの基盤となるワークフローに対応するイベント実行パターン。
ほとんどのログは情報的だが、ログデータには障害やインシデントを示すアーティファクトも含まれている。
したがって、ログデータは、予期しない、あるいは関係のあるシステムの振る舞いパターンを自動的に開示することを目的とした異常検出技術を評価するためにしばしば使用される。
近年、ディープラーニングを利用した検出アプローチは、通常のイベントトレース内のシーケンシャルパターンの変化として現れる異常に注目が集まっている。
HDFS、BGL、Thunderbird、OpenStack、Hadoopなどの公開データセットは、これらの異常検出技術を評価するための標準となっているが、これらのデータセットの適切性は過去にも詳しく研究されていない。
そこで本稿では,異常の顕在化と検出のための簡単な手法に着目し,公開ログデータセットを6つ分析する。
以上の結果から,ほとんどの異常は逐次的出現とは直接関係がなく,これらのデータセットに対して高い検出率を達成するために高度な検出技術は必要ないことが示唆された。 Log data store event execution patterns that correspond to underlying workflows of systems or applications. While most logs are informative, log data also include artifacts that indicate failures or incidents. Accordingly, log data are often used to evaluate anomaly detection techniques that aim to automatically disclose unexpected or otherwise relevant system behavior patterns. Recently, detection approaches leveraging deep learning have increasingly focused on anomalies that manifest as changes of sequential patterns within otherwise normal event traces. Several publicly available data sets, such as HDFS, BGL, Thunderbird, OpenStack, and Hadoop, have since become standards for evaluating these anomaly detection techniques, however, the appropriateness of these data sets has not been closely investigated in the past. In this paper we therefore analyze six publicly available log data sets with focus on the manifestations of anomalies and simple techniques for their detection. Our findings suggest that most anomalies are not directly related to sequential manifestations and that advanced detection techniques are not required to achieve high detection rates on these data sets. | 翻訳日:2023-09-07 16:04:23 公開日:2023-09-06 |
| # 学生の判断を下す知識蒸留層 Knowledge Distillation Layer that Lets the Student Decide ( http://arxiv.org/abs/2309.02843v1 ) ライセンス: Link先を確認 | Ada Gorgun, Yeti Z. Gurbuz, A. Aydin Alatan | (参考訳) 知識蒸留(KD)の典型的な技術は、限られた能力モデル(学生)の学習を、その応答を強力なモデルの(教師)に合わせることで規則化するものである。
特に垂直層やそれ以上では有用であるが、学生の特徴変換に対する作用はかなり暗黙的であり、中間層での実践を制限している。
教師の知識を特徴変換に明示的に組み込むために,2つの異なる能力でKDを改善する学習可能なKD層を提案する。
一 教師の知識の活用方法を学び、迷惑情報を破棄すること。
二 伝わった知識を更に深めていくこと。
このようにして、生徒は訓練以外の推論中に教師の知識を享受する。
形式的には、1x1-BN-ReLU-1x1畳み込みブロックを再利用して、生徒の対応する領域が一致するテンプレート(教師が監督する)に従って、各局所領域に意味ベクトルを割り当てる。
中間層におけるテンプレート学習を容易にするために,教師の判断に基づく新しい指導形態を提案する。
厳密な実験を通じて,3つの一般的な分類ベンチマークにおけるアプローチの有効性を示す。
コードは、https://github.com/adagorgun/letKD-frameworkで入手できる。 Typical technique in knowledge distillation (KD) is regularizing the learning of a limited capacity model (student) by pushing its responses to match a powerful model's (teacher). Albeit useful especially in the penultimate layer and beyond, its action on student's feature transform is rather implicit, limiting its practice in the intermediate layers. To explicitly embed the teacher's knowledge in feature transform, we propose a learnable KD layer for the student which improves KD with two distinct abilities: i) learning how to leverage the teacher's knowledge, enabling to discard nuisance information, and ii) feeding forward the transferred knowledge deeper. Thus, the student enjoys the teacher's knowledge during the inference besides training. Formally, we repurpose 1x1-BN-ReLU-1x1 convolution block to assign a semantic vector to each local region according to the template (supervised by the teacher) that the corresponding region of the student matches. To facilitate template learning in the intermediate layers, we propose a novel form of supervision based on the teacher's decisions. Through rigorous experimentation, we demonstrate the effectiveness of our approach on 3 popular classification benchmarks. Code is available at: https://github.com/adagorgun/letKD-framework | 翻訳日:2023-09-07 16:04:07 公開日:2023-09-06 |
| # デコード:建物の歴史的データと環境要因を活用したデータ駆動エネルギー消費予測 DECODE: Data-driven Energy Consumption Prediction leveraging Historical Data and Environmental Factors in Buildings ( http://arxiv.org/abs/2309.02908v1 ) ライセンス: Link先を確認 | Aditya Mishra, Haroon R. Lone, Aayush Mishra | (参考訳) 建物のエネルギー予測は、効率的なエネルギー管理において重要な役割を果たす。
正確な予測は、グリッド内の最適なエネルギー消費と分配を達成するために不可欠である。
本稿では,過去のエネルギーデータ,居住パターン,気象条件を用いて,建築エネルギー消費量を予測するための長期短期記憶モデル(lstm)を提案する。
LSTMモデルは、既存の予測モデルと比較して、住宅や商業ビルの正確な短・中・長期エネルギー予測を提供する。
LSTMモデルと線形回帰,決定木,ランダム林などの確立した予測手法を比較した。
LSTMモデルは、すべての指標において優れたパフォーマーとして現れます。
これは例外的な予測精度を示し、R2スコアは0.97で、平均絶対誤差(MAE)は0.007である。
開発したモデルのさらなる利点は、限られたデータセットでトレーニングしても効率的なエネルギー消費予測を実現する能力である。
我々は,実世界のデータに対する厳密なトレーニングと評価を通じて,過剰フィッティング(分散)と低フィッティング(バイアス)に関する懸念に対処する。
まとめると、我々の研究は代替手法より優れ、優れた効率、一般化可能性、信頼性で機能する堅牢なLSTMモデルを提供することでエネルギー予測に寄与する。 Energy prediction in buildings plays a crucial role in effective energy management. Precise predictions are essential for achieving optimal energy consumption and distribution within the grid. This paper introduces a Long Short-Term Memory (LSTM) model designed to forecast building energy consumption using historical energy data, occupancy patterns, and weather conditions. The LSTM model provides accurate short, medium, and long-term energy predictions for residential and commercial buildings compared to existing prediction models. We compare our LSTM model with established prediction methods, including linear regression, decision trees, and random forest. Encouragingly, the proposed LSTM model emerges as the superior performer across all metrics. It demonstrates exceptional prediction accuracy, boasting the highest R2 score of 0.97 and the most favorable mean absolute error (MAE) of 0.007. An additional advantage of our developed model is its capacity to achieve efficient energy consumption forecasts even when trained on a limited dataset. We address concerns about overfitting (variance) and underfitting (bias) through rigorous training and evaluation on real-world data. In summary, our research contributes to energy prediction by offering a robust LSTM model that outperforms alternative methods and operates with remarkable efficiency, generalizability, and reliability. | 翻訳日:2023-09-07 15:58:50 公開日:2023-09-06 |
| # 視覚トラッキングにおける負のサンプルを用いた効果的なトレーニングに向けて Towards Efficient Training with Negative Samples in Visual Tracking ( http://arxiv.org/abs/2309.02903v1 ) ライセンス: Link先を確認 | Qingmao Wei, Bi Zeng, Guotian Zeng | (参考訳) ビジュアルオブジェクト追跡における現在の最先端(SOTA)手法は、しばしば膨大な計算資源と膨大なトレーニングデータを必要とするため、過度に適合するリスクがある。
本研究は,オーバーフィッティングを緩和し,計算要件を削減するための,より効率的なトレーニング戦略を提案する。
トレーニングプロセスは、初期からのネガティブサンプルとポジティブサンプルの混合とバランスを取り、"Joint Learning with Negative sample (JN)"と名づけられた。
負のサンプルは、テンプレートからのオブジェクトが検索領域に存在しないシナリオを指しており、モデルが単にターゲットを記憶するのを防ぐのに役立つ。
負のサンプルを効果的に処理するために,境界ボックスを距離分布としてモデル化し,負のサンプルの存在下でのターゲットの位置の不確かさを表現し,混合サンプルトレーニングを管理する効率的な方法を提供する分布ベースヘッドを採用する。
さらに,本手法では目標指示トークンを導入する。
テンプレートイメージ内のターゲットの正確な位置をカプセル化する。
この手法は計算コストは無視できるが、性能は向上する。
我々のモデルであるJN-256は、GOT-10kで75.8%、TrackingNetで84.1%のAUCを達成した。
特に、JN-256は、より大きなモデルと高い入力解像度を利用する以前のSOTAトラッカーよりも優れている。 Current state-of-the-art (SOTA) methods in visual object tracking often require extensive computational resources and vast amounts of training data, leading to a risk of overfitting. This study introduces a more efficient training strategy to mitigate overfitting and reduce computational requirements. We balance the training process with a mix of negative and positive samples from the outset, named as Joint learning with Negative samples (JN). Negative samples refer to scenarios where the object from the template is not present in the search region, which helps to prevent the model from simply memorizing the target, and instead encourages it to use the template for object location. To handle the negative samples effectively, we adopt a distribution-based head, which modeling the bounding box as distribution of distances to express uncertainty about the target's location in the presence of negative samples, offering an efficient way to manage the mixed sample training. Furthermore, our approach introduces a target-indicating token. It encapsulates the target's precise location within the template image. This method provides exact boundary details with negligible computational cost but improving performance. Our model, JN-256, exhibits superior performance on challenging benchmarks, achieving 75.8% AO on GOT-10k and 84.1% AUC on TrackingNet. Notably, JN-256 outperforms previous SOTA trackers that utilize larger models and higher input resolutions, even though it is trained with only half the number of data sampled used in those works. | 翻訳日:2023-09-07 15:58:32 公開日:2023-09-06 |
| # ViCGCN:ベトナムにおけるソーシャルメディアマイニングのための文脈言語モデルを用いたグラフ畳み込みネットワーク ViCGCN: Graph Convolutional Network with Contextualized Language Models for Social Media Mining in Vietnamese ( http://arxiv.org/abs/2309.02902v1 ) ライセンス: Link先を確認 | Chau-Thang Phan, Quoc-Nam Nguyen, Chi-Thanh Dang, Trong-Hop Do, Kiet Van Nguyen | (参考訳) ソーシャルメディア処理は多くのアプリケーションで自然言語処理の基本的なタスクである。
ベトナムのソーシャルメディアと情報科学が急速に成長するにつれて、ベトナムのソーシャルメディアにおける情報に基づく鉱業の必要性が重要になっている。
しかし、最先端の研究は、不均衡なデータやソーシャルメディアプラットフォーム上の騒々しいデータなど、いくつかの重大な欠点に直面している。
不均衡と騒音は、ベトナムのソーシャルメディアのテキストで対処する必要がある2つの重要な問題である。
グラフ畳み込みネットワークは、データのグラフ構造を利用して、ソーシャルメディア上のテキスト分類における不均衡およびノイズデータの問題に対処することができる。
本研究では,文脈型言語モデル(PhoBERT)とグラフベースの手法(Graph Convolutional Networks)に基づく新しいアプローチを提案する。
特に、提案されたアプローチであるViCGCNは、グラフ畳み込みネットワーク(GCN)の能力とコンテキスト化された埋め込みの力を共同で訓練し、それらの欠点に対処するための構文的およびセマンティックな依存関係をキャプチャした。
このアプローチを検証するために,ベトナムの様々なベンチマークデータセットに関する広範囲な実験を行った。
その結果,最終層としてGCNをBERTologyモデルに適用すると性能が著しく向上することがわかった。
さらに、実験により、ViCGCNはBERTologyモデル、融合BERTologyおよびGCNモデル、その他のベースライン、3つのベンチマークソーシャルメディアデータセット上でSOTAを含む13の強力なベースラインモデルより優れていることが示された。
提案手法は,UIT-VSMEC,UIT-ViCTSD,UIT-VSCTSD,UIT-VSFCの3つのベンチマークデータセットに対して,多言語および単言語を含む最高の文脈言語モデルに対して,最大6.21%,4.61%,および2.63%の改善を示した。
さらに、我々の統合モデルViCGCNは、GCNモデルと統合された他のBERTologyと比較して最高の性能を達成する。 Social media processing is a fundamental task in natural language processing with numerous applications. As Vietnamese social media and information science have grown rapidly, the necessity of information-based mining on Vietnamese social media has become crucial. However, state-of-the-art research faces several significant drawbacks, including imbalanced data and noisy data on social media platforms. Imbalanced and noisy are two essential issues that need to be addressed in Vietnamese social media texts. Graph Convolutional Networks can address the problems of imbalanced and noisy data in text classification on social media by taking advantage of the graph structure of the data. This study presents a novel approach based on contextualized language model (PhoBERT) and graph-based method (Graph Convolutional Networks). In particular, the proposed approach, ViCGCN, jointly trained the power of Contextualized embeddings with the ability of Graph Convolutional Networks, GCN, to capture more syntactic and semantic dependencies to address those drawbacks. Extensive experiments on various Vietnamese benchmark datasets were conducted to verify our approach. The observation shows that applying GCN to BERTology models as the final layer significantly improves performance. Moreover, the experiments demonstrate that ViCGCN outperforms 13 powerful baseline models, including BERTology models, fusion BERTology and GCN models, other baselines, and SOTA on three benchmark social media datasets. Our proposed ViCGCN approach demonstrates a significant improvement of up to 6.21%, 4.61%, and 2.63% over the best Contextualized Language Models, including multilingual and monolingual, on three benchmark datasets, UIT-VSMEC, UIT-ViCTSD, and UIT-VSFC, respectively. Additionally, our integrated model ViCGCN achieves the best performance compared to other BERTology integrated with GCN models. | 翻訳日:2023-09-07 15:58:07 公開日:2023-09-06 |
| # 離散対称性発見のための統一フレームワーク A Unified Framework for Discovering Discrete Symmetries ( http://arxiv.org/abs/2309.02898v1 ) ライセンス: Link先を確認 | Pavan Karjol, Rohan Kashyap, Aditya Gopalan, Prathosh A.P | (参考訳) 対称性を尊重する関数を対称性のクラスから学習する問題を考察する。
我々は,局所対称群,双面体群,環状部分群を含む幅広い部分群にまたがって対称性の発見を可能にする統一フレームワークを開発した。
フレームワークの中核には、これらの部分群に不変な関数を原則的に表現する線形およびテンソル値関数からなる新しいアーキテクチャがある。
アーキテクチャの構造により,多腕バンディットアルゴリズムと勾配降下を利用して,線形関数とテンソル値関数を最適化し,最終的に学習される対称性を推定することができる。
アーキテクチャにおけるテンソル値関数の必要性についても論じる。
画像桁和および多項式回帰タスクの実験は、我々のアプローチの有効性を実証する。 We consider the problem of learning a function respecting a symmetry from among a class of symmetries. We develop a unified framework that enables symmetry discovery across a broad range of subgroups including locally symmetric, dihedral and cyclic subgroups. At the core of the framework is a novel architecture composed of linear and tensor-valued functions that expresses functions invariant to these subgroups in a principled manner. The structure of the architecture enables us to leverage multi-armed bandit algorithms and gradient descent to efficiently optimize over the linear and the tensor-valued functions, respectively, and to infer the symmetry that is ultimately learnt. We also discuss the necessity of the tensor-valued functions in the architecture. Experiments on image-digit sum and polynomial regression tasks demonstrate the effectiveness of our approach. | 翻訳日:2023-09-07 15:57:33 公開日:2023-09-06 |
| # 言語固有の訓練データを持たない深層自然言語推論予測器 A deep Natural Language Inference predictor without language-specific training data ( http://arxiv.org/abs/2309.02887v1 ) ライセンス: Link先を確認 | Lorenzo Corradi and Alessandro Manenti and Francesca Del Bonifro and Francesco Setti and Dario Del Sorbo | (参考訳) 本稿では,言語固有の学習データセットを使わずに,目的言語における文のペア間の推論関係(NLI)問題に対処するためのNLP手法を提案する。
我々は,同じ事前学習モデルの2つのインスタンスと共に,手作業で翻訳された汎用翻訳データセットを利用する。1つは,ソース言語に文を埋め込む文を生成し,もう1つはターゲット言語を微調整して,最初のものを模倣する。
この技法は知識蒸留として知られている。
このモデルは、機械翻訳Stanford NLIテストデータセット、機械翻訳Multi-Genre NLIテストデータセット、手動翻訳RTE3-ITAテストデータセットで評価されている。
また,nliタスクの汎用性を実証するために,異なるタスクで提案するアーキテクチャをテストした。
このモデルは、知覚分析、アスペクトベース知覚分析、およびトピック認識のタスクに基づいて、ネイティブイタリアのABSITAデータセット上で評価されている。
我々は、機械翻訳に基づく他の手法よりも優れた知識蒸留技術の汎用性と利用性を強調した。 In this paper we present a technique of NLP to tackle the problem of inference relation (NLI) between pairs of sentences in a target language of choice without a language-specific training dataset. We exploit a generic translation dataset, manually translated, along with two instances of the same pre-trained model - the first to generate sentence embeddings for the source language, and the second fine-tuned over the target language to mimic the first. This technique is known as Knowledge Distillation. The model has been evaluated over machine translated Stanford NLI test dataset, machine translated Multi-Genre NLI test dataset, and manually translated RTE3-ITA test dataset. We also test the proposed architecture over different tasks to empirically demonstrate the generality of the NLI task. The model has been evaluated over the native Italian ABSITA dataset, on the tasks of Sentiment Analysis, Aspect-Based Sentiment Analysis, and Topic Recognition. We emphasise the generality and exploitability of the Knowledge Distillation technique that outperforms other methodologies based on machine translation, even though the former was not directly trained on the data it was tested over. | 翻訳日:2023-09-07 15:57:20 公開日:2023-09-06 |
| # 臨床における大規模言語モデルの調整 Aligning Large Language Models for Clinical Tasks ( http://arxiv.org/abs/2309.02884v1 ) ライセンス: Link先を確認 | Supun Manathunga, Isuru Hettigoda | (参考訳) 大規模言語モデル(LLM)は目覚ましい適応性を示しており、明示的に訓練されていないタスクに精通する能力を示している。
しかし、その優れた自然言語処理(NLP)能力にもかかわらず、特定の臨床応用のためにLLMを効果的に配置することは重要な課題である。
実際の正確な内容で応答を生成し、かつ自明な推論ステップに係わる能力は、llmが臨床医学の応用に適することにとって不可欠である。
インストラクションチューニングや、マイトショットや思考プロンプトの連鎖といったインプロンプト戦略といったテクニックの組み合わせによって、llmのパフォーマンスが大幅に向上した。
提案手法は「expand-guess-refine」と呼ばれ、パラメータとデータ効率のよいソリューションを提供する。
この手法の予備的な分析により、USMLEデータセットから得られた質問のサブセットで70.63%のスコアが得られた。 Large Language Models (LLMs) have demonstrated remarkable adaptability, showcasing their capacity to excel in tasks for which they were not explicitly trained. However, despite their impressive natural language processing (NLP) capabilities, effective alignment of LLMs remains a crucial challenge when deploying them for specific clinical applications. The ability to generate responses with factually accurate content and to engage in non-trivial reasoning steps are crucial for the LLMs to be eligible for applications in clinical medicine. Employing a combination of techniques including instruction-tuning and in-prompt strategies like few-shot and chain of thought prompting has significantly enhanced the performance of LLMs. Our proposed alignment strategy for medical question-answering, known as 'expand-guess-refine', offers a parameter and data-efficient solution. A preliminary analysis of this method demonstrated outstanding performance, achieving a score of 70.63% on a subset of questions sourced from the USMLE dataset. | 翻訳日:2023-09-07 15:57:02 公開日:2023-09-06 |
| # ナノ加工半導体ヘテロ二層膜における単一moir\'e励起子の量子コヒーレンスと干渉 Quantum coherence and interference of a single moir\'e exciton in nano-fabricated twisted semiconductor heterobilayers ( http://arxiv.org/abs/2309.02879v1 ) ライセンス: Link先を確認 | Haonan Wang, Heejun Kim, Duanfei Dong, Keisuke Shinokita, Kenji Watanabe, Takashi Taniguchi and Kazunari Matsuda | (参考訳) Moir\'e電位は光学的に生成された励起子の周期量子閉じ込めとして働き、空間的に秩序づけられたゼロ次元量子系を生成する。
しかし、moir\'eポテンシャルの不均一性から生じる幅広い放射スペクトルは、moir\'eエキシトンの固有の性質の探索を妨げる。
本研究では,光の回折限界を超えたねじれ半導体ヘテロ双層において,量子コヒーレンスと単一モワールエキシンの干渉の光学的観察を実現するための新しい手法を実証した。
単一モワールエキシトンからの顕著な単光および鋭い発光ピークは、ナノファブリケーション後に証明されている。
我々は,10psを超える1つのモワールエキシンの量子コヒーレンスと,温度と励起パワー密度を上昇させた加速デコヒーレンス過程について述べる。
さらに、量子干渉は異なるmoir\'eポテンシャルミニマにおけるmoir\'e励起子間の結合を明らかにした。
観測されたモアレエの量子コヒーレンスと干渉は、モアレエの量子系に基づく量子技術への潜在的な応用を促進する。 Moir\'e potential acts as periodic quantum confinement for optically generated exciton, generating spatially ordered zero-dimensional quantum system. However, broad emission spectrum arising from inhomogeneity among moir\'e potential hinders the exploration of the intrinsic properties of moir\'e exciton. In this study, we have demonstrated a new method to realize the optical observation of quantum coherence and interference of a single moir\'e exciton in twisted semiconducting heterobilayer beyond the diffraction limit of light. A significant single and sharp photoluminescence peak from a single moir\'e exciton has been demonstrated after nano-fabrication. We present the longer duration of quantum coherence of a single moir\'e exciton, which reaches beyond 10 ps and the accelerated decoherence process with elevating temperature and excitation power density. Moreover, the quantum interference has revealed the coupling between moir\'e excitons in different moir\'e potential minima. The observed quantum coherence and interference of moir\'e exciton will facilitate potential application toward quantum technologies based on moir\'e quantum systems. | 翻訳日:2023-09-07 15:56:46 公開日:2023-09-06 |
| # グラフにおけるボールの非切断指導マップ Non-Clashing Teaching Maps for Balls in Graphs ( http://arxiv.org/abs/2309.02876v1 ) ライセンス: Link先を確認 | J\'er\'emie Chalopin, Victor Chepoi, Fionn Mc Inerney, S\'ebastien Ratel | (参考訳) 最近、カークパトリックら。
[ALT 2019]とFallatら。
[JMLR 2023]は非クラッシング教育を導入し,ゴールドマンとマティアスの共謀回避ベンチマークを満たす最も効率的な機械教育モデルであることを示した。
概念クラス $\cal{C}$ に対する教示写像 $T$ は、各概念 $C \in \cal{C}$ に対して (teaching) set $T(C)$ の例を割り当てる。
教示写像は、一対の概念が教示集合の結合と一致しない場合、非閉である。
non-clashing teaching map (nctm) $t$ のサイズは、$t(c)$, $c \in \cal{c}$ の最大サイズである。
非クラッシング教育次元 NCTD$(\cal{C})$ of $\cal{C}$ は、NCTMの$\cal{C}$ の最小サイズである。
NCTM$^+$ と NCTD$^+(\cal{C})$ は類似して定義されるが、教師は正の例のみを使用することができる。
グラフのすべての球からなる概念クラス $\mathcal{B}(G)$ に対して NCTM と NCTM$^+$s を研究する。
NCTD$^+$ に対する関連する決定問題 {\sc B-NCTD$^+$} は、分割、共分割、二分グラフにおいてNP完全であることを示す。
驚いたことに、ETHが失敗しない限り、 {\displaystyle {\sc B-NCTD$^+$} は、時間で走るアルゴリズムが $2^{2^{o(vc)}}\cdot n^{O(1)}$、カーネルに $2^{o(vc)}$ vertices を出力するカーネル化アルゴリズムも認めない。
これらは非常に稀な結果である: NP において vc (treewidth, resp.) によってパラメータ化される二重指数下界を許容するのは第2(第4、第4、第4)の問題であり、カーネル内の頂点数に ETH ベースの条件付き下界を許容する問題のうちの1つに過ぎない。
これらの下界と一致する上界を補完する。
木、インターバルグラフ、サイクルおよびサイクルのツリーに対して、VC次元に比例する大きさの$\mathcal{B}(G)$に対して NCTM$^+$s または NCTMs を導出する。
グロモフ-双曲グラフに対しては、近似NCTM$^+$ for $\mathcal{B}(G)$ of size 2 を設計する。 Recently, Kirkpatrick et al. [ALT 2019] and Fallat et al. [JMLR 2023] introduced non-clashing teaching and showed it to be the most efficient machine teaching model satisfying the benchmark for collusion-avoidance set by Goldman and Mathias. A teaching map $T$ for a concept class $\cal{C}$ assigns a (teaching) set $T(C)$ of examples to each concept $C \in \cal{C}$. A teaching map is non-clashing if no pair of concepts are consistent with the union of their teaching sets. The size of a non-clashing teaching map (NCTM) $T$ is the maximum size of a $T(C)$, $C \in \cal{C}$. The non-clashing teaching dimension NCTD$(\cal{C})$ of $\cal{C}$ is the minimum size of an NCTM for $\cal{C}$. NCTM$^+$ and NCTD$^+(\cal{C})$ are defined analogously, except the teacher may only use positive examples. We study NCTMs and NCTM$^+$s for the concept class $\mathcal{B}(G)$ consisting of all balls of a graph $G$. We show that the associated decision problem {\sc B-NCTD$^+$} for NCTD$^+$ is NP-complete in split, co-bipartite, and bipartite graphs. Surprisingly, we even prove that, unless the ETH fails, {\sc B-NCTD$^+$} does not admit an algorithm running in time $2^{2^{o(vc)}}\cdot n^{O(1)}$, nor a kernelization algorithm outputting a kernel with $2^{o(vc)}$ vertices, where vc is the vertex cover number of $G$. These are extremely rare results: it is only the second (fourth, resp.) problem in NP to admit a double-exponential lower bound parameterized by vc (treewidth, resp.), and only one of very few problems to admit an ETH-based conditional lower bound on the number of vertices in a kernel. We complement these lower bounds with matching upper bounds. For trees, interval graphs, cycles, and trees of cycles, we derive NCTM$^+$s or NCTMs for $\mathcal{B}(G)$ of size proportional to its VC-dimension. For Gromov-hyperbolic graphs, we design an approximate NCTM$^+$ for $\mathcal{B}(G)$ of size 2. | 翻訳日:2023-09-07 15:56:29 公開日:2023-09-06 |
| # MAD:画像登録のためのModality Agnostic Distance Measuremente MAD: Modality Agnostic Distance Measure for Image Registration ( http://arxiv.org/abs/2309.02875v1 ) ライセンス: Link先を確認 | Vasiliki Sideri-Lampretsa, Veronika A. Zimmer, Huaqi Qiu, Georgios Kaissis, and Daniel Rueckert | (参考訳) マルチモーダル画像登録は多くの医療応用において重要な前処理ステップである。
しかし、異なる画像モード間の複雑な強度関係のため、画像の外観に大きな違いをもたらす可能性があるため、これは難しい課題である。
従来型であれ学習型であれ、多モード画像登録の成功は、適切な距離(または類似性)尺度の選択によって予測される。
特に、ディープラーニング登録アルゴリズムは、"見えない"モダリティからデータを登録しようとすると、正確さに欠けたり、完全に失敗する。
本研究では,不規則畳み込みを利用して画像の固有形状を学習し,大きな外観変化に頑健なモーダリティ非依存距離(mad,deep image distance})を提案する。
ランダム畳み込み(Random convolutions)は、トレーニング中に整列されたデータの必要性を緩和する無限個の合成モダリティをシミュレートするために使用する幾何学保存モジュールである。
したがって、モノモーダルデータセット上でMADをトレーニングし、マルチモーダルデータセットに適用することができる。
本稿では,マルチモーダル画像の登録を成功させるだけでなく,相互情報や正規化勾配場といった従来の手法よりも広いキャプチャ範囲を持つことを示す。 Multi-modal image registration is a crucial pre-processing step in many medical applications. However, it is a challenging task due to the complex intensity relationships between different imaging modalities, which can result in large discrepancy in image appearance. The success of multi-modal image registration, whether it is conventional or learning based, is predicated upon the choice of an appropriate distance (or similarity) measure. Particularly, deep learning registration algorithms lack in accuracy or even fail completely when attempting to register data from an "unseen" modality. In this work, we present Modality Agnostic Distance (MAD), a deep image distance}] measure that utilises random convolutions to learn the inherent geometry of the images while being robust to large appearance changes. Random convolutions are geometry-preserving modules which we use to simulate an infinite number of synthetic modalities alleviating the need for aligned paired data during training. We can therefore train MAD on a mono-modal dataset and successfully apply it to a multi-modal dataset. We demonstrate that not only can MAD affinely register multi-modal images successfully, but it has also a larger capture range than traditional measures such as Mutual Information and Normalised Gradient Fields. | 翻訳日:2023-09-07 15:55:33 公開日:2023-09-06 |
| # シミュレータインフォームド潜在状態を用いたハイブリッドダイナミクスモデルの学習 Learning Hybrid Dynamics Models With Simulator-Informed Latent States ( http://arxiv.org/abs/2309.02873v1 ) ライセンス: Link先を確認 | Katharina Ensinger, Sebastian Ziesche, Sebastian Trimpe | (参考訳) ダイナミクスモデル学習は、測定データから未知のダイナミクスを推測し、システムの将来の振る舞いを予測するタスクを扱う。
この問題に対処する典型的なアプローチは、リカレントモデルのトレーニングである。
しかし、これらのモデルによる予測はしばしば物理的意味を持たない。
さらに、エラーの蓄積による時間の経過とともに悪化した行動に悩まされる。
しばしば、第一原理に基づくシミュレータは、設計によって物理的に意味がある。
しかし、モデリングの単純化は一般的にこれらのモデルに不正確を引き起こす。
その結果、ハイブリッドモデリングは両方の世界のベストを組み合わせることを目的とした新しいトレンドである。
本稿では,ブラックボックスシミュレータを用いて学習モデルの潜在状態を伝えるハイブリッドモデリングの新しい手法を提案する。
これにより、シミュレータを通じて予測を制御でき、エラーの蓄積を防止できる。
以前のアプローチとは対照的に、シミュレータの潜在状態へのアクセスは利用できないため、これは特に難しい。
我々は,制御理論からよく知られた概念であるオブザーバを活用して,未知の潜在状態を時間経過の観察とダイナミクスから推測することで課題に取り組む。
学習に基づく設定では、シミュレータを通して潜在状態を推測するダイナミクスとオブザーバを共同で学習する。
したがって、シミュレータは学習によるミスマッチをモデル化するために、潜伏状態を常に補正する。
柔軟性を維持するため,シミュレータから情報を得ることができない潜伏状態に対するRNNベースの予約を訓練する。 Dynamics model learning deals with the task of inferring unknown dynamics from measurement data and predicting the future behavior of the system. A typical approach to address this problem is to train recurrent models. However, predictions with these models are often not physically meaningful. Further, they suffer from deteriorated behavior over time due to accumulating errors. Often, simulators building on first principles are available being physically meaningful by design. However, modeling simplifications typically cause inaccuracies in these models. Consequently, hybrid modeling is an emerging trend that aims to combine the best of both worlds. In this paper, we propose a new approach to hybrid modeling, where we inform the latent states of a learned model via a black-box simulator. This allows to control the predictions via the simulator preventing them from accumulating errors. This is especially challenging since, in contrast to previous approaches, access to the simulator's latent states is not available. We tackle the task by leveraging observers, a well-known concept from control theory, inferring unknown latent states from observations and dynamics over time. In our learning-based setting, we jointly learn the dynamics and an observer that infers the latent states via the simulator. Thus, the simulator constantly corrects the latent states, compensating for modeling mismatch caused by learning. To maintain flexibility, we train an RNN-based residuum for the latent states that cannot be informed by the simulator. | 翻訳日:2023-09-07 15:55:10 公開日:2023-09-06 |
| # edgefl: 軽量な分散フェデレーション学習フレームワーク EdgeFL: A Lightweight Decentralized Federated Learning Framework ( http://arxiv.org/abs/2309.02936v1 ) ライセンス: Link先を確認 | Hongyi Zhang, Jan Bosch, Helena Holmstr\"om Olsson | (参考訳) フェデレーション学習(federated learning, fl)は、データプライバシの懸念に対処する、協調機械学習の有望なアプローチとして登場した。
しかしながら、既存のflプラットフォームやフレームワークは、複雑さ、制限されたカスタマイズオプション、スケーラビリティの制限という点で、ソフトウェアエンジニアにとってしばしば課題となる。
本稿では,エッジオンリーで軽量な分散FLフレームワークであるEdgeFLを紹介する。
エッジのみモデルトレーニングと集約アプローチを採用することで、edgeflは中央サーバの必要性をなくし、さまざまなユースケースにわたるシームレスなスケーラビリティを実現する。
たった4行のコード(LOC)を必要とする単純な統合プロセスによって、ソフトウェアエンジニアは簡単にFL機能をAI製品に組み込むことができます。
さらにedgeflは、アグリゲーション機能をカスタマイズする柔軟性を提供し、エンジニアが特定のニーズに適応できるようにする。
この結果から,EdgeFLは既存のFLプラットフォームやフレームワークに比べて優れた性能を発揮することを示す。
以上の結果から,EdgeFLは重み付け更新のレイテンシを低減し,モデル進化を高速化し,エッジデバイスの効率を向上することを示す。
さらにedgeflは従来の集中型flアプローチに比べて分類精度が向上している。
edgeflを活用することで、ソフトウェアエンジニアは、既存のflプラットフォーム/フレームワークに関連する課題を克服しながら、連合学習のメリットを活用できる。 Federated Learning (FL) has emerged as a promising approach for collaborative machine learning, addressing data privacy concerns. However, existing FL platforms and frameworks often present challenges for software engineers in terms of complexity, limited customization options, and scalability limitations. In this paper, we introduce EdgeFL, an edge-only lightweight decentralized FL framework, designed to overcome the limitations of centralized aggregation and scalability in FL deployments. By adopting an edge-only model training and aggregation approach, EdgeFL eliminates the need for a central server, enabling seamless scalability across diverse use cases. With a straightforward integration process requiring just four lines of code (LOC), software engineers can easily incorporate FL functionalities into their AI products. Furthermore, EdgeFL offers the flexibility to customize aggregation functions, empowering engineers to adapt them to specific needs. Based on the results, we demonstrate that EdgeFL achieves superior performance compared to existing FL platforms/frameworks. Our results show that EdgeFL reduces weights update latency and enables faster model evolution, enhancing the efficiency of edge devices. Moreover, EdgeFL exhibits improved classification accuracy compared to traditional centralized FL approaches. By leveraging EdgeFL, software engineers can harness the benefits of federated learning while overcoming the challenges associated with existing FL platforms/frameworks. | 翻訳日:2023-09-07 15:47:55 公開日:2023-09-06 |
| # 物理インフォームド機械学習による不規則水需要の推定と漏洩検知 Estimating irregular water demands with physics-informed machine learning to inform leakage detection ( http://arxiv.org/abs/2309.02935v1 ) ライセンス: Link先を確認 | Ivo Daniel and Andrea Cominola | (参考訳) 飲料水流通ネットワークの漏水は水道事業に重大な課題をもたらし、インフラの故障、運用障害、環境災害、財産被害、経済損失に繋がる。
このようなリークのタイムリーな識別と正確な局所化は、これらの望ましくない影響を緩和するユーティリティにとって最重要である。
しかし, 漏洩検出アルゴリズムの実装は, 油圧モデルや大量のトレーニングデータの要求により, 実際に限られている。
物理インフォームド機械学習は油圧情報を利用して両方の制限を回避することができる。
そこで本研究では,完全に連結されたニューラルネットワークを用いて,不規則な水需要を推定し,最終的にベルヌーイ方程式を活用し,漏洩検出問題を効果的に線形化する,物理に変形した機械学習アルゴリズムを提案する。
提案アルゴリズムは,L-Townベンチマークネットワークのデータを用いて検証し,R2が0.8より大きい場合,最も不規則な要求を推定できることを示す。
不規則な要求がある場合のリークの識別結果は、急激なリークの5.3と、不規則な要求を無視した結果と比較した場合の急激なリークの3.0によって改善される。 Leakages in drinking water distribution networks pose significant challenges to water utilities, leading to infrastructure failure, operational disruptions, environmental hazards, property damage, and economic losses. The timely identification and accurate localisation of such leakages is paramount for utilities to mitigate these unwanted effects. However, implementation of algorithms for leakage detection is limited in practice by requirements of either hydraulic models or large amounts of training data. Physics-informed machine learning can utilise hydraulic information thereby circumventing both limitations. In this work, we present a physics-informed machine learning algorithm that analyses pressure data and therefrom estimates unknown irregular water demands via a fully connected neural network, ultimately leveraging the Bernoulli equation and effectively linearising the leakage detection problem. Our algorithm is tested on data from the L-Town benchmark network, and results indicate a good capability for estimating most irregular demands, with R2 larger than 0.8. Identification results for leakages under the presence of irregular demands could be improved by a factor of 5.3 for abrupt leaks and a factor of 3.0 for incipient leaks when compared the results disregarding irregular demands. | 翻訳日:2023-09-07 15:47:33 公開日:2023-09-06 |
| # ベクトル道路マッピングのためのパッチラインセグメント学習 Patched Line Segment Learning for Vector Road Mapping ( http://arxiv.org/abs/2309.02923v1 ) ライセンス: Link先を確認 | Jiakun Xu, Bowen Xu, Gui-Song Xia, Liang Dong, Nan Xue | (参考訳) 本稿では,空間的意味を持つ道路グラフに対して,よく定義されたPatched Line Segment (PaLiS) 表現に基づいて,衛星リモートセンシング画像からベクトル道路マップを計算するための新しいアプローチを提案する。
バイナリマスクやキーポイントを用いた衛星画像から道路ベクトル表現を導出する一般的な手法とは異なり,本手法では線分を用いる。
これらのセグメントは道路の場所を伝達するだけでなく、方向を捉え、表現の堅牢な選択となる。
より正確には、入力画像を考えると、重複しないパッチに分割し、各パッチ内の適切なラインセグメントを予測する。
この戦略により、これらのパッチベースの線分から空間的および構造的手がかりを捕捉し、接続のための追加のニューラルネットワークを必要とせずに、道路網グラフを構築するプロセスを簡素化することができる。
実験では,ニューラルネットワークアーキテクチャの大幅な変更を必要とせず,有効な道路グラフ表現が確立されたベンチマーク上でのベクトル道路マッピングの性能を著しく向上することを示す。
さらに,本手法は,GPU時間のたった6時間で最先端性能を実現し,GPU時間の32倍のトレーニングコスト削減を実現している。 This paper presents a novel approach to computing vector road maps from satellite remotely sensed images, building upon a well-defined Patched Line Segment (PaLiS) representation for road graphs that holds geometric significance. Unlike prevailing methods that derive road vector representations from satellite images using binary masks or keypoints, our method employs line segments. These segments not only convey road locations but also capture their orientations, making them a robust choice for representation. More precisely, given an input image, we divide it into non-overlapping patches and predict a suitable line segment within each patch. This strategy enables us to capture spatial and structural cues from these patch-based line segments, simplifying the process of constructing the road network graph without the necessity of additional neural networks for connectivity. In our experiments, we demonstrate how an effective representation of a road graph significantly enhances the performance of vector road mapping on established benchmarks, without requiring extensive modifications to the neural network architecture. Furthermore, our method achieves state-of-the-art performance with just 6 GPU hours of training, leading to a substantial 32-fold reduction in training costs in terms of GPU hours. | 翻訳日:2023-09-07 15:47:14 公開日:2023-09-06 |
| # GroupEnc:グローバルな構造保存のためのグループ損失付きエンコーダ GroupEnc: encoder with group loss for global structure preservation ( http://arxiv.org/abs/2309.02917v1 ) ライセンス: Link先を確認 | David Novak, Sofie Van Gassen, Yvan Saeys | (参考訳) 近年の次元化の進歩は、高次元データのより正確な低次元埋め込みを実現している。
視覚化の目的に加えて、バッチ効果の正規化、クラスタリング、コミュニティ検出、軌道推論など、下流処理にも使用できる。
局所・グローバルレベルでの構造保存の概念を用いて,変分オートエンコーダ(VAE)とSQuadMDSアルゴリズムの確率的四重項損失に基づく深層学習モデルを作成する。
我々のエンコーダモデルは、GroupEncと呼ばれ、VAEよりもグローバルな構造歪みが少ない埋め込みを生成するために、モデルパラメトリックとアーキテクチャを柔軟に保つために 'group loss' 関数を使用します。
本手法は, RNX曲線を用いた生体単細胞転写データセットを用いて評価を行った。 Recent advances in dimensionality reduction have achieved more accurate lower-dimensional embeddings of high-dimensional data. In addition to visualisation purposes, these embeddings can be used for downstream processing, including batch effect normalisation, clustering, community detection or trajectory inference. We use the notion of structure preservation at both local and global levels to create a deep learning model, based on a variational autoencoder (VAE) and the stochastic quartet loss from the SQuadMDS algorithm. Our encoder model, called GroupEnc, uses a 'group loss' function to create embeddings with less global structure distortion than VAEs do, while keeping the model parametric and the architecture flexible. We validate our approach using publicly available biological single-cell transcriptomic datasets, employing RNX curves for evaluation. | 翻訳日:2023-09-07 15:46:39 公開日:2023-09-06 |
| # ノイズ磁場中におけるスピン揺らぎの生成とダイナミクス Creation and dynamics of spin fluctuations in a noisy magnetic field ( http://arxiv.org/abs/2309.02916v1 ) ライセンス: Link先を確認 | J. Delpy, S. Liu, P. Neveu, C. Roussy, Th. Jolicoeur, F. Bretenaker, and F. Goldfarb | (参考訳) 本研究では,外部変動一軸磁場による熱原子アンサンブル中のスピン変動を,標準スピンノイズ分光(SNS)実験で理論的に数値的に検討した。
追加のスピンノイズが励起され、磁気ノイズのばらつきと帯域幅、およびプローブ光とその偏光方向に依存することが示されている。
本研究では,このスピンノイズが磁気ノイズによってスピン揺らぎに変換され,snsを用いて検出されることを証明した解析的摂動モデルを開発した。
研究システムはスピン-1系であり、ランダムな磁気ゆらぎによって引き起こされるファラデー回転と楕円性雑音の両方を示す。
解析モデルは数値シミュレーションと完全に一致し、今後の成層場特性の実験的評価とスピン力学への影響に応用される可能性がある。 We theoretically and numerically investigate the spin fluctuations induced in a thermal atomic ensemble by an external fluctuating uniaxial magnetic field, in the context of a standard spin noise spectroscopy (SNS) experiment. We show that additional spin noise is excited, which dramatically depends on the magnetic noise variance and bandwidth, as well as on the power of the probe light and its polarization direction. We develop an analytical perturbative model proving that this spin noise first emerges from the residual optical pumping in the medium, which is then converted into spin fluctuations by the magnetic noise and eventually detected using SNS. The system studied is a spin-1 system, which thus shows both Faraday rotation and ellipticity noises induced by the random magnetic fluctuations. The analytical model gives results in perfect agreement with the numerical simulations, with potential applications in future experimental characterization of stray field properties and their influence on spin dynamics. | 翻訳日:2023-09-07 15:46:15 公開日:2023-09-06 |
| # コード混合言語のためのペルソナ認識生成モデル Persona-aware Generative Model for Code-mixed Language ( http://arxiv.org/abs/2309.02915v1 ) ライセンス: Link先を確認 | Ayan Sengupta, Md Shad Akhtar, Tanmoy Chakraborty | (参考訳) コードミックスとスクリプトミックスは、オンラインのソーシャルネットワークや多言語社会に普及している。
しかし、コード混合に対するユーザの好みは、社会経済的地位、ユーザの人口統計、そして既存の生成モデルがコード混合テキストを生成する際にほとんど無視するローカルコンテキストに依存する。
本研究では,実生活におけるコード混在テキストに似たテキストを生成するペルソナ認識生成モデルの開発を先駆的に試みる。
本稿では,ユーザのペルソナに条件付き発話を符号化し,モノリンガル参照データのないコード混合テキストを生成するトランスフォーマーベースのエンコーダデコーダモデルであるPARADOXを提案する。
本稿では,生成したシーケンスを再結合して実生活コード混合テキストに類似させるアライメントモジュールを提案する。
PARADOXは意味的に意味があり、言語的により有効なコード混合テキストを生成する。
PARADOXの擬人化能力を評価するため,CM BLEU,CM Rouge-1,CM Rouge-L,CM KSの4つの新しい指標を提案する。
平均すると、PARADOXは、CM BLEUが1.6ポイント、パープレキシティが47%、セマンティックコヒーレンスが32%向上している。 Code-mixing and script-mixing are prevalent across online social networks and multilingual societies. However, a user's preference toward code-mixing depends on the socioeconomic status, demographics of the user, and the local context, which existing generative models mostly ignore while generating code-mixed texts. In this work, we make a pioneering attempt to develop a persona-aware generative model to generate texts resembling real-life code-mixed texts of individuals. We propose a Persona-aware Generative Model for Code-mixed Generation, PARADOX, a novel Transformer-based encoder-decoder model that encodes an utterance conditioned on a user's persona and generates code-mixed texts without monolingual reference data. We propose an alignment module that re-calibrates the generated sequence to resemble real-life code-mixed texts. PARADOX generates code-mixed texts that are semantically more meaningful and linguistically more valid. To evaluate the personification capabilities of PARADOX, we propose four new metrics -- CM BLEU, CM Rouge-1, CM Rouge-L and CM KS. On average, PARADOX achieves 1.6 points better CM BLEU, 47% better perplexity and 32% better semantic coherence than the non-persona-based counterparts. | 翻訳日:2023-09-07 15:45:31 公開日:2023-09-06 |
| # 残らない場所:人道的文書の位置情報の改善 Leave no Place Behind: Improved Geolocation in Humanitarian Documents ( http://arxiv.org/abs/2309.02914v1 ) ライセンス: Link先を確認 | Enrico M. Belliardo, Kyriaki Kalimeri, Yelena Mejova | (参考訳) 地理的な位置は人道的対応の重要な要素であり、脆弱な人口、進行中の出来事、利用可能な資源を概説している。
自然言語処理の最近の進歩は、人道部門が作成する報告書や文書の希薄化から重要な情報を抽出するのに役立つかもしれない。
しかし,既存の情報抽出ツールの性能やバイアスは明らかでない。
本研究では,人文的テキストのジオタグ化を行うために,一般的な名前付きエンティティ認識(NER)ツールであるSpacyとRoBERTaを微調整するアノテートリソースを開発する。
次に、候補地をGeoNamesデータベースにリンクするジオコーディング手法FeatureRankを提案する。
人道領域のデータによって分類器の性能が向上するだけでなく(F1=0.92まで)、西欧諸国の場所を誤って好んでいる既存のツールの偏見を和らげることが判明した。
したがって,非西洋文書からのリソースを増やすことで,人道的分野への展開にオフ・ザ・セット・ナーシステムが適していることを保証することができる。 Geographical location is a crucial element of humanitarian response, outlining vulnerable populations, ongoing events, and available resources. Latest developments in Natural Language Processing may help in extracting vital information from the deluge of reports and documents produced by the humanitarian sector. However, the performance and biases of existing state-of-the-art information extraction tools are unknown. In this work, we develop annotated resources to fine-tune the popular Named Entity Recognition (NER) tools Spacy and roBERTa to perform geotagging of humanitarian texts. We then propose a geocoding method FeatureRank which links the candidate locations to the GeoNames database. We find that not only does the humanitarian-domain data improves the performance of the classifiers (up to F1 = 0.92), but it also alleviates some of the bias of the existing tools, which erroneously favor locations in the Western countries. Thus, we conclude that more resources from non-Western documents are necessary to ensure that off-the-shelf NER systems are suitable for the deployment in the humanitarian sector. | 翻訳日:2023-09-07 15:44:50 公開日:2023-09-06 |
| # UAV支援ネットワークにおける情報量最小化のためのアンサンブルDNN Ensemble DNN for Age-of-Information Minimization in UAV-assisted Networks ( http://arxiv.org/abs/2309.02913v1 ) ライセンス: Link先を確認 | Mouhamed Naby Ndiaye, El Houcine Bergou, and Hajar El Hammouti | (参考訳) 本稿では,UAV支援ネットワークにおける情報化時代(AoI)の問題に対処する。
我々の目標は、UAVの停止位置とデバイス選択確率を最適化することで、デバイス間で期待されるAoIを最小化することである。
この問題に対処するために、まず、デバイス選択の確率を含む期待されるAoIのクローズドフォーム式を導出する。
そして,サービス制約の品質を考慮した非凸最小化として問題を定式化する。
この問題は解決が難しいため,本研究では,研究課題の二重定式化を生かしたアンサンブル深層ニューラルネットワーク(ednn)に基づくアプローチを提案する。
具体的には、アンサンブルのディープニューラルネットワーク(DNN)は、研究対象のラグランジアン関数を用いて教師なしの方法で訓練される。
実験の結果,提案手法は従来のDNNよりもAoIを低減し,29.5 %の大幅な削減を実現していることがわかった。 This paper addresses the problem of Age-of-Information (AoI) in UAV-assisted networks. Our objective is to minimize the expected AoI across devices by optimizing UAVs' stopping locations and device selection probabilities. To tackle this problem, we first derive a closed-form expression of the expected AoI that involves the probabilities of selection of devices. Then, we formulate the problem as a non-convex minimization subject to quality of service constraints. Since the problem is challenging to solve, we propose an Ensemble Deep Neural Network (EDNN) based approach which takes advantage of the dual formulation of the studied problem. Specifically, the Deep Neural Networks (DNNs) in the ensemble are trained in an unsupervised manner using the Lagrangian function of the studied problem. Our experiments show that the proposed EDNN method outperforms traditional DNNs in reducing the expected AoI, achieving a remarkable reduction of $29.5\%$. | 翻訳日:2023-09-07 15:44:31 公開日:2023-09-06 |
| # ヘイトスピーチ検出のための構築データセットの課題 On the Challenges of Building Datasets for Hate Speech Detection ( http://arxiv.org/abs/2309.02912v1 ) ライセンス: Link先を確認 | Vitthal Bhandari | (参考訳) ヘイトスピーチの検出はNLPのスタンドアロンな応用として定式化され、ターゲットグループを特定し、生データを取得し、ラベル付けプロセスを定義し、検出アルゴリズムを選択し、所望の環境での性能を評価するために異なるアプローチが採用されている。
しかし、他の下流タスクとは異なり、ヘイトスピーチは、タスクの非常に主観的な性質のため、大規模で慎重にキュレートされ、一般化可能なデータセットが欠如している。
本稿では,まずデータ中心レンズを用いてヘイトスピーチ検出に関する問題を分析する。
次に、ヘイトスピーチの具体例を性的マイノリティに当てて、データ作成パイプラインを7つの広い次元にカプセル化する包括的枠組みを概説する。
我々は、将来ヘイトスピーチデータセットを作成する際のベストプラクティスとして、実践者がこのフレームワークに従うことの恩恵があると仮定する。 Detection of hate speech has been formulated as a standalone application of NLP and different approaches have been adopted for identifying the target groups, obtaining raw data, defining the labeling process, choosing the detection algorithm, and evaluating the performance in the desired setting. However, unlike other downstream tasks, hate speech suffers from the lack of large-sized, carefully curated, generalizable datasets owing to the highly subjective nature of the task. In this paper, we first analyze the issues surrounding hate speech detection through a data-centric lens. We then outline a holistic framework to encapsulate the data creation pipeline across seven broad dimensions by taking the specific example of hate speech towards sexual minorities. We posit that practitioners would benefit from following this framework as a form of best practice when creating hate speech datasets in the future. | 翻訳日:2023-09-07 15:44:17 公開日:2023-09-06 |
| # 複合学習構造-流体関係を考慮した総合的な3次元鉱物探査モデルのためのマルチモーダル学習フレームワーク A Multimodal Learning Framework for Comprehensive 3D Mineral Prospectivity Modeling with Jointly Learned Structure-Fluid Relationships ( http://arxiv.org/abs/2309.02911v1 ) ライセンス: Link先を確認 | Yang Zheng, Hao Deng, Ruisheng Wang, Jingjie Wu | (参考訳) 本研究では,3次元鉱物分布図(3D MPM)のための新しい多モード融合モデルを提案し,深層ネットワークアーキテクチャを通して構造情報と流体情報を効果的に統合する。
畳み込みニューラルネットワーク(CNN)と多層パーセプトロン(MLP)を利用するモデルでは、標準相関解析(CCA)を用いてマルチモーダル特徴の整合と融合を行う。
Jiaojia金鉱床データセットの厳密な評価は、鉱床のインスタンスを識別し、鉱泉の確率を予測し、結果分析において他のモデルよりも優れた性能を示す。
アブレーション研究は、関節機能利用とCAAの活用の利点をさらに明らかにしている。
この研究は鉱物の予測モデリングを進歩させるだけでなく、データ統合と機能アライメントの重要な役割を強調する。 This study presents a novel multimodal fusion model for three-dimensional mineral prospectivity mapping (3D MPM), effectively integrating structural and fluid information through a deep network architecture. Leveraging Convolutional Neural Networks (CNN) and Multilayer Perceptrons (MLP), the model employs canonical correlation analysis (CCA) to align and fuse multimodal features. Rigorous evaluation on the Jiaojia gold deposit dataset demonstrates the model's superior performance in distinguishing ore-bearing instances and predicting mineral prospectivity, outperforming other models in result analyses. Ablation studies further reveal the benefits of joint feature utilization and CCA incorporation. This research not only advances mineral prospectivity modeling but also highlights the pivotal role of data integration and feature alignment for enhanced exploration decision-making. | 翻訳日:2023-09-07 15:44:03 公開日:2023-09-06 |
| # 90%の効率と99%の識別不可能なブロードバンド量子ドット空洞の設計原理 Design principles for >90% efficiency and >99% indistinguishability broadband quantum dot cavities ( http://arxiv.org/abs/2309.02974v1 ) ライセンス: Link先を確認 | David Dlaka, Petros Androvitsaneas, Andrew Young, Qirui Ma, Edmund Harbord and Ruth Oulton | (参考訳) 量子ドットは、量子コンピューティングやクラスタ状態生成において、最も明るい決定論的単一光子源となる可能性がある。
本研究では, 簡易マイクロピラーの設計を再検討し, 原子状キャビティ推定以外の漏れ流路への崩壊の構造的影響を精査する。
本研究では,DBR構造におけるBlochモードの伝播によるサイドロスの精密制御により,ブロードバンド(Q$\approx750-2500$)マイクロピラーの製造が容易になり,内部効率が極めて高い(90.5\%-96.4\%$)ことを示す。
また、このようなキャビティがフォノンのサイドバンドから自然に分離されることを示し、フォノンのサイドバンドは5-33ドルと小さくなり、光子が99.2\%-99.8\%の非識別性を示すことを予測できるようになった。 Quantum dots have the potential to be the brightest deterministic single photon source with plausible high end applications in quantum computing and cluster state generation. In this work, we re-examine the design of simple micropillars by meticulously examining the structural effects of the decay into leaky channels beyond the atom-like cavity estimation. We show that precise control of the side losses with the diameter and avoidance of propagating Bloch modes in the DBR structure can result in easy to manufacture broadband (Q$\approx750-2500$) micropillars and demonstrate extremely high internal efficiency ($90.5\%-96.4\%$). We also demonstrate that such cavities naturally decouple from the phonon sideband, with the phonon sideband reducing by a factor of $5-33$ allowing us to predict that the photons should show $99.2\%-99.8\%$ indistinguishability. | 翻訳日:2023-09-07 15:37:49 公開日:2023-09-06 |
| # 水産経営評価と意思決定における給餌コストリスクの影響について On the Impact of Feeding Cost Risk in Aquaculture Valuation and Decision Making ( http://arxiv.org/abs/2309.02970v1 ) ライセンス: Link先を確認 | Christian Oliver Ewald and Kevin Kamm | (参考訳) 動物系商品に対する確率的給餌コストの影響について検討し,特に養殖に焦点をあてた。
具体的には,大豆先物を用いてサケ飼料の確率的挙動を推定し,シュワルツ2因子モデルに従うと仮定する。
我々は,サケの収穫決定を決定的又は確率的給餌コスト,すなわち給餌コストのリスクを含む決定規則を用いて比較した。
確率的給餌コストの計算が大幅な改善につながるケースや、決定論的給餌コストが十分な指標となるケースを特定する。
しかしながら、これらすべてのケースにおいて、新たに導出されたルールは優れた性能を示し、追加の計算コストは無視できる。
方法論的な観点からは,収穫や継続を決定する決定境界を推定するために深層神経ネットワークをどのように利用するかを示し,より古典的な回帰ベースおよび曲線フィッティング法を改善した。
これを実現するために,従来の結果の改善だけでなく,高次元問題にも有効にスケールできる深層分類器を用い,モデルの不確実性による影響を軽減し,本論文で確認する。
モデルの不確実性による影響を この記事で確認します We study the effect of stochastic feeding costs on animal-based commodities with particular focus on aquaculture. More specifically, we use soybean futures to infer on the stochastic behaviour of salmon feed, which we assume to follow a Schwartz-2-factor model. We compare the decision of harvesting salmon using a decision rule assuming either deterministic or stochastic feeding costs, i.e. including feeding cost risk. We identify cases, where accounting for stochastic feeding costs leads to significant improvements as well as cases where deterministic feeding costs are a good enough proxy. Nevertheless, in all of these cases, the newly derived rules show superior performance, while the additional computational costs are negligible. From a methodological point of view, we demonstrate how to use Deep-Neural-Networks to infer on the decision boundary that determines harvesting or continuation, improving on more classical regression-based and curve-fitting methods. To achieve this we use a deep classifier, which not only improves on previous results but also scales well for higher dimensional problems, and in addition mitigates effects due to model uncertainty, which we identify in this article. effects due to model uncertainty, which we identify in this article. | 翻訳日:2023-09-07 15:37:30 公開日:2023-09-06 |
| # CR-VAE: 後方崩壊防止のための変分オートエンコーダの逆正則化 CR-VAE: Contrastive Regularization on Variational Autoencoders for Preventing Posterior Collapse ( http://arxiv.org/abs/2309.02968v1 ) ライセンス: Link先を確認 | Fotios Lygerakis. Elmar Rueckert | (参考訳) 変分オートエンコーダ (VAE) は、モデルが生成した潜在表現が入力から独立になる「textit{posterior collapse}」という現象に悩まされることが知られている。
これは、VAEの目的関数の制限による入力のデジェネレーション表現につながる。
本研究では,変分オートエンコーダ(cr-vae)のコントラスト正規化という,この問題に対する新しい解法を提案する。
我々のアプローチの中核は、類似した視覚入力の表現間の相互情報を最大化するコントラスト目的で、元のVAEを増強することである。
この戦略により、入力と潜在表現の間の情報フローが最大化され、後方崩壊を効果的に回避できる。
本手法を一連の視覚的データセット上で評価し,CR-VAEが崩壊防止の最先端手法より優れていることを示す。 The Variational Autoencoder (VAE) is known to suffer from the phenomenon of \textit{posterior collapse}, where the latent representations generated by the model become independent of the inputs. This leads to degenerated representations of the input, which is attributed to the limitations of the VAE's objective function. In this work, we propose a novel solution to this issue, the Contrastive Regularization for Variational Autoencoders (CR-VAE). The core of our approach is to augment the original VAE with a contrastive objective that maximizes the mutual information between the representations of similar visual inputs. This strategy ensures that the information flow between the input and its latent representation is maximized, effectively avoiding posterior collapse. We evaluate our method on a series of visual datasets and demonstrate, that CR-VAE outperforms state-of-the-art approaches in preventing posterior collapse. | 翻訳日:2023-09-07 15:37:08 公開日:2023-09-06 |
| # ハンドオブジェクト再構築のための動的双曲型注意ネットワーク Dynamic Hyperbolic Attention Network for Fine Hand-object Reconstruction ( http://arxiv.org/abs/2309.02965v1 ) ライセンス: Link先を確認 | Zhiying Leng, Shun-Cheng Wu, Mahdi Saleh, Antonio Montanaro, Hao Yu, Yin Wang, Nassir Navab, Xiaohui Liang, Federico Tombari | (参考訳) rgb画像から物体と手の両方を3dで再構築することは複雑である。
既存の手法はユークリッド空間で手動で定義された手対象制約に依存しており、最適でない特徴学習に繋がる。
ユークリッド空間と比較すると、双曲空間は指数関数的に増大する空間距離によってメッシュの幾何学的性質を保ち、類似性に基づく特徴の違いを増幅する。
本研究では,双曲空間の固有特性を生かして代表的特徴を学習する動的双曲的注意ネットワーク(dhanet)という双曲空間における最初の高精度手対象再構成手法を提案する。
メッシュとイメージ機能を統合双曲空間に投影する手法には,2つのモジュールがある。
動的双曲グラフ畳み込みと画像結合双曲グラフ畳み込み
この2つのモジュールにより,リッチな幾何画像マルチモーダル情報を用いてメッシュ特徴を学習し,より優れたハンドオブジェクトインタラクションをモデル化する。
本手法は双曲空間における微細な手対象再構成に有望な代替手段を提供する。
3つの公開データセットに対する大規模な実験により、我々の手法は最先端の手法よりも優れていることが示された。 Reconstructing both objects and hands in 3D from a single RGB image is complex. Existing methods rely on manually defined hand-object constraints in Euclidean space, leading to suboptimal feature learning. Compared with Euclidean space, hyperbolic space better preserves the geometric properties of meshes thanks to its exponentially-growing space distance, which amplifies the differences between the features based on similarity. In this work, we propose the first precise hand-object reconstruction method in hyperbolic space, namely Dynamic Hyperbolic Attention Network (DHANet), which leverages intrinsic properties of hyperbolic space to learn representative features. Our method that projects mesh and image features into a unified hyperbolic space includes two modules, ie. dynamic hyperbolic graph convolution and image-attention hyperbolic graph convolution. With these two modules, our method learns mesh features with rich geometry-image multi-modal information and models better hand-object interaction. Our method provides a promising alternative for fine hand-object reconstruction in hyperbolic space. Extensive experiments on three public datasets demonstrate that our method outperforms most state-of-the-art methods. | 翻訳日:2023-09-07 15:36:50 公開日:2023-09-06 |
| # GANに基づく階層型降雨画像生成モデル Hierarchical-level rain image generative model based on GAN ( http://arxiv.org/abs/2309.02964v1 ) ライセンス: Link先を確認 | Zhenyuan Liu, Tong Jia, Xingyu Xing, Jianfeng Wu, Junyi Chen | (参考訳) 自律走行車は運転中に様々な天候に曝され、知覚システムの性能上の制限が引き起こされる可能性があり、意図された機能(SOTIF)問題の安全性につながる。
様々な気象条件下で視覚知覚アルゴリズムの性能をテストするためのデータを効率的に生成するため、階層レベルの雨画像生成モデルであるrain conditional cyclegan(rccyclegan)が構築される。
RCCycleGANはGAN(Generative Adversarial Network)に基づいており、光、中、大雨の画像を生成することができる。
降雨強度は条件付きGAN(CGAN)のラベルとして導入される。
一方、モデル構造を最適化し、モード崩壊の問題を緩和するためにトレーニング戦略を調整する。
さらに、異なる強度の自然雨画像を収集し、モデルトレーニングと検証のために処理する。
試験データセット上のRCCycleGANのピーク信号-雑音比(PSNR)は、CycleGANとDerainCycleGANの2つのベースラインモデルと比較して2.58dBおよび0.74dB改善され、構造類似度(SSIM)はそれぞれ18%および8%改善されている。
また, モデルチューニングの有効性を検証するため, アブレーション実験を行った。 Autonomous vehicles are exposed to various weather during operation, which is likely to trigger the performance limitations of the perception system, leading to the safety of the intended functionality (SOTIF) problems. To efficiently generate data for testing the performance of visual perception algorithms under various weather conditions, a hierarchical-level rain image generative model, rain conditional CycleGAN (RCCycleGAN), is constructed. RCCycleGAN is based on the generative adversarial network (GAN) and can generate images of light, medium, and heavy rain. Different rain intensities are introduced as labels in conditional GAN (CGAN). Meanwhile, the model structure is optimized and the training strategy is adjusted to alleviate the problem of mode collapse. In addition, natural rain images of different intensities are collected and processed for model training and validation. Compared with the two baseline models, CycleGAN and DerainCycleGAN, the peak signal-to-noise ratio (PSNR) of RCCycleGAN on the test dataset is improved by 2.58 dB and 0.74 dB, and the structural similarity (SSIM) is improved by 18% and 8%, respectively. The ablation experiments are also carried out to validate the effectiveness of the model tuning. | 翻訳日:2023-09-07 15:36:33 公開日:2023-09-06 |
| # 無線, 視覚, 音響センサを用いた屋内定位: 実生活データ検証と議論 Indoor Localization Using Radio, Vision and Audio Sensors: Real-Life Data Validation and Discussion ( http://arxiv.org/abs/2309.02961v1 ) ライセンス: Link先を確認 | Ilayda Yaman, Guoda Tian, Erik Tegler, Patrik Persson, Nikhil Challa, Fredrik Tufvesson, Ove Edfors, Kalle Astrom, Steffen Malkowsky, Liang Liu | (参考訳) 本論文では,同一環境における無線,視覚,音声センサを用いた屋内位置推定手法について検討する。
評価は最先端のアルゴリズムに基づいており、実際のデータセットを使用している。
具体的には,大規模なmimo技術を用いた無線ベースのローカライズのための機械学習アルゴリズム,rgb-dカメラを用いた視覚に基づくローカライズのためのorb-slam3アルゴリズム,マイクロホンアレイを用いた音声ベースのローカライズのためのsfs2アルゴリズムを評価した。
位置決め精度,信頼性,キャリブレーション要件,潜在的なシステム複雑性などの側面を考察し,屋内位置決めタスクに異なるセンサを使用することの利点と限界を分析する。
この結果は、例えばセンサフュージョンやコンテキスト、環境に配慮した適応を通じて、堅牢で高精度なマルチセンサローカライゼーションシステムの開発のためのガイドラインと基礎となる。 This paper investigates indoor localization methods using radio, vision, and audio sensors, respectively, in the same environment. The evaluation is based on state-of-the-art algorithms and uses a real-life dataset. More specifically, we evaluate a machine learning algorithm for radio-based localization with massive MIMO technology, an ORB-SLAM3 algorithm for vision-based localization with an RGB-D camera, and an SFS2 algorithm for audio-based localization with microphone arrays. Aspects including localization accuracy, reliability, calibration requirements, and potential system complexity are discussed to analyze the advantages and limitations of using different sensors for indoor localization tasks. The results can serve as a guideline and basis for further development of robust and high-precision multi-sensory localization systems, e.g., through sensor fusion and context and environment-aware adaptation. | 翻訳日:2023-09-07 15:36:06 公開日:2023-09-06 |
| # TCM舌の特徴を組み合わせた非侵襲的解釈型NAFLD診断法 A Non-Invasive Interpretable NAFLD Diagnostic Method Combining TCM Tongue Features ( http://arxiv.org/abs/2309.02959v1 ) ライセンス: Link先を確認 | Shan Cao, Qunsheng Ruan, Qingfeng Wu | (参考訳) 非アルコール性脂肪性肝疾患(Non-Alcoholic fat liver disease,NAFLD)は、アルコールを排除した肝脂肪症を特徴とする臨床病理学的症候群である。
世界中で慢性肝疾患の主要な原因となっている。
現在,従来のnafld検出手法は高価であり,日常的な診断には適していない。
本研究は,非侵襲的かつ解釈可能なnafld診断法を提案する。本研究の目的は,性別,年齢,身長,体重,腰周囲,股関節周囲,舌画像のみである。
この方法は、患者の生理的指標と舌の特徴を融合させ、SelectorNetと呼ばれる融合ネットワークに入力する。
selectornetはアテンション機構と特徴選択機構を組み合わせることで、重要な機能を選択する能力を自律的に学習することができる。
実験結果から,非侵襲的データのみを用いて77.22\%の精度を達成し,優れた解釈性行列を提供することがわかった。
本研究はNAFLDの早期診断とTCM舌診断の知的進歩に寄与する。
この論文のプロジェクトは、https://github.com/cshan-github/SelectorNet.comで公開されている。 Non-alcoholic fatty liver disease (NAFLD) is a clinicopathological syndrome characterized by hepatic steatosis resulting from the exclusion of alcohol and other identifiable liver-damaging factors. It has emerged as a leading cause of chronic liver disease worldwide. Currently, the conventional methods for NAFLD detection are expensive and not suitable for users to perform daily diagnostics. To address this issue, this study proposes a non-invasive and interpretable NAFLD diagnostic method, the required user-provided indicators are only Gender, Age, Height, Weight, Waist Circumference, Hip Circumference, and tongue image. This method involves merging patients' physiological indicators with tongue features, which are then input into a fusion network named SelectorNet. SelectorNet combines attention mechanisms with feature selection mechanisms, enabling it to autonomously learn the ability to select important features. The experimental results show that the proposed method achieves an accuracy of 77.22\% using only non-invasive data, and it also provides compelling interpretability matrices. This study contributes to the early diagnosis of NAFLD and the intelligent advancement of TCM tongue diagnosis. The project in this paper is available at: https://github.com/cshan-github/SelectorNet. | 翻訳日:2023-09-07 15:35:49 公開日:2023-09-06 |
| # M3D-NCA: 内蔵品質制御によるロバスト3次元分割 M3D-NCA: Robust 3D Segmentation with Built-in Quality Control ( http://arxiv.org/abs/2309.02954v1 ) ライセンス: Link先を確認 | John Kalkhof, Anirban Mukhopadhyay | (参考訳) 医用画像セグメンテーションは、UNetベースのアーキテクチャのような大規模ディープラーニングモデルに大きく依存している。
しかし、そのようなモデルの実世界の有用性は高い計算能力によって制限されており、プライマリケア施設やコンフリクトゾーンのようなリソース制約のある環境では実用的ではない。
さらに、画像領域のシフトはこれらのモデルを非効率にレンダリングし、そのようなエラーが検出されない場合に患者の安全性を損なう。
これらの課題に対処するために,我々は,Nレベルパッチを用いた3次元医用画像にニューラルセルラーオートマタ(NCA)セグメンテーションを利用する新しい手法であるM3D-NCAを提案する。
さらに,NCAのセグメンテーション過程における誤差を自動的に検出できる新しい品質指標を開発するために,M3D-NCAのばらつきを利用した。
M3D-NCAは、海馬と前立腺のセグメンテーションで2グレードのUNetモデルより優れており、Raspberry Pi 4 Model B(2GB RAM)上で動作する。
これはM3D-NCAが資源制約環境における医用画像セグメンテーションの効果的かつ効率的な代替手段としての可能性を強調している。 Medical image segmentation relies heavily on large-scale deep learning models, such as UNet-based architectures. However, the real-world utility of such models is limited by their high computational requirements, which makes them impractical for resource-constrained environments such as primary care facilities and conflict zones. Furthermore, shifts in the imaging domain can render these models ineffective and even compromise patient safety if such errors go undetected. To address these challenges, we propose M3D-NCA, a novel methodology that leverages Neural Cellular Automata (NCA) segmentation for 3D medical images using n-level patchification. Moreover, we exploit the variance in M3D-NCA to develop a novel quality metric which can automatically detect errors in the segmentation process of NCAs. M3D-NCA outperforms the two magnitudes larger UNet models in hippocampus and prostate segmentation by 2% Dice and can be run on a Raspberry Pi 4 Model B (2GB RAM). This highlights the potential of M3D-NCA as an effective and efficient alternative for medical image segmentation in resource-constrained environments. | 翻訳日:2023-09-07 15:35:29 公開日:2023-09-06 |
| # 確率近似における記憶の呪い:拡張版 The Curse of Memory in Stochastic Approximation: Extended Version ( http://arxiv.org/abs/2309.02944v1 ) ライセンス: Link先を確認 | Caio Kalil Lauand and Sean Meyn | (参考訳) 確率近似(英語版)(sa)の理論と応用は、適応制御の初期から制御系コミュニティの中で成長してきた。
本稿では,SAの顕著な性能を(十分小さい)定数ステップサイズ$\alpha>0$で証明した最近の結果から,この話題を新たに考察する。
平均化が最終的なパラメータ推定を得るために実施されると、その推定は漸近的にほぼ最適な漸近共分散でバイアスされない。
これらの結果は、i.d.\係数を持つランダム線形SA再帰に対して得られた。
本稿では,幾何学的エルゴードマルコフの乱れのより一般的な場合において,非常に異なる結論を得る。
(i)非線型 SA の場合においても \textit{target bias} が特定され、一般には 0 でない。
残りの結果は線形SA再帰のために確立される。
(ii)二変量パラメータ・ディストバンス過程は、トポロジカルな意味で幾何学的にエルゴード的である。
三) バイアスの表現は、この場合においてより単純な形式であり、乗法ノイズがあるときはゼロであるとは期待できない。
(iv)平均パラメータの漸近共分散は最適な$o(\alpha)$以内である。
誤差項は特定され、平均力学が十分に条件づけられていない場合、大きすぎる可能性がある。
この理論はtd-learningに応用されている。 Theory and application of stochastic approximation (SA) has grown within the control systems community since the earliest days of adaptive control. This paper takes a new look at the topic, motivated by recent results establishing remarkable performance of SA with (sufficiently small) constant step-size $\alpha>0$. If averaging is implemented to obtain the final parameter estimate, then the estimates are asymptotically unbiased with nearly optimal asymptotic covariance. These results have been obtained for random linear SA recursions with i.i.d.\ coefficients. This paper obtains very different conclusions in the more common case of geometrically ergodic Markovian disturbance: (i) The \textit{target bias} is identified, even in the case of non-linear SA, and is in general non-zero. The remaining results are established for linear SA recursions: (ii) the bivariate parameter-disturbance process is geometrically ergodic in a topological sense; (iii) the representation for bias has a simpler form in this case, and cannot be expected to be zero if there is multiplicative noise; (iv) the asymptotic covariance of the averaged parameters is within $O(\alpha)$ of optimal. The error term is identified, and may be massive if mean dynamics are not well conditioned. The theory is illustrated with application to TD-learning. | 翻訳日:2023-09-07 15:35:08 公開日:2023-09-06 |
| # ワイル作用素、富田竹崎理論、ベル-CHSH不等式違反 Weyl operators, Tomita-Takesaki theory and Bell-CHSH inequality violations ( http://arxiv.org/abs/2309.02941v1 ) ライセンス: Link先を確認 | P. De Fabritiis, F. M. Guedes, M. S. Guimaraes, G. Peruzzo, I. Roditi, S. P. Sorella | (参考訳) 相対論的自由実スカラー場の真空状態におけるベル-CHSH不等式の不等式は、富田・竹崎構成とワイル作用素の相関関数の直接計算により決定される。 The violation of the Bell-CHSH inequality in the vacuum state of a relativistic free real scalar field is established by means of the Tomita-Takesaki construction and of the direct computation of the correlation functions of Weyl operators. | 翻訳日:2023-09-07 15:34:51 公開日:2023-09-06 |
| # 局所スクイージングによる2モードガウス状態のベル非局在性 Bell non-locality in two-mode Gaussian states revealed via local squeezing ( http://arxiv.org/abs/2309.03016v1 ) ライセンス: Link先を確認 | A. Lezama and A. Auyuanet | (参考訳) 局所ユニタリ変換は、局所測定の結果に影響を与えるが、絡み合った状態を共有する2つの系間の量子相関には影響しない。
2モードガウス系のCHSHベル不等式違反を許すため、局所的なスクイーズ操作を考慮し、拡張された観測機器群を導入する。
局所的スクイーズにより,非局所的な2モード状態の同定が可能であることを示す。
特に, 局所的なスクイージングと光子/非光子識別は, 純および混合2モードガウス状態の広いアンサンブルにおいて非局所性を明らかにするのに十分であることを示す。 Local unitary transforms cannot affect the quantum correlations between two systems sharing an entangled state although they do influence the outcomes of local measurements. By considering local squeezing operations we introduce an extended family of observables allowing violation of the CHSH Bell inequality for two-mode Gaussian systems. We show that local squeezing can enable or enhance the identification of non-local two-mode states. In particular, we show that local squeezing followed by photons/no-photons discrimination can suffice to reveal non-locality in a broad ensemble of pure and mixed two-mode Gaussian states. | 翻訳日:2023-09-07 15:27:10 公開日:2023-09-06 |
| # SymED: エッジ上のデータの適応的およびオンライン的シンボリック表現 SymED: Adaptive and Online Symbolic Representation of Data on the Edge ( http://arxiv.org/abs/2309.03014v1 ) ライセンス: Link先を確認 | Daniel Hofst\"atter, Shashikant Ilager, Ivan Lujic, Ivona Brandic | (参考訳) エッジコンピューティングのパラダイムは、IoT(Internet of Things)生成されたデータをソースに近接して処理するのに役立つ。
リソース制約のあるエッジデバイス上で急速に増加するデータの転送、保存、処理において、課題が発生する。
Symbolic Representation (SR)アルゴリズムは、実際の生データをシンボルに変換することで、データサイズを減らすための有望なソリューションである。
また、シンボルに直接データ分析(異常検出やトレンド予測など)を許可し、エッジアプリケーションの大規模なクラスに恩恵を与える。
しかし、既存のSRアルゴリズムは設計に集中しており、リアルタイムケースでは不可能なバッチデータでオフラインで動作する。
我々は、エッジ上のデータのシンボル表現のための、オンラインで適応的で分散的なアプローチであるSymbedSymbolic Edge Data表現法を提案する。
SymEDはAdaptive Brownian Bridgeベースのアグリゲーション(ABBA)に基づいており、低消費電力のIoTデバイスが初期データ圧縮(Sender)を行い、より堅牢なエッジデバイスがシンボリック変換(Receivers)を行うと仮定する。
圧縮性能,動的時間ワープ(DTW)距離による再構成精度,計算遅延を測定し,Symphedの評価を行った。
結果はSymphedが実現可能であることを示している。
(i)平均圧縮率9.5%で生データを減少させる。
(ii)dtw空間に13.25の再構成誤差を低く保持する。
(iii) シンボルあたり42msの典型的なレイテンシで,オンラインストリーミングIoTデータのリアルタイム適応性を同時に提供することにより,ネットワーク全体のトラフィックを削減できる。 The edge computing paradigm helps handle the Internet of Things (IoT) generated data in proximity to its source. Challenges occur in transferring, storing, and processing this rapidly growing amount of data on resource-constrained edge devices. Symbolic Representation (SR) algorithms are promising solutions to reduce the data size by converting actual raw data into symbols. Also, they allow data analytics (e.g., anomaly detection and trend prediction) directly on symbols, benefiting large classes of edge applications. However, existing SR algorithms are centralized in design and work offline with batch data, which is infeasible for real-time cases. We propose SymED - Symbolic Edge Data representation method, i.e., an online, adaptive, and distributed approach for symbolic representation of data on edge. SymED is based on the Adaptive Brownian Bridge-based Aggregation (ABBA), where we assume low-powered IoT devices do initial data compression (senders) and the more robust edge devices do the symbolic conversion (receivers). We evaluate SymED by measuring compression performance, reconstruction accuracy through Dynamic Time Warping (DTW) distance, and computational latency. The results show that SymED is able to (i) reduce the raw data with an average compression rate of 9.5%; (ii) keep a low reconstruction error of 13.25 in the DTW space; (iii) simultaneously provide real-time adaptability for online streaming IoT data at typical latencies of 42ms per symbol, reducing the overall network traffic. | 翻訳日:2023-09-07 15:27:00 公開日:2023-09-06 |
| # 物体中心線サンプリングによるスパース3次元再構成 Sparse 3D Reconstruction via Object-Centric Ray Sampling ( http://arxiv.org/abs/2309.03008v1 ) ライセンス: Link先を確認 | Llukman Cerkezi, Paolo Favaro | (参考訳) 本研究では,360度キャリブレーションカメラリグから取得したスパース集合からの3次元オブジェクト再構成手法を提案する。
MLPに基づくニューラル表現とトライアングルメッシュの両方を用いたハイブリッドモデルを用いて物体表面を表現する。
私たちの研究における重要な貢献は、すべてのビューで光が共有される、神経表現のオブジェクト中心サンプリングスキームである。
これにより、各イテレーションでニューラルモデルを更新するのに使用されるサンプルの数を効率よく集中し、削減できる。
このサンプリングスキームはメッシュ表現に依存し、サンプルが正常に沿って適切に分散されていることを保証する。
そして、このレンダリングを微分可能なレンダラーで効率的に行う。
このサンプリング方式により、より効果的な神経表現のトレーニングが実現し、セグメンテーションマスクのさらなる監督を必要とせず、芸術的な3D再構成の状態が得られ、GoogleのScanned Objects, Tank and TemplesおよびMVMC Carデータセットの細かなビューで動作することを示した。 We propose a novel method for 3D object reconstruction from a sparse set of views captured from a 360-degree calibrated camera rig. We represent the object surface through a hybrid model that uses both an MLP-based neural representation and a triangle mesh. A key contribution in our work is a novel object-centric sampling scheme of the neural representation, where rays are shared among all views. This efficiently concentrates and reduces the number of samples used to update the neural model at each iteration. This sampling scheme relies on the mesh representation to ensure also that samples are well-distributed along its normals. The rendering is then performed efficiently by a differentiable renderer. We demonstrate that this sampling scheme results in a more effective training of the neural representation, does not require the additional supervision of segmentation masks, yields state of the art 3D reconstructions, and works with sparse views on the Google's Scanned Objects, Tank and Temples and MVMC Car datasets. | 翻訳日:2023-09-07 15:26:35 公開日:2023-09-06 |
| # フラットミニマと対向ロバスト性による活性化空間の理論的説明 Theoretical Explanation of Activation Sparsity through Flat Minima and Adversarial Robustness ( http://arxiv.org/abs/2309.03004v1 ) ライセンス: Link先を確認 | Ze Peng, Lei Qi, Yinghuan Shi, Yang Gao | (参考訳) MLP層の活性化空間の最近の経験的観察は、無料の計算コストを大幅に削減する機会を提供する。
いくつかの研究が力学の訓練に寄与しているが、アクティベーション空間の出現の理論的な説明は浅いネットワーク、小さなトレーニングステップ、そして修正されたトレーニングに限られている。
この3つのギャップを埋めるため,我々は勾配スパーシティの概念を活性化スパーシティの源として提案し,それに基づく理論的説明として,勾配スパーシティとそれに続く活性化スパーシティを,敵対的ロバストネスのために必要なステップとして,w.r.t. 隠れた特徴とパラメータとして説明する。
この理論は、標準的に訓練されたLayerNormベースの純粋なMLPや、トレーニング中に重み付けにノイズを加える場合のトランスフォーマーや他のアーキテクチャにも適用される。
空間性の必要性を議論する際の他の平坦性源を排除するため、スペクトル濃度の現象、すなわち重量行列の最大値と最小値の非ゼロ特異値との比が小さいことを発見した。
確率的勾配雑音を解析し、スペクトル集中の出現について議論するための強力な理論ツールとしてランダム行列理論(RMT)を用いる。
これらの知見により,スクラッチとスパーシティの微調整からトレーニングを行うための2つのプラグイン・アンド・プレイモジュールと,スクラッチ外のトレーニングにのみ適用される1つの根本的な修正を提案する。
スパルシリティと平坦性の両方に対する別のテスト対象モジュールも、我々の理論からすぐに得られます。
我々の説明を検証するために検証実験を行った。
生産性に関する実験は、空間性の改善を実証し、トレーニングと推論の両方におけるさらなる理論的コスト削減を示している。 A recent empirical observation of activation sparsity in MLP layers offers an opportunity to drastically reduce computation costs for free. Despite several works attributing it to training dynamics, the theoretical explanation of activation sparsity's emergence is restricted to shallow networks, small training steps well as modified training, even though the sparsity has been found in deep models trained by vanilla protocols for large steps. To fill the three gaps, we propose the notion of gradient sparsity as the source of activation sparsity and a theoretical explanation based on it that explains gradient sparsity and then activation sparsity as necessary steps to adversarial robustness w.r.t. hidden features and parameters, which is approximately the flatness of minima for well-learned models. The theory applies to standardly trained LayerNorm-ed pure MLPs, and further to Transformers or other architectures if noises are added to weights during training. To eliminate other sources of flatness when arguing sparsities' necessity, we discover the phenomenon of spectral concentration, i.e., the ratio between the largest and the smallest non-zero singular values of weight matrices is small. We utilize random matrix theory (RMT) as a powerful theoretical tool to analyze stochastic gradient noises and discuss the emergence of spectral concentration. With these insights, we propose two plug-and-play modules for both training from scratch and sparsity finetuning, as well as one radical modification that only applies to from-scratch training. Another under-testing module for both sparsity and flatness is also immediate from our theories. Validational experiments are conducted to verify our explanation. Experiments for productivity demonstrate modifications' improvement in sparsity, indicating further theoretical cost reduction in both training and inference. | 翻訳日:2023-09-07 15:26:18 公開日:2023-09-06 |
| # Vote2Cap-DETR++: ローカライゼーションのデカップリングと、エンドツーエンドの3D Dense Captioningのための記述 Vote2Cap-DETR++: Decoupling Localization and Describing for End-to-End 3D Dense Captioning ( http://arxiv.org/abs/2309.02999v1 ) ライセンス: Link先を確認 | Sijin Chen, Hongyuan Zhu, Mingsheng Li, Xin Chen, Peng Guo, Yinjie Lei, Gang Yu, Taihao Li, and Tao Chen | (参考訳) 3Dシークエンスキャプションは、入力された3Dシーンの理解を、異なるオブジェクト領域に関連する複数のキャプションに変換するモデルを必要とする。
既存の手法では洗練された"detect-then-describe"パイプラインを採用しており、多数の手作り部品を持つ3D検出器上に明示的な関係モジュールを構築する。
これらの方法が最初に成功したが、カスケードパイプラインは、重複した不正確なボックス推定と乱雑な3dシーンのためにエラーを蓄積する傾向がある。
本稿では,まず,並列デコードによるキャプション生成とオブジェクトローカライゼーションのデコード処理を分離する,単純なyet効率のトランスフォーマフレームワークであるVote2Cap-DETRを提案する。
さらに、オブジェクトのローカライゼーションと記述生成には異なるレベルのシーン理解が必要であると論じ、共有クエリの集合をキャプチャすることは困難である。
そこで本研究では,クエリをローカライズとキャプションクエリに分離してタスク固有の特徴をキャプチャする,高度なバージョンであるVote2Cap-DETR++を提案する。
さらに,コンバージェンスを高速化し,ローカライズ性能を向上させるために,クエリに投票する反復的空間リファインメント戦略を導入する。
さらに,キャプションヘッドに空間情報を追加して,より正確な説明を行う。
ベルとホイッスルがなければ、一般的な2つのデータセットであるscanreferとnr3dの広範な実験では、従来の"detect-then-describe"メソッドを大差で上回っている。
コードはhttps://github.com/ch3cook-fdu/Vote2Cap-DETRで公開されている。 3D dense captioning requires a model to translate its understanding of an input 3D scene into several captions associated with different object regions. Existing methods adopt a sophisticated "detect-then-describe" pipeline, which builds explicit relation modules upon a 3D detector with numerous hand-crafted components. While these methods have achieved initial success, the cascade pipeline tends to accumulate errors because of duplicated and inaccurate box estimations and messy 3D scenes. In this paper, we first propose Vote2Cap-DETR, a simple-yet-effective transformer framework that decouples the decoding process of caption generation and object localization through parallel decoding. Moreover, we argue that object localization and description generation require different levels of scene understanding, which could be challenging for a shared set of queries to capture. To this end, we propose an advanced version, Vote2Cap-DETR++, which decouples the queries into localization and caption queries to capture task-specific features. Additionally, we introduce the iterative spatial refinement strategy to vote queries for faster convergence and better localization performance. We also insert additional spatial information to the caption head for more accurate descriptions. Without bells and whistles, extensive experiments on two commonly used datasets, ScanRefer and Nr3D, demonstrate Vote2Cap-DETR and Vote2Cap-DETR++ surpass conventional "detect-then-describe" methods by a large margin. Codes will be made available at https://github.com/ch3cook-fdu/Vote2Cap-DETR. | 翻訳日:2023-09-07 15:25:45 公開日:2023-09-06 |
| # 分布外検出のための連続的顕在的深層学習 Continual Evidential Deep Learning for Out-of-Distribution Detection ( http://arxiv.org/abs/2309.02995v1 ) ライセンス: Link先を確認 | Eduardo Aguilar, Bogdan Raducanu, Petia Radeva, Joost Van de Weijer | (参考訳) 不確実性に基づくディープラーニングモデルは、正確で信頼性の高い予測を提供する能力に対して、大きな関心を集めている。
Evidential Deep Learningは、単一決定論的ニューラルネットワークによるアウト・オブ・ディストリビューション(OOD)データの検出において、優れたパフォーマンスを実現している。
そこで本論文では,この事実に動機づけられ,連続学習フレームワークへの実証的深層学習手法の統合を提案し,オブジェクトの漸進的分類とood検出を同時に行う。
さらに,古いクラスに属する分布内データとOODデータとを区別する空き度と不協和性の分析を行った。
提案手法はCEDLと呼ばれ,5タスクと10タスクの2つの設定を考慮したCIFAR-100上で評価される。
得られた結果から,提案手法は,基準値に対するオブジェクト分類に匹敵する結果を提供するとともに,AUROC,AUPR,FPR95の3つの評価指標におけるポストホック法と比較して,OOD検出に優れることがわかった。 Uncertainty-based deep learning models have attracted a great deal of interest for their ability to provide accurate and reliable predictions. Evidential deep learning stands out achieving remarkable performance in detecting out-of-distribution (OOD) data with a single deterministic neural network. Motivated by this fact, in this paper we propose the integration of an evidential deep learning method into a continual learning framework in order to perform simultaneously incremental object classification and OOD detection. Moreover, we analyze the ability of vacuity and dissonance to differentiate between in-distribution data belonging to old classes and OOD data. The proposed method, called CEDL, is evaluated on CIFAR-100 considering two settings consisting of 5 and 10 tasks, respectively. From the obtained results, we could appreciate that the proposed method, in addition to provide comparable results in object classification with respect to the baseline, largely outperforms OOD detection compared to several posthoc methods on three evaluation metrics: AUROC, AUPR and FPR95. | 翻訳日:2023-09-07 15:25:16 公開日:2023-09-06 |
| # プロパゲータモデルへのオフライン学習アプローチ An Offline Learning Approach to Propagator Models ( http://arxiv.org/abs/2309.02994v1 ) ライセンス: Link先を確認 | Eyal Neuman, Wolfgang Stockinger, Yufei Zhang | (参考訳) 静的データセットから未知の価格影響カーネルを推定し、過渡的な価格影響を発生させながらリスク資産を清算する戦略を設計するエージェントに対して、オフライン学習問題を考察する。
本稿では,価格トラジェクトリ,トレーディング信号,メタオーダーを含むデータセットからプロパゲータを非パラメトリックに推定する手法を提案する。
推定プロパゲータの精度を,データセットに明示的に依存する計量を用いて定量化する。
推定プロパゲータに純粋に基づいた欲望戦略を用いて、執行コストを最小化しようとするトレーダは、取引戦略と推定要因とのいわゆるスプリアス相関と、バイアス付きコスト汎関数による内在的不確実性により、サブオプティリティに遭遇する。
オフラインの強化学習アプローチを採用することにより,推定プロパゲータの不確実性を考慮に入れた悲観的損失関数を導入し,スプリアス相関を排除し,真のプロパゲータの正確な情報なしでも,実行コストに漸近的に最適な制約を導出する。
提案するプロパゲータ推定器の有効性と悲観的取引戦略を実証するために数値実験を行った。 We consider an offline learning problem for an agent who first estimates an unknown price impact kernel from a static dataset, and then designs strategies to liquidate a risky asset while creating transient price impact. We propose a novel approach for a nonparametric estimation of the propagator from a dataset containing correlated price trajectories, trading signals and metaorders. We quantify the accuracy of the estimated propagator using a metric which depends explicitly on the dataset. We show that a trader who tries to minimise her execution costs by using a greedy strategy purely based on the estimated propagator will encounter suboptimality due to so-called spurious correlation between the trading strategy and the estimator and due to intrinsic uncertainty resulting from a biased cost functional. By adopting an offline reinforcement learning approach, we introduce a pessimistic loss functional taking the uncertainty of the estimated propagator into account, with an optimiser which eliminates the spurious correlation, and derive an asymptotically optimal bound on the execution costs even without precise information on the true propagator. Numerical experiments are included to demonstrate the effectiveness of the proposed propagator estimator and the pessimistic trading strategy. | 翻訳日:2023-09-07 15:24:55 公開日:2023-09-06 |
| # 重力波に対するマクロ量子応答 Macroscopic Quantum Response to Gravitational Waves ( http://arxiv.org/abs/2309.02992v1 ) ライセンス: Link先を確認 | Asuka Ito, Ryuichiro Kitano | (参考訳) 重力波による1電子量子サイクロトロンの励起の研究を行う。
ペニングトラップ等の電子は、波動関数の大きさによってパラメータ化された無限縮退性を有するランダウレベルが最低となるように準備される。
基底状態から第1励起状態への励起速度は、電子波動関数の大きさによって増大する:大きな波動関数を持つ電子は、より重力波を感じる。
その結果、マクロな1電子量子サイクロトロンにおける重力波に対する優れた感度が導出される。 We study the excitation of a one-electron quantum cyclotron by gravitational waves. The electron in such as a penning trap is prepared to be at the lowest Landau level, which has an infinite degeneracy parameterized by the size of the wave function. We find that the excitation rate from the ground state to the first excited state is enhanced by the size of the electron wave function: an electron with a larger wave function feels gravitational waves more. As a consequence, we derive a good sensitivity to gravitational waves at a macroscopic one-electron quantum cyclotron. | 翻訳日:2023-09-07 15:24:32 公開日:2023-09-06 |
| # 筋骨格モデルを用いた強化学習による自然歩行とロバスト歩行 Natural and Robust Walking using Reinforcement Learning without Demonstrations in High-Dimensional Musculoskeletal Models ( http://arxiv.org/abs/2309.02976v1 ) ライセンス: Link先を確認 | Pierre Schumacher, Thomas Geijtenbeek, Vittorio Caggiano, Vikash Kumar, Syn Schmitt, Georg Martius, Daniel F. B. Haeufle | (参考訳) 人間は複雑な自然環境において頑健な二足歩行に優れている。
それぞれのステップで、バイオメカニカル筋力学と神経信号の相互作用を適切に調整し、地面の状態の不確実性に対して堅牢である。
しかし、安定性、堅牢性、エネルギー効率を考慮した多目的制御問題を解くために、神経系が筋骨格の冗長性をどのように解決するかは、まだ完全には分かっていない。
コンピュータシミュレーションでは、エネルギーの最小化が最適化の目標として成功し、軌道最適化や反射に基づく制御手法で自然歩行を再現することが示されている。
しかし、これらの手法は一度に特定の動きに焦点を合わせ、結果として生じるコントローラは摂動を補償するときに制限される。
ロボット工学において、強化学習(rl)法は、最近、四足歩行システムにおいて高度に安定(かつ効率的な)移動を達成したが、二足歩行の生体力学的モデルを用いた人間のような歩行の生成には、専門家のデータセットを広範囲に使用する必要がある。
このデモへの強い依存は、しばしば脆いポリシーをもたらし、特に3Dの高次元筋骨格モデルに対する潜在的な様々な動きを考慮して、新しい行動への適用を制限する。
RLの強靭さを犠牲にすることなく自然の移動を実現することは、複雑な自然環境における人間の歩行を研究する新しいアプローチの道を開くかもしれない。 Humans excel at robust bipedal walking in complex natural environments. In each step, they adequately tune the interaction of biomechanical muscle dynamics and neuronal signals to be robust against uncertainties in ground conditions. However, it is still not fully understood how the nervous system resolves the musculoskeletal redundancy to solve the multi-objective control problem considering stability, robustness, and energy efficiency. In computer simulations, energy minimization has been shown to be a successful optimization target, reproducing natural walking with trajectory optimization or reflex-based control methods. However, these methods focus on particular motions at a time and the resulting controllers are limited when compensating for perturbations. In robotics, reinforcement learning~(RL) methods recently achieved highly stable (and efficient) locomotion on quadruped systems, but the generation of human-like walking with bipedal biomechanical models has required extensive use of expert data sets. This strong reliance on demonstrations often results in brittle policies and limits the application to new behaviors, especially considering the potential variety of movements for high-dimensional musculoskeletal models in 3D. Achieving natural locomotion with RL without sacrificing its incredible robustness might pave the way for a novel approach to studying human walking in complex natural environments. | 翻訳日:2023-09-07 15:24:24 公開日:2023-09-06 |
| # FishMOT:IoUマッチングに基づく魚追跡の簡便かつ効果的な方法 FishMOT: A Simple and Effective Method for Fish Tracking Based on IoU Matching ( http://arxiv.org/abs/2309.02975v1 ) ライセンス: Link先を確認 | Shuo Liu, Lulu Han, Xiaoyang Liu, Junli Ren, Fang Wang, Yuanshan Lin | (参考訳) 様々な魚種の追跡は、個々の魚とそのグループの行動を理解する上で非常に重要な役割を担っている。
現在追跡法は, 精度の低下や堅牢性の低下に悩まされている。
このような問題に対処するため,本研究では,Fish Multiple Object Tracking(Fish Multiple Object Tracking)という新しいトラッキング手法を提案する。
本手法は, 物体検出手法とIoUマッチングアルゴリズムを組み合わせることにより, 効率, 正確, 堅牢な魚検出・追跡を実現する。
他の手法と異なり、この方法は個々の特徴抽出やアイデンティティ割り当ての必要性を排除し、代わりに検出器の出力結果を直接利用して追跡し、計算時間と記憶空間を大幅に削減する。
さらに,本手法では,映像品質や個性の変化などの要因について最小限の要件を課す。
検知器が魚を正確に見つけて識別できる限り、効果的な追跡が可能となる。
このアプローチは堅牢性と一般化性を高める。
さらに, この手法では, 複雑な特徴マッチングやグラフ最適化アルゴリズムに頼ることなく, 欠落検出の問題に対処する。
これにより精度と信頼性が向上する。
idtracker.aiが提供するオープンソースのビデオデータセットで実験を行い、最先端の検出器に基づくマルチオブジェクト追跡法との比較を行った。
さらに、動物追跡の分野で優れたパフォーマンスを示す2つのツールであるidtracker.aiとTRexとの比較を行った。
実験の結果,提案手法は様々な評価指標において他の手法よりも優れ,高速化とメモリ要求の低減を実現していることがわかった。
ソースコードと事前訓練されたモデルは以下の通りである。 The tracking of various fish species plays a profoundly significant role in understanding the behavior of individual fish and their groups. Present tracking methods suffer from issues of low accuracy or poor robustness. In order to address these concerns, this paper proposes a novel tracking approach, named FishMOT (Fish Multiple Object Tracking). This method combines object detection techniques with the IoU matching algorithm, thereby achieving efficient, precise, and robust fish detection and tracking. Diverging from other approaches, this method eliminates the need for multiple feature extractions and identity assignments for each individual, instead directly utilizing the output results of the detector for tracking, thereby significantly reducing computational time and storage space. Furthermore, this method imposes minimal requirements on factors such as video quality and variations in individual appearance. As long as the detector can accurately locate and identify fish, effective tracking can be achieved. This approach enhances robustness and generalizability. Moreover, the algorithm employed in this method addresses the issue of missed detections without relying on complex feature matching or graph optimization algorithms. This contributes to improved accuracy and reliability. Experimental trials were conducted in the open-source video dataset provided by idtracker.ai, and comparisons were made with state-of-the-art detector-based multi-object tracking methods. Additionally, comparisons were made with idtracker.ai and TRex, two tools that demonstrate exceptional performance in the field of animal tracking. The experimental results demonstrate that the proposed method outperforms other approaches in various evaluation metrics, exhibiting faster speed and lower memory requirements. The source codes and pre-trained models are available at: https://github.com/gakkistar/FishMOT | 翻訳日:2023-09-07 15:24:00 公開日:2023-09-06 |
| # pt対称進化の還元ダイナミクス Reduced dynamics of a PT-symmetric evolution ( http://arxiv.org/abs/2309.03042v1 ) ライセンス: Link先を確認 | Himanshu Badhani and C. M. Chandrashekar | (参考訳) 非エルミート的ハミルトニアンの下でのPT対称性のない進化は、いわゆる計量作用素によって促進される内積の適切な選択の下でユニタリと見なすことができる。
計量作用素の選択はシステムの記述に依らないことが理解されているが、本研究では、この選択がサブシステムの特性を規定していることを示す。
従ってサブシステムダイナミクスはメトリックの選択に依存する。
この結果は、状態を特徴付けるために選択された観測変数の集合がサブシステムへの分解を決定するという、これまで知られていた結果の再構成であると主張する。
この研究では、内部および外部の自由度を持つ非エルミートなpt対称量子ウォークを用いてこれを示す。
量子ウォークのハミルトニアンは、これらの部分空間上のテンソル積構造を持つ計量作用素を許さないように選択される。
これらの制約の下では、計量作用素の異なる選択の下で系の内部状態の性質を調査し、二部交絡や非マルコフ性のような性質が計量作用素の選択に依存することを示す。 Evolutions under non-Hermitian Hamiltonians with unbroken PT-symmetry can be considered unitary under appropriate choices of inner products, facilitated by the so-called metric operator. While it is understood that the choice of the metric operator has no bearing on the description of the system, in this work we show that this choice does dictate the properties of the subsystem. Subsystem dynamics therefore does depend on the choice of the metric. We argue that this result is a reformulation of the previously known result that the set of observables, chosen to characterize the state, determines its decomposition into subsystems. In this work we take a non-Hermitian PT-symmetric quantum walk with an internal and external degree of freedom to show this. The Hamiltonian of the quantum walk is chosen to not allow a metric operator with a tensor product structure over these subspaces. Under these constraints, we investigate the properties of the internal state of the system under different choices of the metric operator and show that properties like bipartite entanglement and non-Markovianity depend on the choice of the metric operator. | 翻訳日:2023-09-07 15:18:15 公開日:2023-09-06 |
| # 説明可能性に対するシャプリー値の反論 A Refutation of Shapley Values for Explainability ( http://arxiv.org/abs/2309.03041v1 ) ライセンス: Link先を確認 | Xuanxiang Huang, Joao Marques-Silva | (参考訳) 最近の研究は、Shapley値がルールに基づく説明における特徴の相対的重要性に関する誤解を招く情報を提供するブール関数の存在を実証した。 このような誤解を招く情報は、様々な問題に大別された。 これらの問題はそれぞれ、予測に関係または関係のない特徴に関係しており、ルールベースの説明可能性に対するシェープリー値の不備に関して重 |