Home

Abstract Self-supervised representation learning에서 주목받는 기술 중 하나는 의미론적으로 유사하고 다른 샘플 쌍을 대조하는 것입니다. 레이블에 접근할 수 없는 상태에서 다르다고 판단되는 (부정적인) 포인트들은 일반적으로 무작위로 샘플링된 데이터 포인트로 간주됩니다. 이는 암묵적으로 이러한 포인트들이 실제로는 동일한 레이블을 가질 수 있다는 점을 받아들이는 것입니다. 예상대로, 레이블이 실제로 다른 부정적 예제를 샘플링하면 성능이 향상되는 것을 합성 설정에서 관찰했습니다. 이러한 관찰에 자극받아, 우리는 진정한 레이블에 대한 지식 없이도 동일한 레이블 데이터 포인트의 샘플링을 ...

Abstract 대조 학습은 다양한 분류 작업에서 획기적인 성능을 달성하는 자기 지도 표현 학습 방법입니다. 그러나 비지도 방식이기 때문에 다른 레이블을 가진 것으로 가정되지만 실제로는 앵커와 동일한 레이블을 가진 것으로 간주되는 무작위로 추출된 음성 샘플인 위음성 샘플 문제가 발생합니다. 이는 의미적으로 유사한 쌍과 그렇지 않은 쌍을 대조하려는 동기와 모순되기 때문에 대조 학습의 성능을 저하시킵니다. 이로 인해 1) 참 네거티브와 거짓 네거티브, 2) 쉬운 네거티브와 어려운 네거티브를 구분하여 해결해야 하는 합법적인 네거티브 샘플을 찾는 것에 대한 관심과 중요성이 높아졌습니다. 그러나 기존 연구는 하이퍼파라미터 ...

논문 링크 : https://arxiv.org/abs/2101.04296 Abstract AutoML 시스템은 일상적인 데이터 사이언스 작업을 가속화하고 통계와 컴퓨터 과학에 전문성이 없는 사람들에게도 머신러닝을 이용할 수 있게 한다. 이러한 시스템은 숙련된 데이터 작업자가 제한적인 기업 환경에서 주목을 받고 있다. 이 연구에서는 다양한 규모의 조직에서 29명의 개인과 인터뷰를 진행하여 현재 그들이 데이터 사이언스 작업에서 AutoML 시스템을 어떻게 사용하거나 사용할 계획인지를 파악한다. 이 연구는 또한 데이터 시각화가 AutoML 시스템과 함께 어떻게 사용되는지도 조사한다. 연구 결과, 데이터 작업자의 전문성...

논문 링크 : https://proceedings.neurips.cc/paper_files/paper/2015/hash/11d0e6287202fced83f79975ec59a3a6-Abstract.html Abstract 기계 학습의 성공이 다양한 분야에서의 수요를 촉진시키고 있으며, 이로 인해 비전문가들도 쉽게 사용할 수 있는 기계 학습 시스템의 필요성이 증가하고 있다. 이러한 시스템이 실제로 효과적이려면 새로운 데이터셋에 대해 적절한 알고리즘과 특성 전처리 단계를 자동으로 선택하고, 해당 하이퍼파라미터를 설정할 수 있어야 한다. 최근의 연구에서는 효율적인 베이지안 최적화 방법을 활용하여 이러한 자동 기계 학...

SelfMatch : Robust semisupervised time-series classification with self-distillation (2022) 논문 리뷰 Abstract 수년에 걸쳐 시계열 분류(TSC)를 위해 많은 준지도 딥 러닝 알고리듬이 제안되었다. 준감독 딥 러닝에서 표현 계층의 관점에서 낮은 수준에서 추출된 의미 정보는 높은 수준에서 추출된 의미 정보의 기초이다. 저자들은 추출된 높은 수준의 의미 정보가 낮은 수준의 의미 정보를 포착하는 데도 도움이 되는지 궁금해한다. 본 논문은 이 문제를 연구하고 SelfMatch라고 불리는 TSC에 대한 기존의 준지도 학습(SSL) 기법을 단순화...

Efficient time series anomaly detection by multiresolution self-supervised discriminative network (2022) 리뷰 Abstract 시계열 이상 탐지는 전체 시퀀스의 시간적 행동과 현저하게 다른 시계열의 비정상적인 시퀀스를 식별하는 것을 목표로 한다. 이전의 density 기반 또는 proximity 기반 이상 탐지 방법은 일반적으로 이상 탐지에 사용되지만, 테스트 중에 전체 교육 데이터 세트를 통과해야 하기 때문에 여전히 높은 계산 비용으로 어려움을 겪고 있다.최근에는 시계열 이상 탐지에 재구성 기반 딥 러닝 방법이 인기를 끌고 있다. ...

Memory Aware Synapses : Learning what (not) to forget (ECCV, 2018) Background Catastrophic forgetting Neural Network가 다른 종류의 task를 학습하면 이전에 학습했던 task에 대한 성능이 감소하는 현성을 의미함 Continual Learning Catastrophic forgetting을 해결하기 위해 나온 알고리즘으로 하나의 모델을 조금씩 업그레이드 시키면서, 여러 task를 처리할 수 있도록 만드는 방법임. Introduction Motivation 기존의 Continual Learning은 두 가지...

논문 리뷰 : Variational transformer-based anomaly detection approach for multivariate time series Overview MT-RVAE(Multiscale Transformer-based Variational AutoEncoder) Time-Series information과 Period information을 반영한 Positional Encoding informer에서 처음 제안된 timestamp 정보를 반영한 encoding Fourier series를 활용한 Periodic encoding (새로 추가됨) ...