Home

논문 리뷰 : Taming Transformers for High-Resolution Image Synthesis(2021) Introduction CNN은 비전 작업에 사용할 수 있는 믿을수 있는(reliable)한 모델임. 왜냐면 kernel의 사용으로 인해서 CNN이 강한 locality bias와 shared weight의 사용을 통해 spatial invariance에 대한 편향을 보이기 때문임 . CNN과 비교하여, Transformer는 로컬 상호 작용을 우선 처리하는 inductive bias를 포함하고 있지 않으므로 입력 간의 복잡한 관계를 학습할 수 있음. 즉, 표현력을 높임. 그러나, 이는 ...

Adversarial Discriminative Domain Adaptation (2017) Introduction Dataset의 분포 차이에 의한 Domainshift로 인해 모델의 성능 하락과 이에 따른 모델 재학습의 필요하다는 문제가 발생함. Domain shift를 해결하기 위해서는 추가적인 데이터의 수집을 진행해야 하는데 해당 과정에서 어려움이 존재함 적대적 adaptation 방법은 도메인 discriminator와 관련하여 적대적 목표를 통해 도메인 불일치 거리를 최소화하려는 이러한 유형의 접근 방식이 인기있음. 이러한 방법은 생성기와 판별기라는 두 개의 네트워크를 서로 경쟁시키는 생성적 적...

Introduction Discriminative 접근 방식은 지도 학습에 사용되는 것과 유사한 objective function 을 사용하여 표현을 학습하지만, 입력과 레이블이 모두 레이블이 없는 데이터 세트에서 파생되는 pretext 작업을 수행하도록 네트워크를 훈련시킨다. 그러한 많은 접근 방식은 학습된 표현의 일반성을 제한할 수 있는 pretext 작업을 설계하기 위해 휴리스틱에 의존해왔다. 잠재 공간에서 대조 학습을 기반으로 한 차별적 접근 방식은 최근 최첨단 결과를 달성하며 큰 가능성을 보여주고 있다. 본 연구에서는 시각적 표현의 대조적 학습을 위한 간단한 프레임워크를 소개하는데, 이를 SimCLR이...

Introduction 기존 연구의 한계점은 첫째, Instance level representation은 시계열 예측 및 이상 탐지와 같이 세분화된 표현이 필요한 작업에 적합하지 않을 수 있다. 이러한 종류의 작업에서는 특정 타임스탬프 또는 하위 시리즈에서 대상을 유추해야 하는 반면 전체 시계열의 coarse representation은 만족스러운 성능을 달성하기에 충분하지 않다. 둘째, 기존 방법 중 세분성이 다른 다중 스케일 상황 정보를 구별하는 방법은 거의 없다. 예를 들어, TNC(Tonekaboni, Eytan, Goldenberg 2021)는 길이가 일정한 세그먼트를 구별합니다. T-loss는...

Introduction Motivation Supervised Anomaly detection은 클래스 불균형 문제로 model의 일반화를 보장하지 못하고 레이블 작업은 비용과 노력이 ㅁ낳이 소요된다. 그에 대한 대안으로 one-class classification 알고리즘은 normal 데이터로만 학습시켜서 비정상 패턴을 식별한다. 그러나 해당 모델은 anomaly에 대한 해석력을 제공하지 못한다. 앞서 언급한 discriminative 모델에 비해 generative model은 데이터를 재구성한 다음 실제 데이터를 재구성된(예상) 데이터와 비교하여 이상 영역을 탐지한다. 따라서 생성모델은 discrimi...

Introduction 일반적으로 데이터는 training을 위한 적절한 라벨 데이터가 없는 경우가 많다. 따라서 학습된 representation이 downstream 작어에 사용될 수 있는 시계열에 대한 unsupervised representation learning에 대해 연구하는 것이 중요하다. Unsupervised Representation learning은 컴퓨터 비전과 자연어처리 분야에서 많이 연구되었지만 시계열 분석에는 아직 많이 연구되어 있지 않다. 최신 연구는 주로 contrastive learning fremework를 시계열 데이터에 대한 비지도 표현학습에 사용한다. 선행연구로는 아래...

Introduction Motivation 클라우드 제공자는 분석된 데이터 통계를 사용하여 다양한 응용 프로그램을 실행하기위한 컴퓨팅 리소스를 할당/할당해제 한다. 따라서 본 논문은 컴퓨팅 리소스를 효율적으로 할하기 위한 시계열 예측 프로세스를 향상시킬 수 있는 예측 모델을 식별하는 것을 목표로 한다. 이를 proactive auto-scaling mechanism이라고도 하는데, 과거의 리소스 활용도를 활용하여 그 다음 기간 동안 필요한 리소스 양을 추정한다. Contribution 이 논문의 contribution은 클라우드 서버를 통한 네트워크 트래픽을 예측하기 위해 LSTM을 사용해 시계열 데이터 예측 분...

Introduction 클라우드 컴퓨팅 서비스 제공업체는 최적의 자원 이용률로 데이터센터를 운영하고자 한다. 그렇게 하기 위해서는 가상 머신 이주를 통한 동적 자원 관리가 필수적이다. 호스트 머신에 여분의 자원이 충분하다면 자원 이용률이 일정 수준 이상인 가상머신에 호스트 머신의 자원을 추가로 할당할 수 있다. 하지만 호스트 머신에 여분의 자원이 부족한 경우, 가상머신 이주가 불가피하다. 가상머신을 이주하는 방법은 크게 2가지이다. 사전 예방적 (proactive) : 호스트 머신의 과다적재 상태를 예측하고 미리 이주 작업을 수행 사후 대응적 (reative) : 실제 과다적재된 호스트가 발생하면...