Home

Backpropagation Neural network는 categorical classifier에 매우 강력하다. 하지만 크고 복잡한 neural network system에서는 어떻게 gradient를 계산할까. 우리가 이전에 보았던 loss function을 미분하고 graidient를 계산하는 방식은 neural network와 같은 매우 복잡한 모델에서 실현가능하지 못한다. 뿐만 아니라 모듈화 되어있지 않아 중간에 loss function을 바꿀 수도 없다. computer science 관점에서 data structure와 algorithms의 개념을 사용하여 위의 문제를 해겨하며 graident를 계...

Neural Networks Feature Transfoms Linear Classifier는 간단한 만큼, Geometric Viewpoint나 Visual Viepoint에서 확인할 수 있듯이 한계가 있다. 이러한 한계는 Feature Transform으로 어느정도 극복이 가능하지만 현실적으로 고차원의 데이터를 적절히 Feature Transfomr하기 위해서는 고려해야 할 것이 많다. 그래도 Feature Transform을 잘 이용하기만 하면 괜찮은 성능을 보여주어 Computer Vision분야에서 많이 쓰인다. Example of Feature Transforms Color Histogram ...

Optimization Gradient Numeric Gradient current w에 h라는 변화를 줬을 때 loss의 차이를 변화량으로 나눠서 gradient를 구한다. 그렇게 second dimension, third dimention … 들에 대해서 gradient를 계산한다. 이러한 방식을 Numeric Gradient라고 한다. 그러나 문제는 굉장히 slow하다는 것이다. larger neural network에서는 weight 매트릭스가 굉장히 크다. 이럴 경우 gradient를 계산하는데 numeric Gradient는 적절하지 않다. 또한 이렇게 계산된 gradient는 approxima...

Linear Classifier Linear Classifier는 단순한 구조이지만 Neural Network를 이루는 중요한 요소이다. Parametric Appproach Linear Classifier에서는 Input image x와 learnable parameter W가 사용된다. 1) Algebraic Viewpoint f(x,W) = Wx+b 이 함수의 output은 구분하고 싶은 category의 수 만큼의 class score이다. input image x는 column 형태로 stretch된다. 예를들어 2x2 형태의 이미지라면 4개의 열을 가진 column으로 stretch 된다....

Challenges : Semantic Gap 1. Viewpoint Variation 예를 들어 고양이를 관측한 위치(viewpoint variation)에 따라 컴퓨터에게 고양이는 상당히 다르게 인식된다. 2. Intraclass Variation 예를 들어 고양이의 종류(intraclass variation)에 따라 다르게 인식될 수 있다. 고양이의 종류가 다르더라도 cat이라고 구분해 낼 수 있어야 한다. cat이라는 형태는 같지만 pixel value는 모두 다르기 때문이다. 3. Fine-Grained Categories 예를 들어 같은 고양이 내에서 품종을 구분하고 싶을 때 Fine-grained...