Euclidean algorithm

출처 : https://en.wikipedia.org/wiki/Euclidean_algorithm#/media/File:Euclidean_algorithm_1071_462.gif

wikipedia의 Euclidean Algorithm항목에 있는 gif animation인데 호제법을 이해하는데 이보다 뛰어난 그림을 본 적이 없다. 아주 직관적이다.

Pattern Recognition이

Clustering이랑 결국 같은건가?


그러니까..
3, 5, 7, ( ), 11 에서 괄호 안에 들어갈 숫자를 맞추는 작업이
clustering과 본질적으로 같은 문제인가?



Is Patter Recognition equal to clustering problem?
I mean, for example, if there is a series with an unknown number, is guessing that substantially equal to the problem of clustering?

R로 어떻게 비벼보려고 했는데..

결국 그냥 Matlab쓰기로..
심지어 거의 10만원을 들여 정품 사용자가 되었다.
ㅜㅜ

Anscombe's quartet

\( (x, y) \)형식인 11개의 점을 하나의 dataset으로 총 네개의 dataset인데, 각 데이터의 mean, var, cor, linear regression이 같다. graphical하게 보면 많이 다르고.
http://en.wikipedia.org/wiki/Anscombe's_quartet

Dijkstra, Anscombe발음

Edsger Wybe Dijkstra
위키피디아에 찾아보면 제일 첫줄에 발음이 나온다 ㅎㅎ
이 아저씨 full name도 아주 어렵다. 독일 사람들 이름이 이렇게 어려웠나..
‘에스커 위버 다익스트라’정도 된다. 에스 ‘커’ 는 그 ‘허’와 ‘커’ 중간쯤 되는 바람새는 발음.
2002년에 돌아가셨으니 당시에 굉장히 큰 뉴스였을텐데 전혀 몰랐다.

이걸 찾아보려한건 아니고 Anscombe발음 찾다가 저기까지 갔다. ‘앤스컴’정도로 읽는다.

Tupper's self-referential formula

처음 봤을 때 엄청 신기했던건데 youtube에 간단한 설명도 올라와서 링크

formula설명은 http://en.wikipedia.org/wiki/Tupper%27s_self-referential_formula
동영상은 https://www.youtube.com/watch?v=_s5RFgd59ao

Softmax action selection

reinforcement learning에서, \(\epsilon\)-greedy action의 단점은 가장 높은 Q값 이외에 나머지를 exploration할 때 각 Q값을 고려하지 않는다는 점이다. 그래서 나머지에도 가중치를 부여해서 확률에 따라 선택하게 하는 것이 softmax action selection.
 가장 common한 것은 Gibbs distribution.(=Boltzman distribution)
$$
\frac{ e^{Q_t (a) / \tau } }{\sum_{b=1}^n e^{Q_t (b) / \tau }}
$$
\(\tau\)는 양수이며 온도(temperature)라 불린다. \(\tau\)가 높으면 나머지가 equi-probable해지고 낮으면 각 선택지의 확률차이가 커진다. \(0\)에 가까워지면 \(\epsilon\)-greedy와 동일해진다.
 Softmax가 노리는 효과는 다른 방법으로도 달성될 수 있는데 \(Q_t (a)\)에 임의의 작은 값들을 더하는 것이다. (본인 주: 정확히 같은 효과라기보다 선택지들을 선택할 때 uniform distribution을 따르지 않도록 만든다는 뜻인듯)
 \(\epsilon\)-greedy와 softmax중에 무엇이 더 ‘좋은’ 방법인지는 알려져 있지 않고, task에 따라 다르다. 둘 다 변수를 하나만 조절해야 한다(\(\tau\) or \(\epsilon\))는 점은 같다.

원문은 이 책의 2.3챕터
Original text is in chapter 2.3 of this book.
Pdf file can be easily got from google search.

pursuit method는 softmax보다 더욱 강화된 형태. 예를들어, softmax를 이용해서 probability가 조정된 상태에서 다시 Q\(_{max}\)에 대해 확률값을 더 키워준다.