Spark MLlib(Spark Machine Learning Library)
MLlib는 Spark SQL과 스파크 스트리밍(Spark Streaming)과 같이 스파크 내부의 서브 프로젝트다. 이름에서 알 수 있듯이 머신러닝을 위해 만들어졌다. 사실 머신러닝 프로그램은 매우 많고, 이미 상용 시장에서도 널리 활용되고 있다. 오픈소스만 나열하자면, 빅데이터용은 아니지만 가장 일반적인 분석 오픈소스인 R, 파이썬의 scikit-learn, 빅데이터용이고 하둡과 연계로 유명해진 머하웃, 최근 주목을 받고 있는 H20 등이 있다. 앞서 언급했듯이 여러 가지 분석툴이 있고, 특히 대용량 데이터 분석에서는 머하웃이 각광받고 있었다. 그런데 굳이 다시 스파크 서브 프로젝트로서 MLlib를 만든 이유는 무엇이고, 그 장점은 어떤것이 있을까? 대용량 분석이 가능한 머하웃과 비교해 보며 MLli..
