역시 사람은 기술이 있어야. NoSQL

 회사에서 분석 플랫폼과 언어를 바꾸려고 하고 있습니다. 기존에는 SAS라는 통계 패키지를 전적으로 의존했다면, 지금은 서로 다른 다양한 프로그래밍 언어와 솔루션을 도입했습니다. 3개의 서로 다른 팀이 각자의 툴을 선택했고, 제가 맡은 팀은 임팔라라는 것을 택했고 다른 한 팀은 하이브 그리고 다른 한 팀은 기존 툴을 계속 사용했습니다. 하이브를 선택한 팀은 스파크 엔진을 이용해서 잘 사용하고 있었지만, 저는 디지털 데이터를 분석하는데 속도가 안나와서 임팔라를 쓰고 있습니다. 다른 것은 몰라도 속도 하나만큼은 끝내주게 좋거든요. 다른 팀에서는 파이썬을 쓴다고는 하던데 진도가 안나가고 해서 각자 자기 방식으로 일을 하고 있었죠.

 저는 원래 R을 주력으로 사용하려고 했으나 시간이 흘러서 결국 주력은 임팔라로 가고 실제 모델링이나 분석할 때에만 파이썬을 쓰는 것을 생각하고 있습니다. 하이브에 비해서 이런저런 제약사항도 많고 변수 선언도 안되는(HUE 환경에서) 임팔라이기는 하지만, 정말 대규모 데이터를 쓰는 저로서는 이거 외에는 답이 없습니다. 그래서 같은 팀 과장님에게 임팔라 코딩을 가르치고 메타데이터까지 정리해서 혼자서 일을 할 수 있는 상태까지 올려놨습니다. SAS는 정말 힘들어하던 분이었는데 매일 임팔라로 코딩하고 자료 만지더니 이제는 혼자서도 그럭저럭 하더군요.

 오늘은 옆에 팀에서 자기들도 하둡 데이터를 써야 한다면서 도움을 요청하더군요. 하이브와 임팔라가 있다고 했는데, 우리 팀과 같은 임팔라로 가고 자기들 가르쳐 달라고 하더군요. 이제 전산개발부도 중요 비지니스 로직에서 임팔라를 쓰고 있고 분석용 코드를 기반으로 운용할 코드를 짠다고 하니까, 그곳도 조만간 임팔라로 합쳐지지 않을까 생각됩니다. 원래는 파이썬을 쓰려고 했으나 개발환경이 계속 지연되면서 임시 대체제로 사용했던 임팔라가 이렇게 될줄은 몰랐습니다. 임팔라가 책도 없고 해서 이북으로 사서 보고 있었는데, 이 회사에서는 하이브가 아닌 다른 툴을 쓰는 경우는 없었으니 말입니다.

 저와 경쟁 구도에 있는 분들은 닥치고 하이브였는데, 그분들도 기본 환경만 구성해 놓으면 가져다 쓰겠다로 바뀌었더군요. 하아, 처음에 내가 하이브 물어볼때 책도 안빌려주고 코드도 공유 안하던 사람들이 저런 말을 하니 재미있더군요. 어차피 인터넷 뒤져보면 다 나오는 것을 자기만의 엑셀파일에다 숨겨서 써놓는다고 해서 무슨 대수인건지. 예전에 느낀게 내게 기본적인 실력과 이해력 그리고 구글이 있다면 왠만한 것들은 습득이 가능합니다. 그리고 남들과 공유 안하고 혼자서만 꽁꽁 싸매고 있는 바보들은 그냥 실력으로 밟아주면 됩니다.

 저 팀장인데, 낮에는 회의 들어가고 문서 승인하고 코드 리뷰하는데 짬짬이 코딩하면서 배웠습니다. 타팀에서 만든 테이블 문서 정리도 안되어 있어서 하나하나 다 빈도치 떠보면서 일했는데, 그러면서 데이터 딕셔너리 왠만큼 만들어 놓으니 팀원들이 그거 보고 이해하고 제가 짜놓은 초벌 코드 가져다가 자기들이 변형하면서 일합니다. 변화를 제가 주도하는 편이고 이번주에는 전산부와 코드 리뷰도 있네요. 이렇게 빨리 회사에서 임팔라가 퍼져서 많은 분들이 좀더 빨리 쾌적하게 일했으면 좋겠습니다.






이 이글루를 링크한 사람 (블랙)

137

통계 위젯 (블랙)

4961
290
480540

통계 위젯 (화이트)

4961
290
480540

kjpark