세상사즐겁고행복하게

보통 공부를 할 때 처음에는 해당 과목의 개념, 의미, 의도, 추구하고자하는 방향을 먼저 알고 그다음에 세세한 내용을 단락별로 이해를 해가야 보다 정확하게 기억과 이해를 할 수 있다고 생각합니다. 그래서 빅데이터에 대한 자료를 찾아 공부를 하면서 괜찮은 개념과 유의해야 할 점들이 좀 보입니다. 그중 아래의 내용이 눈이 들어오네요. 아주 좋은 내용으로 보입니다. 그래서 간략히 정리를 좀 하였습니다. (http://www.cnet.co.kr/view/22723) 빅데이터 분석은 일회성 프로젝트(One-Time Project)가 아니다. 빅데이터 분석은 한번 구축하면 되는 SI 프로젝트가 아니다. 빅데이터 분석은 장기간에 걸친 시간, 돈, 전문 지식의 투자로 생각해야 옳다. 다시 말하면, 오랜 기간 동안 데이..

데이터분석가가 되기 위해 계속 자료를 모으고 있는데 구글링을 하다보니 괜찮은 인터뷰기사가 있어서 소개해 드립니다. 전체 인터뷰내용은 아래 참고문헌 을 보시고요. 제 입장에서 괜찮은 부분을 발췌하였습니다. 인터뷰는 데이터 사이언티스트 전희원 님의 인터뷰입니다. 데이터 사이언티스트는 전산학을 기반으로 통계학, 인지심리학, 디자인 등 다양한 영역의 전문 지식을 갖춰야 한다고 들었습니다. 첫 직장이었던 검색엔진 개발업체에서 일할 때 머신러닝 학습이나 데이터 마이닝에 대해 공부해야 할 필요성을 절실히 느꼈어요. 그래서 고려대 대학원에 등록해 공부했는데 이게 큰 힘이 됐어요. 석사 논문을 쓸 때 마침, 야후!코리아에서 ‘하둡 기반의 빅데이터 분석을 통한 서비스 개선’ 프로젝트가 진행됐습니다. 이 때 경험을 반영해 ..

데이터마이닝에 있어서 여러 툴 중에 하둡(Hadoop-High-Availability Distributed Object-Oriented Platform) 이란 단어을 요즘들어 자주 접하게 됩니다. 그래서 이것이 무엇일까 궁금해서 여기저기 찾아보고 있는 중입니다. 그래서 제일먼저 봐야 할 것이 Wi-Ki 라서 이곳에서 정의를 좀 살펴보았습니다. 정의는 아파치 하둡(Apache Hadoop, High-Availability Distributed Object-Oriented Platform)은 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레임워크이다. 원래 너치의 분산 처리를 지원하기 위해 개발된 것으로, 아파치 루씬의 하부 프로젝트이..

데이터 마이닝 개념 SQL Server 2016 다른 버전 적용 대상: SQL Server 2016 데이터 마이닝은 큰 데이터 집합에서 동작 가능한 정보를 찾는 프로세스입니다. 데이터 마이닝에서는 수학적 분석을 사용하여 데이터에 있는 패턴 및 추세를 찾습니다. 일반적으로는 관계가 너무 복잡하거나 데이터가 너무 많아서 전통적인 데이터 탐색으로는 이러한 패턴을 찾을 수 없습니다. 이러한 패턴과 추세를 수집하여 데이터 마이닝 모델로 정의할 수 있습니다. 마이닝 모델은 다음과 같은 특정 시나리오에 적용할 수 있습니다. 예측: 서버 부하 또는 서버 가동 중지 시간을 예측 하는 추정 판매 위험 및 확률: 타겟 메일링을 위한 최적합 고객의 선택, 위험 시나리오를 위한 예상 손익 평형 포인트 결정, 진단 또는 기타 결..