Search result

[빅데이터]컴포넌트와 컨테이너의 정의

컴포넌트의 정의 객체지향 프로그램 내 재사용(리소스를 재활용) 가능한 프로그램 덩어리 [컴포넌트] 재사용 가능한 프로그램 덩어리란?동일한 경로나 다른 경로(컴퓨터나 네트워크 상) 에서 애플리케이션 형태로 다...

빅데이터

[빅데이터] 특징량 엔지니어링

특징량을 직역하자면, 데이터 중 수치로 된 관측된 값의 대표적 특징이라고 이해하는게 좋은 것 같다. 데이터를 머신러닝 알고리즘에서 사용할 수 있게 변환하는 것 데이터를 기반으로 머신러닝 알고리즘을 예측할...

빅데이터

[파이썬] 내장함수 isinstance

데이터의 타입을 확인하는 함수 : isinstance() 확인하는 데이터의 값,확인하는 데이터의 타입을 파라미터로 전달 isinstance(instance,classtype) 예제 코드) 0

빅데이터

[파이썬] 컴프리헨션 구문

리스트, 딕셔너리의 키/값 페어, 집합 처리를 간단하게 만드는 함수를 소개한다.파이썬에서는 컴프리헨션 이라는 특별한 구문을 사용해 위의 타입들을 간결하게 이터레이션 하며 데이터 구조를 생성할 수 있다. 기존...

빅데이터

아파치 스파크란 무엇인가?

범용적이면서도 빠른 속도로 작업을 수행할 수 있도록 설계한 클러스터용 연산 플랫폼 혹시 어려운 용어가 낯선 분들에게 직역하자면, 데이터 분석이나 처리를 할 때 다른 언어 환경을 통합적으로 구성해 데이터 처...

빅데이터

아파치 카프카를 구성하는 주요 요소

카프카 클러스터(Kafaka Cluster): 여러 대의 브로커를 구성한 클러스터를 의미 브로커(broker): 카프카가 설치된 서버 또는 노드 주키퍼(Zookeeper) : 카프카의 메타데이터 관리 및 브로커의 정상 상태를 점검 프로...

빅데이터

AWS 아마존 클라우드 서비스 구성

AWS란? AWS(아마존 웹 서비스)는 클라우드 컴퓨터 서비스의 하나이다. 클라우드 컴퓨터 서비스란 서버 및 네트워크 등을 인터넷으로 빌려주는 서비스를 말한다. AWS는 다양한 서비스( 컴퓨팅,스토리지,데이터베이스,...

빅데이터

데이터 리터러시란? 무엇인가?

데이터란 무엇인가? 데이터에는 크게 정형 데이터와 비정형 데이터로 분류된다. 정형 데이터 : 문자 또는 숫자가 정해진 규칙에 맞게 구조화된 데이터 비정형 데이터 : 구조화된 데이터가 아니고 정리되지 않은 데이...

빅데이터

데이터 분석 관련 분야 살펴보기

데이터 분석의 숲에서 길을 잃지 않으려면 관련 분야에 어떤 것들이 있는지 이해하고자신이 집중할 곳을 명확히 해야한다. 데이터를 이용해 현상을 해석하고 변수 간의 관계를 검증하거나 미래를 예측하는 모형을 만...

빅데이터

관계형 데이터 베이스(RDBMS)/ 비관계형 데이터 베이스(NOSQL)

관계형 데이터 베이스(RDBMS , SQL) 키와 값들을 테이블 화 시킨 것 서비스 할 데이터에 기반하여 모델링한다. 데이터의 분류/정렬/탐색 속도가 빠르다. 데이터의 무결성(정상인 데이터를 유지하는것) 보장 ​ 정의된...

빅데이터