티스토리

내가 보는 노트

검색하기

블로그 홈

내가 보는 노트

mylittlenotepad.tistory.com/m

freshman to senior developer

구독자: 1

방명록 방문하기

주요 글 목록

현실세계에서의 데이터분석 질문 예시 웃기지만 슬픈 현실 속 사례들입니다. 현업에서에 쉽게 자주 접할 수 있는 데이터 분석 현실의 상황에 대해 다루어보도록 하겠습니다. 데이터 분석 과제의 단게는 아래처럼 질문이 주어지면, 문제를 정의한 뒤 데이터를 수집하고 그 데이터를 전처리하고 정리하고 분석한뒤, 결과 리포트를 작성하는 수순입니다. 요구사항 질문 예시 "아이폰 고객은 왜 갤럭시 고객보다 충성도가 높은지 분석해봐~" "AI를 활용해서 생산공정의 이상을 조기 탐지하고 비용을 줄여봐~" "타겟 마케팅을 하기위해 누구한테 프로모션을 해야하는지 알려줘봐~" ...라고 질문을 다 듣기도/이해하기도/생각하기도 전에 프로젝트가 시작됩니다... ㅠㅠ 문제정의 > 무엇을 분석할지 각자 생각이 모두 다르다(솔직히 아무도 모른다) > 무엇을 분석할지 모르지만 .. 공감수 2 댓글수 4 2024. 1. 7.
올바른 가설 설정 조건 3가지 (양치기 소년 예시) 분석 과제를 진행할 때, 1단계 문제 정의는 즉 가설을 어떻게 설정하느냐다. 이 1단계가 매우 중요한게, 문제 정의를 어떻게 하느냐에 따라서 필요 데이터나 x, y, f()가 바뀔 수도 있다. (캐글 예제 풀기에서나 1단계가 명확하지, 현실에서는 1단계를 구체화 하는 것도 어려울 수 있다.) 문제 정의가 제대로 되어 있지 않다면 2단계 3단계는 제대로 이행 될 수 없다. 양치기 소년을 예로 들겠다. 초기에 주어진 문제는 다음과 같다. 대립 가설 : 나의 주장(B): 양치기들은 거짓말쟁이다! 귀무 가설 : 대중 주장(A): 양치기들은 거짓말쟁이가 아니다! 위와 같이 애매모호한 가설로는 이후 데이터/통계 분석이 진행되기 힘들다. 보다 제대로 된 문제 정의를 위하여, 올바른 가설 설정을 위한 3가지를 설명하겠.. 공감수 0 댓글수 1 2023. 12. 27.
기초 통계 용어 설명 Part 2 (유의확률, 유의수준, p-value, 가설 검정 채택 등) 시계열 분석 알고리즘을 공부하다보니, 가설 검정 및 기초 통계 지식이 탄탄해야하는 것을 느꼈다. 그래서 jargon free language로 공부 내용을 정리하고자 한다. 지난 글에서는 모집단, 표본, 샘플, 중심극한정리를 다루었다. 이번 글에서는 유의확률 및 유의수준 및 가설 검정을 어떻게 결론 짓는지에 대해 다루겠다. 양치기 소년 이야기를 예로 들겠다. 나의주장(B): 현재 대한민국에 있는 양치기들은 일반인 대비 거짓말을 많이 한다! 대중주장(A): 현재 대한민국에 있는 양치기들은 일반인 대비 거짓말을 많이 하지 않는다! 대립 가설 vs 귀무 가설 가설(Hypothesis)이란 아직 검증되지 않은 것에 대한 답을 찾기 위한 예측 방법, 제한된 증거에 기반한 아이디어 또는 제안을 말한다. 그래서 이미.. 공감수 0 댓글수 0 2023. 12. 26.
기초 통계 용어 설명 Part 1 (모집단, 표본, 샘플, 중심극한정리 등) 데이터분석을 배우려면 기초 통계 지식이 아주아주 탄탄해야한다. 평균이란 단어는 누구에게나 익숙하지만 그외 통계 용어는 생소할 수도 있다. 그래서 jargon free language로 공부 내용을 정리하고자 한다. 모집단, 표본, 샘플, 중심극한 정리 부터. 차근 차근 알아가보자. 다음글에서는 유의확률 및 유의수준 및 가설 검정을 어떻게 결론 짓는지에 대해 다루겠다. 양치기 소년 이야기를 예로 들겠다. 나의주장(B): 현재 대한민국에 있는 양치기들은 일반인 대비 거짓말을 많이 한다! 대중주장(A): 현재 대한민국에 있는 양치기들은 일반인 대비 거짓말을 많이 하지 않는다! 모집단 VS 표본 전체 일부 대상 모집단 표본 특성 모수 통계량 조사 전수조사 표본조사 모집단(Population): 연구(관심) 대상.. 공감수 1 댓글수 0 2023. 12. 25.
데이터 분석 준비 (4) 문제 정의, 가설 검정 과정 패스트 캠퍼스 김경원 강사님의 강의를 주로 참고하여 정리한 노트입니다. 복습: 이전 글(현실적인 데이터분석 단계별 목적) 에서 데이터 분석을 위와 같이 3단계로 나누었었다. 1단계: 문제정의 2단계: 해당 문제 풀기 3단계: 평가 및 검증. 실제 많은 데이터 분석 강의에서 진행하는 실습은 대부분 2단계만 다룬다. 이미 명확히 정의된 문제가 주어지며, 무엇을 풀어나가야 할지 지시가 내려진다. (예: 대학과제, 캐글) 하지만 현실세계에서는 1단계 및 3단계가 만만치 않으며, 이것이 제대로 이행이 되어야 2단계의 성과가 날 수 있다는 사실을 잊지 말자. 문제 정의 및 의사 결정을 위한 실험 설정 실험 설정이 왜 필요한가? 대부분의 분석은 "비교(A/B Test)"를 기반으로 하며 (가설 검정도 A/B 테스트를.. 공감수 0 댓글수 0 2023. 12. 25.
데이터 분석 준비 (3) 통계적 언어 이해, 데이터의 기초 통계량 (중심/변동/형태/관계 ) 예전글: 데이터 분석 준비 (1) 현실적인 데이터분석 단계별 목적 데이터 분석 단계별 목적 이해 하기 우리가 **데이터 분석 준비 하기**에서 제일 먼저 알아야하는 것은 데이터 분석을 할 때 필요한 것이 무엇인지 아는 것부터다. 하나 하나 꼼꼼하게. 왜냐면, mylittlenotepad.tistory.com 데이터 분석 준비 (2) - 데이터 변수 용어 이해. 데이터의 분류 (횡단면, 시계열, 패널, 질적, 양적 예전 글: 데이터 분석 준비 (1) 현실적인 데이터분석 단계별 목적 데이터 분석 단계별 목적 이해 하기 우리가 **데이터 분석 준비 하기**에서 제일 먼저 알아야하는 것은 데이터 분석을 할 때 필요 mylittlenotepad.tistory.com 데이터의 기초 통계량 (Descriptive S.. 공감수 0 댓글수 2 2023. 12. 23.
데이터 분석 준비 (2) 데이터 변수 용어 이해, 데이터의 분류 (횡단면, 시계열, 패널, 질적, 양적 등) 예전 글: 데이터 분석 준비 (1) 현실적인 데이터분석 단계별 목적 데이터 분석 단계별 목적 이해 하기 우리가 **데이터 분석 준비 하기**에서 제일 먼저 알아야하는 것은 데이터 분석을 할 때 필요한 것이 무엇인지 아는 것부터다. 하나 하나 꼼꼼하게. 왜냐면, mylittlenotepad.tistory.com 데이터 의사 결정을 위한 수학/통계적 언어 이해, 데이터의 분류 (횡단면, 시계열, 패널, 질적, 양적 등 데이터 변수 용어) 이해하기. 데이터 관점에 따른 분류 횡단면 데이터 Cross Sectional 시계열 데이터 Time Series 시계열 횡단면 Pooled Cross Sectional 패널 데이터 Panel 정의 특정 시점 + 다수 독립변수 다수 시점 + 특정 독립 변수 다수 시점 + 다.. 공감수 0 댓글수 2 2023. 12. 23.
데이터 분석 준비 (1) 현실적인 데이터분석 단계별 목적 데이터 분석 단계별 목적 이해 하기 우리가 **데이터 분석 준비 하기**에서 제일 먼저 알아야하는 것은 데이터 분석을 할 때 필요한 것이 무엇인지 아는 것부터다. 하나 하나 꼼꼼하게. 왜냐면, 잘 모르고 시작하면, 데이터 분석에 필요한 것들은 굉장히 많고, 도대체 어느것을 얼마나 어디까지 배워야하는지 몰라 이것 저것 하나 하나 다 배우려 하다 끝이 안날 수도 있기 때문이다. 그렇기 때문에 이번 글에서는 아래 3가지에 대해서 다루겠다. 분석 사이클에 대하여 각 단계마다 어떠한 용어들이 쓰이는지? 그리고 결과를 어떻게 해석해야하는지? 데이터 분석 사이클 5단계 (이상적인) 미리 말하지만 아래는 아주 이상적인 데이터 분석 과제 흐름이다. 데이터수집: 소스별 데이터 추출 및 저장(Loading) 데이터전처리: .. 공감수 0 댓글수 0 2023. 12. 23.
파이썬 시각화 - Python MatPlotlib (2) ■ 막대 그래프 그리기 ■ 서브 플롯 보통 subplot(pos)식으로 많이 쓴다. 현재 figure(도화지)에 subplot을 추가하고 axes를 반환한다. ■ 원 파이 그래프 공감수 0 댓글수 0 2021. 4. 20.
파이썬 시각화 - Python MatPlotlib (1) #파이썬 #Python #시각화 #Visualization ■ 기본 정보 - Matplotlib은 John D. Hunter가 개발한 그래프 그리기 라이브러리다. - Python에 적당한 그래프 패키지가 없어 2003년에 직접 개발했다고 한다. - MATLAB처럼 동작하도록 하는 함수들의 모임이다. (실제 멧랩을 자주 써본 자 입장에서, 굉장히 유사하다고 인정) - Matplotlib은 별도가 설치가 필요하다. cmd창에 pip install matplotlib을 선언하자. - Matplotlib은 다음과 같은 구문으로 불러온다. import matplotlib.pyplot as plt - 자동으로 figure와 axis를 생성하므로 간단하게 정의된 플롯을 얻을 수 있다. ■ 플롯 구성 요소 - figu.. 공감수 0 댓글수 0 2021. 4. 20.
넘파이 : ndarray 넘파이 배열의 type을 찍어보면 numpy.ndarray라고 뜬다. ndarray는 n-dimensional array란 뜻이다. ■ ndarray의 구조 1) Raw Data Array (data buffer) - item의 크기를 변경할 수 없는 C/Fortran의 배열 2) Header (Raw Data Array 정보, PyArrayObject라는 C의 구조체) - ndim, shape, size, dtype 등 배열에 대한 정보들 - ndarray의 속성으로 조회 가능하다. 속성이기 때문에 괄호가 붙지 않는다. 예: A.ndim, A.shape, A.dtype. ndim: 차원 shape: 크기를 튜플로 반환 dtype: 데이터 타입 ※ AXIS ndarray의 차원이 큰 부분이 N축이다. 예.. 공감수 0 댓글수 0 2021. 4. 19.
넘파이 Numpy 기본 개념 NumPy란? Numerical Python. 넘파이라고 발음하면 된다. 파이썬 내장 모듈이 아닌 외부 모듈이라서 import를 해주어야 한다. (파이썬이 다 그렇듯, 오픈 소스 라이브러리다) 과학 기술 분야 및 Python 수치 데이터 작업에서 널리 사용된다. 수학, 논리, 통계, 선형대수 등의 복잡한 계산식이 아주 빠르다. (배열 전용 다양한 함수 지원) ndarray 객체 : n-dimensional array란 뜻이다. 동일한 데이터를 가치는 배열이다. - 설치하기: cmd창에 pip install --upgrade --use numpy라고 선언 - 모듈 부르기: 코드 창에: import numpy as np라고 선언 공감수 0 댓글수 0 2021. 4. 19.
파이썬 웹크롤링 1 (urllib, urlopen, 주식 정보 조회하기, 정규식 사용) ■ 크롤링(Crawling)이란? 웹크롤링이란 말은 한 번 쯤 들어보았을 것이다. 페이지를 그대로 가져와 데이터를 추출해 내는 행위다. 스크레이핑(scraping)이라고도 불린다. 파이썬(Python)은 이 분야의 선두주자인데, 비전공자들인 인문학이나 통계 분야의 종사자들이 쓰기 쉽도록 라이브러리(예: 뷰티풀 숲 Beautiful Soup)들이 잘 발달되어있다. ■ 크롤링(Crawling) 쓰기 예? 30개의 회사의 주식 정보를 정리해보고 싶다. 네이버 금융 페이지에서 회사 이름을 검색하면 정보가 뜨긴 하지만, 몇 십개 회사 이름을 다 검색해가기엔 너무 시간이 많이 걸린다. 검색 창을 마우스로 클릭, 키보드로 회사 이름 치기, 검색 버튼 클릭, 마우스를 스크롤하며 정보 조회 손목 터널 증후군이라도 있는 .. 공감수 0 댓글수 0 2021. 4. 18.
정규식 정규표현식 Regular Expression (parsing 파싱할 때 꼭 필요) Regular Expression = 정규식 = 정규표현식 (줄여서 regex regexp) 일종의 형식 언어로, 주로 문자열(=string) 관련 프로그래밍에 많이 사용된다. 프로그램 작성 특성상 일정한 규칙을 가진 텍스트 문자열을 사용하는 경우가 많은데 (특히 웹 프로그래밍), 이럴 때 정규 표현식을 사용한다. 특히 컴파일러 파싱에서는 이 정규표현식이 필수다. 잘 알아두면 문자열을 다루는 데 대단히 유용하기 때문에 C를 비롯한 여러 프로그래밍 언어에서 이 정규 표현식을 지원한다. 정규식을 안 쓸 경우 문자열 처리 코드 자체가 대단히 복잡해진다. (출처 나무 위키) 이 글은 파이썬(Python)으로 웹에 있는 내용을 긁어와 검색할 때, 정규식을 사용하는 방법에 대해 다루도록 하겠다. 원래대로라면, st.. 공감수 0 댓글수 0 2021. 4. 18.
Beautiful Soup 파이썬 xml 읽기 xml parsing XML 파일이란? eXtensible Markup Language의 약어로 다목적 마크업 언어. 태그 등을 이용하여 데이터의 구조를 기술하는 언어의 한 가지. 가장 친숙하고 흔하게 접할 수 있는 비슷한 마크업 언어로 HTML이 있음. 일반 텍스트 파일이랑 다르게 태그가 달려 있으며, 태그의 구조/레벨에 따라 인덴트도 되어있다. XML 파일을 어떻게 읽을까? 일단 XML과 JSON처럼 특수 형태의 파일 읽기의 기본 과정은 같다. 1. open과 read 함수를 이용하여 일단 파일을 string으로 읽어오기 2. 전용 모듈로 한 번 가공해주기 3. 원하는 정보 추출하기 ■ 1. 파일을 스트링으로 읽어오기 여기 books.xml파일이 있다. 먼저 텍스트 파일 읽었을 때처럼 간단히 read, readline, .. 공감수 0 댓글수 0 2021. 4. 11.
파이썬 파일 읽고 쓰기 (read, write, append) [1] 기본 규칙 파이썬은 파일 처리를 위해 "open"이라는 키워드를 사용한다. 여기서 말하는 파일 처리란, 파일을 읽고 쓰는 행위를 말한다. fh = open(, ) fh1 = open('lecture_note_1.txt', 'w') #파일 쓰기 write 예 fh2 = open('lecture_note_2.txt', 'r') #파일 읽기 read 예 □ 파일핸들러 fh: 파일 핸들러 변수명. 관례상 변수명은 f, fh, fr, fw 등이 흔히 쓰인다. 파일 핸들러가 무엇이냐면 파일을 다루어주는 컨트롤러라고 보면 된다. 파일 핸들러를 생성한 후에 ( fh = open('mytext.txt','r') 라고 외치기 ) 이 컨트롤러를 이용하여 파일 처리를 해나갈 것이다. □ 파일경로: 파일이름이 아닌 파일.. 공감수 0 댓글수 0 2021. 4. 5.
File Handling Overview □ 파일 : 컴퓨터를 실행시킬 때 가장 기본이 되는 단위. (정보를 저장하는 논리적 단위) 파일의 이름과 확장자로 식별 실행, 쓰기, 읽기 등을 할 수 있음 □ 파일 실행 : 아이콘을 더.블.클.릭. (당연 ^^;;) = 파일의 실행을 명령하는 것 □ 파일의 이해: 파일은 (파일) + (파일을 담고 있는 위치)로 나눌 수 있음 ※ 디렉토리(Directory) : 파일의 위치 폴더. 파일과 다른 디렉토리를 포함 가능. 텍스트로 되어있다고 해서 무조건 Text File이 아님 (어감에 주의하자. 워드 파일은 텍스트 파일이 아니니까) 컴퓨터는 Text 파일을 처리하기 위해 Binary 파일로 변환시킴 (예: pyc파일) Text파일은 메모장으로 읽고, Binary파일은 그럼 어떻게 읽냐? → 전용 프로그램이 .. 공감수 0 댓글수 0 2021. 4. 5.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.