230405 / BSA05. 데이터 전처리

BSA05-Data-Transform.ipynb 필요한 패키지 import pandas as pd import numpy as np from pandas.api.types import CategoricalDtype import datetime 수치자료 → 범주형 자료 # 난수 값은 seed에 영향을 받음 (seed값을 지정해서 같은 결과가 나오도록) np.random.seed(316) 정규난수 = np.random.normal(size=1000) # 정규분포를 따르는 난수 1000개를 발생시킴 정규난수[0:10] # 기본적으로 array 형태로 저장됨 # 구간 5개로 나눔 (구간의 길이가 동일하도록) # (-3.118, -1.818], (-1.818, -0.525], (-0.525, 0.768], (0...

• format_list_bulleted Statistics/BSA
• · 2023. 4. 10.
• textsms

230329 / BSA04. 오디오 데이터 처리하기

BSA04_Audio.ipynb 필요한 패키지 import wave # 표준패키지 import os # 폴더 변경 등의 작업에 사용 import pandas as pd import numpy as np import matplotlib.pylab as plt import seaborn as sns import librosa import librosa.display from glob import glob from scipy.fft import fft, dct, ifft, idct 첫 번째 파일 읽고 재생하기 os.chdir("D:\Bigdata\RAVDESS\Actor_01") 음성파일 = "03-01-01-01-01-01-01.wav" 음성1 = wave.open("03-01-01-01-01-01-01.w..

• format_list_bulleted Statistics/BSA
• · 2023. 4. 2.
• textsms

230329 / BSA04. 다양한 형식의 데이터 파일 읽고 저장하기

BSA04_ReadWrite-DataFiles 필요한 패키지 import os import sys import pyspark import pandas as pd from pyspark.sql import SparkSession 환경 변수 설정 os.environ['JAVA_HOME'] = "C:\Java" os.environ['SPARK_HOME'] = "C:\spark-3.2.3" os.environ['PYLIB'] = "C:\spark-3.2.3\python\lib" sys.path.insert(0,os.environ['PYLIB']+"\py4j-0.10.9.5-src.zip") sys.path.insert(0,os.environ['PYLIB']+"\pyspark.zip") 스파크 세션 생성 pand..

• format_list_bulleted Statistics/BSA
• · 2023. 4. 2.
• textsms

230327 / BSA04. 다양한 형태의 자료 파일 작업 속도 비교

BSA04_ReadWrite-Speed 필요한 패키지 import numpy as np # NaN 처리할 때 많이 사용하는 라이브러리 import pandas as pd 데이터프레임 생성 pd.options.display.float_format = '{:,.4f}'.format # 소수점 넷째자리까지 표현하도록 설정 # random으로 100,000개 관측개체 * 10 변수 난수개수 = 100000 변수개수 = 10 values = np.random.random((난수개수,변수개수)) df = pd.DataFrame(values) # 데이터프레임 형태로 만듦 # 현재 df의 행과 열의 이름인 0~9, 0~99999는 숫자처럼 보이지만 문자열임 판다스 데이터프레임 관련 함수 info() : df에 대한 기..

• format_list_bulleted Statistics/BSA
• · 2023. 4. 2.
• textsms

230322 / BSA03. 데이터 분석 주요 과정 살펴보기

BSA03_Housing.ipynb 필요한 패키지 import pandas as pd import numpy as np # !pip install matplotlib import matplotlib.pyplot as plt # !pip install scikit-learn statsmodels from sklearn.model_selection import train_test_split from sklearn.preprocessing import OneHotEncoder # from sklearn.impute import SimpleImputer from sklearn.linear_model import LinearRegression # import statsmodels.api as sm 데이터 불러오기..

• format_list_bulleted Statistics/BSA
• · 2023. 3. 26.
• textsms

230320 / BSA03. 가상환경에서 주피터랩 설치하기, 주피터노트북에서 자동완성 기능 구현하기

주피터노트북에서 자동완성(autocomplete) 기능 구현 pip install jupyter # 확장프로그램을 pip를 이용해 설치 pip install jupyter_contrib_nbextensions # nbextension이 주피터노트북에서 보일 수 있도록 jupyter contrib nbextension install --user # 자동완성 설치 jupyter nbextension enable hinterland/hinterland 가상환경에서 주피터랩 설치 # d:\jupyterlab 경로에 jupyterlab이라는 이름의 가상환경 생성 mkdir d:\jupyterlab python -m venv d:\jupyterlab # 현재의 명령 프롬프트 세션에서 가상환경을 활성화 Scripts..

• format_list_bulleted Statistics/BSA
• · 2023. 3. 26.
• textsms