티스토리

IT devops

검색하기

블로그 홈

IT devops

riverzayden.tistory.com/m

흰곰곰 님의 블로그입니다.

구독자: 3

방명록 방문하기

주요 글 목록

python- 파이썬에서 크레온 API 사용 #3. 특정종목 데이터 추출 알고 있는 방법은 2가지 입니다. 하루씩 추출해서 보는 방법 분단위로 추출해서 보는 방법 ( 분은 사용자가 지정 가능하게 만들었음.) 사용하는 함수는 다음과 같습니다. import win32com.client import time import shutil import os import codecs import pandas as pd import numpy as np from datetime import datetime from tqdm import tqdm # from pywinauto import application # from pywinauto import timings class CREON(object): """대신증권 크레온 API""" def __init__(self): # 연결 여부 체크 s.. 공감수 0 댓글수 0 2020. 5. 21.
python- 파이썬에서 크레온 API 사용 #2. 종목코드조회 종목을 조회하기 위해서는 다음과 같은 선제 사항이 되어야 합니다. 크레온 플러스 관리자 모드로 접속 파이썬 32비트 주피터 노트북 관리자로 접속 주피터 노트북 32비트 파일 만들기 아래 나오는 코드들은 주피터 노트북 위에서 작업을 진행합니다. 다음 파이썬 코드는 크레온이 연결되었는지 확인합니다. import ctypes import sys import win32com.client import pandas as pd # PLUS 공통 OBJECT g_objCodeMgr = win32com.client.Dispatch('CpUtil.CpCodeMgr') g_objCpStatus = win32com.client.Dispatch('CpUtil.CpCybos') g_objCpTrade.. 공감수 0 댓글수 0 2020. 5. 20.
python- 파이썬에서 크레온 API (대신증권) 사용하기 # 1.설치 [ 가장 중요 순서 ] 1. 아나콘다 설치 2. Python 32bit 설치하기 3. 크레온 설치 4. 위 두개 모두 관리자모드로 실행하기 ( 안 할경우 사용안됨 ) 1. 아나콘다 설치 아나콘다 사이트 아나콘다는 윈도우에서 할 경우 아래 사진과 같이 64bit 선택하여 설치 설치 확인은 다음과 같이 하면 됩니다. 2. Python32비트로 설치 ( 가상환경을 만드는 것 ) 아래 명령어를 이용하면 다음과 같고, y/n 이 나오면 y 입력 시간 오래걸리니 차분히 기다리면 됨 set CONDA_FORCE_32BIT=1 conda create -n py37_32_test python=3.7 anaconda 아래명령어로 접속하여 확인 conda activate py37_32_test 3. 크레온 설치 대신증권 홈.. 공감수 0 댓글수 0 2020. 5. 20.
Ubuntu 18.04 - Windows 원격 사용하기 순서 1) remmina 어플 사용2) RDP에서 플러스 버튼 클릭3) Server , Username, User_password 를 입력 4) Color Depth 를 낮은 것으로 사용하면됨 ( 오류가 발생한다면 ) 공감수 0 댓글수 0 2019. 10. 11.
Ubuntu 18.04 - 한글 키보드 셋팅 iBus 기반 한글 키보드 설치Ubuntu 18.04 LTS 버전 기준으로 한글 키보드를 설치하는 방법입니다. Ubuntu 18.04에서 한글어 입력기는 다시 ibus가 되었기 때문에 14.04나 16.04 때와는 다릅니다.메뉴에서 Language Support 실행 → 필요한 파일들 자동으로 설치 됨메뉴에서 Region & Language 실행Input Sources 항목에서 기본으로 잡혀있던 English는 삭제하고, Korean(Hangul) 선택아래에 있는 설정 버튼 클릭Hangul Toggle Key의 Add 버튼을 누르고 한글 키 입력(ALT_R 로 표시될 것임) UIM 기반 한글 설정한글 설정Ubuntu 18.04 LTS의 한글 입력기는 iBus로 되어 있습니다. 하지만, Sublime Te.. 공감수 0 댓글수 0 2019. 10. 11.
[Python]Flag parser 사용법 공감수 0 댓글수 0 2019. 10. 11.
Ubuntu 18.04 - libSM.so.6 문제 해결법 발생에러 ImportError: libSM.so.6: cannot open shared object file: No such file or directory 해결 xxxxxxxxxxapt-get updateapt-get install -y libsm6 libxext6 libxrender-devpip install opencv-python 공감수 1 댓글수 0 2019. 10. 11.
Docker - Tensorflow 1.8-gpu 셋팅 1. Docker Pullxdocker pull tensorflow/tensorflow:1.8.0-gpu-py3 // 태그명이 1.8.0-gpu-py3인 텐서플로우 이미지 다운로드docker images 2. Docker Run xxxxxxxxxxnvidia-docker run -it \-p 8888:8888 -p 6006:6006 \--name ailab-yurim \-v /home/zayden/Desktop/test_garbage:/notebooks \-e PASSWORD="0000" \--restart always \tensorflow/tensorflow:1.8.0-gpu-py33. Docker Commit xxxxxxxxxxdocker commit ailab-yurim riverzayden/a.. 공감수 0 댓글수 0 2019. 10. 11.
Ubuntu 18.04 - git 셋팅 git 세팅 사용법xxxxxxxxxxsudo apt-get install git-coresudo git config --global user.name "본인 계정 입력"sudo git config --global user.email "본인 메일 주소 입력"sudo git config --global color.ui "auto"git 사용해보기sudo git clone 자신의git레퍼지토리 git initsudo git remote add origin 자신의git레퍼지토리 sudo git fetch origincd 자신의git레퍼지토리 sudo git add -Asudo git commit -m "system change"git push -u origin master 공감수 0 댓글수 0 2019. 10. 9.
Docker_Postgres 설치 Docker Postgresql 출처xhttps://judo0179.tistory.com/48Postgresql 받아오기 xxxxxxxxxxdocker pull postgresPostgresql 실행해보기xxxxxxxxxxdocker run -d -p 5432:5432 --name pgsql -e POSTGRES_PASSWORD=mypassword postgresPostgresql 마운트시키고 실행해보기 ( 추후에 껏다켜도 테이블들이 남아있게 하기 위함.)xxxxxxxxxxdocker volume create pgdatadocker run -d -p 5432:5432 --name pgsql -it --rm -v pgdata:/var/lib/postgresql/data -e POSTGRES_PASSW.. 공감수 0 댓글수 0 2019. 10. 9.
Ubuntu 18.04 - Anaconda 설치 1. Download https://www.anaconda.com/distribution/#download-section 2. 권한 설정 및 설치chmod +x Anaconda3-2019.07-Linux-x86_64.sh./Anaconda3-2019.07-Linux-x86_64.sh 3. zsh쉘이라면 ( vim ~/.zshrc 추가 )xxxxxxxxxxexport PATH=$HOME/anaconda3/bin:$PATHxxxxxxxxxxsource ~/.zshrc 4. 가상환경 생성 xxxxxxxxxxconda create -n python36_serving python=3.6 --y 5. 가상환경 접속xxxxxxxxxxsource activate python36_serving 6. 가상환경 정보 확인x.. 공감수 0 댓글수 0 2019. 10. 9.
ubuntu 18.04 - oh my zsh 설치 Oh My Zsh 설치리눅스에서 기본으로 제공되는 bash도 사용하기 좋지만 저는 git과의 연동이나 대소문자 구분 등의 다양한 편의 기능이 있는 zsh을 주로 사용합니다. 이 글에서는 ubuntu 18.04에서 oh-my-zsh을 설치하는 방법을 알아봅니다. Oh-My-Zsh페이지를 참고하였습니다. https://github.com/robbyrussell/oh-my-zsh시스템 기본 프로그램 설치zshOh-my-zsh을 설치하기에 앞서 기본이 되는 zsh을 설치합니다.xxxxxxxxxxsudo apt install -y zshwget or curl자동 설치 스크립트를 받기 위해서는 둘 중 하나가 필요합니다. 18.04에는 wget이 설치 되어있기 때문에 curl을 설치 하지 않아도 됩니다.xxxxxxx.. 공감수 0 댓글수 0 2019. 10. 9.
Python 패키지 내려받는 방법 1. PIPpip freeze > requirements.txt 2. Condaxxxxxxxxxxconda list --export > requirements.txt 공감수 0 댓글수 0 2019. 10. 9.
ast 함수 사용 String을 dict or list로 변환ximport aststr_dict = "{'a': 3, 'b': 5}"print (type(str_dict)) # convert_dict = ast.literal_eval(str_dict)print (type(convert_dict)) # print (convert_dict['a']) # 3 공감수 0 댓글수 0 2019. 10. 9.
R ( data.table ) aggregation 사용 R ( data.table ) aggregation 사용 xlibrary(data.table);library(reshape2)t = data.frame(col1=c('AAA','AAA','AAA','BBB','BBB'), col2=c('aaa','bbb','ccc','ddd','eee'))tt1 공감수 0 댓글수 0 2019. 10. 9.
String Replace 1. replace(old, new, count) -> replace("찾을값", "바꿀값", 바꿀횟수)xtext = '123,456,789,999'replaceAll= text.replace(",","")replace_t1 = text.replace(",", "",1)replace_t2 = text.replace(",", "",2)replace_t3 = text.replace(",", "",3)print("결과 :")print(replaceAll)print(replace_t1)print(replace_t2)print(replace_t3)'''결과 : 123456789999123456,789,999123456789,999123456789999''' 2. 우측부터 변경법 xxxxxxxxxxdef re.. 공감수 0 댓글수 0 2019. 10. 9.
리스트안에서 서로 대응 튜플 만들기 ( 중복 없이) import itertools as itprint(list (range(groups.size)) )'''[0,1,2,3,4]'''combs = it.combinations(range(groups.size), 2)list(combs)'''[(0,1), (0,2), (0,3), (0,4), (1,2), (1,3), (1,4), (2,3), (2,4), (3,4)''' 공감수 0 댓글수 0 2019. 10. 9.
Collections 패키지 사용법 Listx# collections.Counter 예제 (1)# list를 입력값으로 함import collectionslst = ['aa', 'cc', 'dd', 'aa', 'bb', 'ee']print(collections.Counter(lst))'''결과Counter({'aa': 2, 'cc': 1, 'dd': 1, 'bb': 1, 'ee': 1})''' Dictionary - 요소의 갯수가 많은 것 부터 출력해준다.xxxxxxxxxx# collections.Counter 예제 (2)# dictionary를 입력값으로 함import collectionsprint(collections.Counter({'가': 3, '나': 2, '다': 4}))'''결과Counter({'다': 4, '가': 3,.. 공감수 0 댓글수 0 2019. 10. 9.
anova 분석 후에 주로 사용하는 - 사후검정 개념 설명 주로 anova 분석을 한 후에 사후분석을 진행하는 경우가 많습니다. 아래는 사후분석 방법을 정리하였습니다. 종류는 아래보다 더많을 수 있고, 제가 조사하고 아는선에서만 정리하였습니다. 1. 사후분석 - 사용 목적 ANOVA 분석 결과가 통계적으로 유의하다는 결과를 얻었을 경우 그것은 집단별로 차이가 있다는것까지는 도출가능하지만, 어떤 집단간에 차이가 있는지는 알려주지 않습니다. N개의의 집단 중 어떤집단들간에 값이 차이가 있는지를 추가적으로 살펴보기 위해서 실시하는것이 사후 분석입니다 t테스트를 여러번해서 할 수도 있지만, 비교대상이 증가할 수록 신뢰수준이 낮아지는 문제이다. 예를들면 하나의 집단에 대해서 차이가 있는지를 볼때에는 신뢰수준이 95%이지만, 신뢰수준이 95%인 두개의 집단의 결과가 동일할.. 공감수 8 댓글수 1 2019. 10. 9.
통계의 기초 - 가설검정 개념 죄송합니다. 아래수식을 html에 맞추다보니 깨지는 것 같습니다. 조만간 수정하겠습니다. 1. 가설 검정 추정과 함께 추측통계학의 2가지 방법 중 하나이다. 가설검정은 모집단의 값/분포에 두개의 가설을 세우고, 이것의 참/거짓을 표본정보로 부터 판단 추정과 마찬가지로 가설검정도 100%가 아니라, 일정한 확률로 예측한다. (추정은 모집단의 값/분포에 대해서 확률적으로 추론) 가설 종류 귀무가설(H0) : 기존에 지지를 받았던 가설 대립가설(H1) : 귀무가설과 대립되는 가설 가설설정-> 유의수준설정 -> 검정통계량 산출 -> 기각/채택 판단 양측검정 단측검정 ( 좌측 -대립가설이 x보다 작은경우 or 우측-대립가설이 x보다 큰경우 ) 신뢰수준 가설을 검정할 경우 얼마나 세밀하게 검정할 것인지 결정하는 수.. 공감수 0 댓글수 0 2019. 10. 9.
통계 검정방법 - Z검정 죄송합니다. 아래수식을 html에 맞추다보니 깨지는 것 같습니다. 조만간 수정하겠습니다. 통계 검정에서 주로 많이 사용하는 것은 T검정, F검정 Z검정이 있습니다. ## 이 포스팅에서는 Z검정에 대하여 설명해드리겠습니다. 1. 가정 집단이 1개이고, 검정대상이 평균일 때 사용 모분산 및 모표준편차를 알고 있을 경우에 사용한다 2. 예제문제 : 어느 회사에서 생상되는 과자의 한봉지당 함량은 125g으로 표기되어 있다. 임의로 64봉지를 뽑아서 평균을 구한 결과 121.7g 이다. 과거에 자료에 의하면 봉지당 함량의 표준편차는 12g이라한다.유의수준 5%에서 평균이 125g이라고 할 수 있는지 검정하고, 봉지당 평균 함량의 95%신뢰구간을 구해서 가설검정을 시행하라 H0 : $$\mu = 125$$ H1 :.. 공감수 0 댓글수 0 2019. 10. 9.
통계 검정방법 - T검정 개념설명 죄송합니다. 아래수식을 html에 맞추다보니 깨지는 것 같습니다. 조만간 수정하겠습니다. 통계 검정에서 주로 많이 사용하는 것은 T검정, F검정 Z검정이 있습니다. 이 포스팅에서는 T검정에 대하여 설명해드리겠습니다. 1. 집단이 1개 , 모분산을 알고 있고, 평균을 구하고 싶은 경우 양측 검정이라면 | t0 | $$ \geq $$ t$\alpha/2$ 라면 H0를 기각한다. T ~ t (n-1) 예제문제 : 창던지기 선수의 10회 기록을 조사한 데이터는 다음과 같다.[ 64 , 64.8 , 66, 63.5, 65, 68, 67 , 63.6, 67.6, 68.9]창던지기 거리의 평균이 65m가 넘는다는 주장을 유의수준 5%에서 검정 ( 창던지기 거리는 정규분포를 따른다고 가정한다. ) H0 : $$\mu .. 공감수 0 댓글수 0 2019. 10. 9.
통계의 그룹별 분석의 기초 - Anova ( 분산 분석 ) 통계 및 분석에서 가장 기초가 되는 Anova 분석입니다. (일원분산분석 뿐만아니라 다중분산분석이 있지만 다루지않았습니다. 추후에 추가하겠습니다.) 1. 일원분산분석 1) 정의 표본의 분산에 대한 차이를 검정하는 방법은 카이제곱 검정과 F Test(F 검정)으로 구분된다. 카이제곱 검정은 단일표본의 모집단이 정규분포를 따르며 분산을 미리 알고 있는 경우에 적용된다. 그러나 통계 과정에서 이를 알고 있는 경우는 드물기 때문에 모집단을 알고 있지 않은 경우의 F Test를 중심으로 분석한다. F Test는 두 표본의 분산에 대한 차이가 통계적으로 유의한가를 판별하는 검정기법이다. 분산의 유의차 분석이기 때문에 var test로도 불린다. R2 = SSR / SSE ( 1에 가까울 수록 종속변수가 설명되는 양.. 공감수 0 댓글수 0 2019. 10. 9.
csv 저장 속도가 느릴 경우에 multiprocessing csv save 방법 주로 pandas의 대용량의 데이터를 저장하려고 한적이 있으시죠? 하지만 데이터가 클수록 메모리도 많이 차지하고, 속도도 엄청느리다는 것을 느끼셨겠죠 아래의 코드는 메모리는 일단 고려하지 않았고, 대용량의 데이터를 쓰레드를 이용하여, 파일을 나누어 빠르게 저장하는 코드입니다. ( 메모리 사양에 따라서 process 부분을 조정하시면 됩니다. ) 1. Python example ===> 테이블을 10만건씩 나누어서 파일로 저장 from multiprocessing import Process,Queue import os def big_table_save(num, table): table.to_csv(os.path.join('./test2','_'+str(num)+'.csv.. 공감수 0 댓글수 0 2019. 10. 9.
예측력이 좋은 XGBoost Regression 개념 및 python 예제 XGBoost Regression 방법의 모델은 예측력이 좋아서 주로 많이 사용된다. 1. 정의 약한 분류기를 세트로 묶어서 정확도를 예측하는 기법이다. 욕심쟁이(Greedy Algorithm)을 사용하여 분류기를 발견하고 분산처리를 사용하여 빠른 속도로 적합한 비중 파라미터를 찾는 알고리즘이다. boostin 알고리즘이 기본원리 2. 장점 병렬 처리를 사용하기에 학습과 분류가 빠르다 유연성이 좋다. 커스텀 최적화 옵션을 제공한다 욕심쟁이(Greedy-algorithm)을 사용한 자동 가지치기가 가능하다. 과적합이 잘일어나지 않는다. 다른 알고리즘과 연계하여 앙상블 학습이 가능하다. 3. 수식 예 Y = w1 * M(x)+ w2 * G(x)+ w3 * H(x) + error ==> 세개의 모델이 함게 적.. 공감수 3 댓글수 0 2019. 10. 9.
서포트 벡터 머신 SVM ( Support Vector Machine)의 개념 및 python예제 서포트 백터 머신 SVM ( Support Vector Machine) 지도학습을 위한 가장 기본적인 방법 1. 정의 분리된 초평면에 의해 정의된 분류 모델이다. 최적의 초평면을 찾는 것 가장 최적의 의사 결정 경계는 모든 클래스의 가장 가까운 점으로부터 최대 마진을 갖는 결정 경계입니다. 결정 경계와 점 사이의 거리를 최대화하는 결정 경계로부터의 가장 가까운 점을 그림 2에서 보듯이 Support Vector 라고 부른다. Support Vector 의 결정 경계는 최대 마진 분류기 또는 최대 마진 하이퍼 평면이라고 불린다. python에서 svm kernel의 종류 ==> linear, poly(다항), rbf(가우시안), sigmoid(시그모이드) 2. Python Example from sklea.. 공감수 0 댓글수 0 2019. 10. 9.
정규화 선형회귀( Regularization Regression ) - ridge, lasso, elasticnet 개념과 python 예제 정규화 선형회귀 ( Regularization Regression ) - ridge, lasso, elasticnet 1. Ridge Regression 1) 정의 Ridge 회귀모형에서는 가중치들의 제곱합(squared sum of weights)을 최소화하는 것을 추가적인 제약 조건으로 한다. λ는 기존의 잔차 제곱합과 추가적 제약 조건의 비중을 조절하기 위한 하이퍼 모수(hyper parameter)이다. λ가 크면 정규화 정도가 커지고 가중치의 값들이 작아진다. λ가 작아지면 정규화 정도가 작아지며 λ 가 0이 되면 일반적인 선형 회귀모형이 된다. 2) python Example from sklearn.datasets import load_boston from sklearn.linear_model.. 공감수 0 댓글수 1 2019. 10. 9.
Random Forest Regression ( 랜덤포래스트 회귀 ) 개념 및 python 예제 Random Forest Regression ( 랜덤포래스트 ) 방법을 말씀드리겠습니다. 1. 정의 랜덤 포래스트는 앙상블 기법 중 하나이다. - bagging 2. Python Example from sklearn.datasets import load_wine from sklearn.model_selection import train_test_split from sklearn import ensemble from sklearn.metrics import mean_squared_error import pandas as pd from sklearn.ensemble import RandomForestRegressor import numpy as np import matplotlib.pyplot as plot.. 공감수 4 댓글수 0 2019. 10. 9.
Logistic Regression (로지스틱 회귀) 개념 및 python 예제 Logistic Regression ( 로지스틱 회귀 ) --> 딥러닝을 위하여 알아둬야하는 가장 중요한 부분 ( 이미지 분류방법의 기초 ) 1. 정의 회귀분석이지면 분류성격을 갖고 있다. Regression이라해서 연속형 Y값을 예측하는 것 같지만, 범주형인 경우에 사용하는 분류 방법이다. 왼쪽 그림의 경우 Y가 0또는 1인 경우라면 선형회귀로는 fitting하기 힘들다. 따라서 곡선으로 fitting하기 위해 사용하는 것이 로지스틱함수(로짓변환)이다. odds_ratio = p/(1-p) example ) 실패에 비해 생존할 확률의비 = 0.38/0.62 = 0.61 ( 백명 사망할 동한 61명 생존) 이것을 로짓변환하여 사용 보통 ROC Curve를 그리고 AUC (the Area Under a R.. 공감수 0 댓글수 0 2019. 10. 9.
Linear Regression ( 선형 회귀 ) 개념 및 python 예제 가장 기본적인 Linear Regression 선형회귀에 관하여 말씀드리겠습니다. 1. 정의 독립변수 x와 종속변수 y간의 관계를 정량적으로 찾아내는 작업 만약 독립 변수 x와 이에 대응하는 종속 변수 y간의 관계가 다음과 같은 선형 함수 f(x)이면 선형 회귀분석(linear regression analysis)이라고 한다. 2. Python Example #python from sklearn.datasets import load_boston from sklearn.linear_model import LinearRegression import matplotlib.pyplot as plt boston = load_boston() model_boston = LinearRegression(fit_interc.. 공감수 0 댓글수 0 2019. 10. 9.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.