AI, 데이터, 백엔드 개발을 기록합니다.

study 2023-01-12

[spark] 스트림 데이터

파일 콜렉션 반 정형, 비정형 데이터 파일 스트림 데이터를 끊임없이 동기화 하거나 적재해야 하므로 운영 및 유지관리에 어려움 어떻게 처리하는가? 이벤트 발생 시간, 데이터 수신 시간 기준으로 처리...

study 2023-01-12

[superset] superset sql query table chart hyperlink

superset table chart에 링크 넣는 방법이 잘 정리되어 있는게 없어서 정리합니다.준비물 원하는 테이블 로우에 들어갈 URL 컬럼절차Edit datasoruce 버튼 클릭SQL EXPRESSION...

study 2023-01-06

[liquid] string size 사용

[liquid] string size 사용변수에 대한 사용{{ pre_url | size }}size 변수 할당{% assign var1 = pre_url | size %}문제점 : size변수는 string...

study 2023-01-06

[liquid] string slice

[liquid] string slice변수에 대한 사용{{ "abcdef" | slice:1, 3 }}=> bcdsize 변수 할당{% assign cate = pre_url | slice:1, 3 %}

study 2023-01-05

[python] create_engine schema setting

[python] create_engine schema settingpostgres 접속 명령어db_connection_str = 'postgresql://postgres:asdfqwer@127.0.0.1:543...

study 2023-01-05

[python] __name__, __init__, __call__, self, etc

nameif __name__ == "__main__":# 코드 위 명령어는 파이썬 파일이 임포트된 경우가 아니라 인터프리터(IDE)나 cmd 에서 python ~~.py로 직접 실행된 경우에만, if문...

study 2023-01-04

[docker] docker vs docker-compose vs docker-desktop

[docker] docker vs docker-compose vs docker-desktopdockerfile 도커 이미지 생성을 위한 필요한 내용이 들어있는 파일docker-compose 도커 이미지 앱이...

study 2022-12-21

[tips] m1 macbook tensorflow gpu 설치

[tips] m1 macbook tensorflow gpu 설치 conda install -c apple tensorflow-deps python -m pip install tensorflow-macos pyt...

study 2022-12-18

[ML] sigmoid vs softmax

[ML] sigmoid vs softmaxsigmoid Logistic Regression binary classification (0,1) 최종 노드의 activation function! cost f...

study 2022-12-18

[ML] 배깅, 부스팅, 스태킹 (bagging, boosting, stacking)

[ML] 배깅, 부스팅, 스태킹 (bagging, boosting, stacking)모델을 모아서 예측을 수집하기 위한 앙상블 기법들에 대해 정리배깅 bootstrap aggregating 중복을 허용하여 ...

study 2022-12-17

[ML] 헷갈리는 머신러닝 알고리즘 (cross_validate, kfold, StratifiedKFold, KNeighborsClassifier, KMeans, GridSearchCV, RandomizedSearchCV..)

[ML] 헷갈리는 머신러닝 알고리즘 (cross_validate, kfold, StratifiedKFold, KNeighborsClassifier, KMeans GridSearchCV, RandomizedSea...

study 2022-12-16

[CV] CNN calculate parameter

[CV] CNN calculate parametermodel.summary()Model: “sequential”_________________________Layer (type) Ou...