경 탁

본 포스팅에서는 개/고양이 이미지를 통해 두 동물을 분류하는 모델링을 해보도록 하겠습니다. 1. 데이터 준비 from fastai.vision.all import * path = untar_data(URLs.PETS) 데이터를 다운받게 되면 지정한 곳에 데이터가 저장되게 됩니다. 2. DATABLOCK pets = DataBlock(blocks = (ImageBlock, CategoryBlock), get_items=get_image_files, splitter=RandomSplitter(seed=42), get_y=using_attr(RegexLabeller(r'(.+)_\d+.jpg$'),'name'), item_tfms=Resize(460), batch_tfms=aug_transforms(size=..

금 포스팅에서는 MNIST 데이터를 통해 간단한 모델링을 하고 손실함수를 통해 파라미터를 조정하는 내용을 다룰 예정입니다. 본격적인 코드에 들어가기 앞서, 파라미터를 조정하는 '경사하강법'에 대해 짚고 넘어갈까 합니다. 0. 경사하강법 파라미터란 변수를 의미합니다. 예를 들어 중학교때 배운 기초적인 함수 1차 함수에서 Y = ax + b // 여기서 a와 b를 파라미터라고 칭합니다. 보다 정확도가 높은 함수를 만들기 위하여 파라미터를 조정합니다. 본 포스팅에서는 임의로 '초기화'할 예정입니다. 그리고 그 값으로 예측하고 정답과 예측값의 차이를 측정합니다. 여기서 쓰이는 것이 '손실함수' 입니다. (저번 포스팅에서 다룬 L1 / L2 역시 손실함수의 일종입니다.) 그리고 그 그레디언트를 계산하고 이를 통해..

본 포스팅은 FAST-AI의 코드에 관한 부분을 중점적으로 다룹니다. 본 포스팅에서 다룰 내용은 4장 MNIST 분류기에 관한 내용입니다. 이 분야에서는 워낙 많이 쓰이는 데이터이기도 하고, 그래서 이미 많은 분들이 아실거라고 생각합니다. 이 책에서 밑바닥부터 다룬 부분이기도해서 내용이 살짝 난해하고 많긴 하지만 여러번 공부하고 정리하면 이해가 될듯 싶습니다. 1. 서론 및 문제제기 path = untar_data(URLs.MNIST_SAMPLE) path.ls() threes = (path/'train'/'3').ls().sorted() sevens = (path/'train'/'7').ls().sorted() 일단 MNIST 데이터를 다운받아줍니다. .ls() 는 그 폴더에 어떤 파일이 들어있는지 판..

본 포스팅은 한빛미디어에서 나온 fastai & pytorch가 만나 꽃피운 딥러닝에 대한 책에 대해 다룹니다. 예전에 사이킷런으로 머신러닝을 공부하다가 PYCARET을 알고 나서 충격 먹었던 기억이 납니다. 점점 갈수록 낮아지는 M/L의 진입장벽, 그때 들었던 생각은 딥러닝에 대한 이런 자동화 라이브러리는 없겠지하는 생각이었습니다. 승선 중 우연히 공부에 대한 자극을 받고자 책을 찾았는데 , 그때 찾았던 도서가 바로 이 책입니다. 딥러닝에 대한 자동화 라이브러리도 벌써 시중에 나왔구나 하는 충격과 함께 공부하리라 다짐했었는데, 선박이라는 고립된 환경, 잘안되는 인터넷 때문에 공부하다가 말았던 기억이 납니다. 잡소리는 이쯤하고 앞으로 본 서적에 대한 공부와 함께 코드 그리고 문제점 & 해결점을 포스팅할까..

오늘은 약속이 있어서 하루종일 테스트하지는 못하고 어제 계획했던 방식으로 직접 누락된 데이터를 삭제하고 & 더미변수로 전환해서 모델링을 하였는 데, TRAIN DATA 에서는 기존에 했던 방식보다 훨씬 낮게 RMSE 값이 나왔습니다. 그래서 매우 기대를 하고 제출을 하였는 데, 그 값이 오히려 그 전보다 잘 나오지 않는 군요 ㅎㅎ (마치 9월 모평은 잘봤는 데 수능에서 죽 쓴 느낌?) 그래도 참고삼아 간단한 코드이지만 올려놓겠습니다 ~ 참고하세요 :-) train_4 = train.dropna(axis=0) train_4 = pd.get_dummies(train_4) test_4 = pd.get_dummies(test) from pycaret.regression import * exp4 = setup(t..

안녕하세요 ~ 지난번에 이어 요번에는 본격적으로 모델링하고 EDA를 진행할까 합니다. 말은 거창하지만 PYCARET 모델 여러개 만들어서 섞고 툴 이용해서 EDA 한다는 거 ~ 이번에 쓰인 툴은 지난번과 똑같이 'PYCARET' 에 자동EDA툴인 'PANDAS-PROFILLING' 입니다. (저희 도구를 사용하자고요 ㅎㅎ) 본 포스팅은 저번 포스팅에 이어 하는 것이니, 저번 포스팅의 코드를 생략하도록 하겠습니다. 1. 자동 EDA & 레포트 받아보기 import pandas_profiling report =train.profile_report() report report.to_file('./pr_report.html') 지난번의 TRAIN 데이터를 툴을 이용하여 EDA 자료를 만들어냅니다. 사실 다른 툴..