1. Importing the libraries

2. Data processing
1. Importing the dataset
2. Encoding categorical data
3. Splitting the dataset into the Training set and Test set
4. Feature Scaling

3. Building the ANN
1. Initializing the ANN
2. Adding the input layer and the first hidden layer
3. Adding the second hidden layer
4. Adding the output layer

4. Training the ANN
1. Compiling the ANN
2. Training the ANN on the Training set

5. Making the predictions and evaluating the model
1. Predicting the result of a single observation
2. Predicting the Test set results
3. Making the Confustion Matrix

0. Importing the libraries

import numpy as np
import pandas as pd
import tensorflow as tf

1. Data processing

Importing the dataset

dataset = pd.read_csv('[file]')
X = dataset.iloc[:, 3:-1].values
y = dataset.iloc[:, -1].values 

Encoding categorical data

from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
X[:, 2] = le.fit_transform(X[:, 2])

• 성별처럼 male과 female 두 개로 나눌 수 있는 경우

• 실제로 상관관계로 라벨링할 수 있는 경우 ([Low, Medium, High])

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [0])], remainder='passthrough')
X = np.array(ct.fit_transform(X))

[[1. 0. 0.]   # France
 [0. 0. 1.]   # Spain
 [0. 1. 0.]   # Germany
 [1. 0. 0.]]  # France

Splitting the dataset into the Training set and Test set

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2, random_state = 1)

• test_size
• 전체 데이터 중에서 테스트 데이터로 사용할 비율

• random_state
• 데이터를 섞을 때의 랜덤 시드 역할
• 이 값을 설정하면 항상 같은 방식으로 데이터를 나눠준다. → 결과 재현 가능성
• 값은 아무 숫자나 가능하며, 같은 숫자를 사용하면 같은 결과가 나온다.

Feature Scaling

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train[:, 3:] = sc.fit_transform(X_train[:, 3:])
X_test[:, 3:] = sc.transform(X_test[:, 3:])

1. Feature간의 스케일 차이 때문

2. Gradient Descent 의 효율 향상
1. Feature 값의 스케일이 다르면 손실 함수의 모양이 찌그러진 타원형이 되어 최적점까지 가는 시간이 더 걸린다.
2. 정규화하면 손실 함수가 대칭적인 형태가 되어 빠르게 수렴할 수 있다.

2. Initializing the ANN

Initializing the ANN

ann = tf.keras.models.Sequential()

딥러닝에서 모델이란, 입력 데이터를 받아서 원하는 출력으로 바꾸는 일종의 함수이자, 이 함수의 구조(레이어 구조)와 학습된 가중치를 모두 포함하는 전체 시스템을 의미한다.

Adding the input layer and the first, second hidden layer

ann.add(tf.keras.layers.Dense(units=6, activation='relu'))

• units: 만들어 낼 뉴런 수

• activation: 활성화 함수

Adding the output layer

ann.add(tf.keras.layers.Dense(units=1, activation='sigmoid'))

3. Training the ANN

Compiling the ANN

ann.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

Training the ANN on the Training set

ann.fit(X_train, y_train, batch_size=32, epochs = 100)

• batch_size
• 한 번에 모델에 들어가는 데이터 샘플 개수로, 한 번의 가중치 업데이트마다 32개의 샘플을 사용한다는 뜻
• 기본값은 32라고 한다.
• 왜 2의 거듭제곱 형태로 해야할까?
• GPU는 병렬 계산을 잘하는 장치인데, 내부에서 데이터를 2진수 블록 단위로 처리한다. 그래서 32, 64, 128 같은 2의 거듭제곱 크기가 메모리 정렬이 잘 되고, 연산이 빨라진다.
• 꼭 2의 거듭제곱 형태가 아니어도 되지만, GPU 자원을 덜 효율적으로 쓸 수 있다.
• 전체 학습 데이터를 너무 많이 넣으면
• 메모리 부담
• 업데이트 횟수 부족
• 학습 데이터를 적게 넣으면
• 노이즈 증가 (불안정함)
• 시간이 오래 걸림
• 그럼 확률적 경사하강법이 1개가 아니라 batch 단위로 가중치를 업데이트할 수 있다고 들었는데, batch_size가 optimizer에 영향을 주는 값인가? → 맞다

• epochs
• 전체 훈련 데이터를 몇 번 반복할 것인가
• 너무 적으면 학습 부족
• 너무 많으면 과적합

Making the predictions and evaluating the model

Predicting the result of a single observation

ann.predict(sc.transform([[1,0,0,600,1,40,3,60000,2,1,1,50000]]))

Predicting the Test set results

y_pred = ann.predict(X_test)
y_pred = (y_pred > 0.5)
print(np.concatenate((y_pred.reshape(len(y_pred), 1), y_test.reshape(len(y_test), 1)), 1))

Making the Confustion Matrix

from sklearn.metrics import confusion_matrix, accuracy_score
cm = confusion_matrix(y_test, y_pred)
print(cm)
accuracy_score(y_test, y_pred)

# Reuslt:
# [[1524   71]
# [ 206  199]]
# 0.8615