[ML] 選擇 loss function/ optimizer/ metrics

建構模型

• Dense(units, activation)
• units 為 output_size，keras 已經處理好自動計算 input_size 的部分。
• activation function
  • relu: Rectified Linear Unit, ReLU
  • softmax: 對陣列中所有元素做自然對數取值後，在做 normalize，目的是放大最大權重的元素，並且將所有值換成 0~1 的值，意義類似機率。

model.keras.Sequential([
    Dense(32, activation="relu"),
    Dense(64, activation="relu"),
    Dense(32, activation="relu"),
    Dense(10, activation="softmax"),
])

編譯

• 損失函數(目標函數) loss function
  • CategoricalCrossentropy
  • SparseCategoricalCrossentropy
  • BinaryCrossentropy
  • MeanSquareError
  • KLDivergence
  • CosineSimilarity
  • …
• 優化器 optimizer
  • SGD (可搭配 momemtum)
  • RMSprop
  • Adam
  • Adagrad
  • …
• 評量指標 metrics
  • CategoricalAccuracy
  • SparseCategoricalAccuracy
  • BinaryAccuracy
  • AUC
  • Precision
  • Recall
  • …

以下範例兩種型式都可以。其中物件的用法可以使用客製化的條件。

model.compile(optimizer="rmsprop",
              loss="mean_square_error",
              metics=["accuracy"])

model.compile(optimizer=keras.optimizers.RMSprop(learning_rate=1e-4),
              loss=keras.meanSquaredError(),
              metrics=[keras.metrics.BinaryAccuracy])

洗牌

• 收集完資料之後，我們目的並非只在訓練資料上取得良好的模型，而是要取得在大部分狀況下都表現良好的模型。
• 故我們需要將收集完的資料分成訓練集與驗證集。
• 以下透過 np.random.permutation() ，與 slice 來對資料做抽樣。

indices_permutation = np.random.permutation(len(data))
shuffled_inputs = data[indices_permutation]
shuffled_targets = labels[indices_permutation]

num_validation_samples = int(0.3 * len(data))
val_inputs = shuffled_inputs[:num_validation_samples]
val_targets = shuffled_targets[:num_validation_samples]
training_inputs = shuffled_inputs[num_validation_samples:]
training_targets = shuffled_targets[num_validation_samples:]

model.fit(
    training_inputs,
    training_targets,
    epochs=5,
    batch_size=16,
    validation_data=(val_inputs, val_targets)
)