Dense Layer

본 게시물은 tensorflow의 포스트를 보고 정리하는 글이다.

tf.keras.layers.Dense(
    units,
    activation=None,
    use_bias=True,
    kernel_initializer='glorot_uniform',
    bias_initializer='zeros',
    kernel_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    kernel_constraint=None,
    bias_constraint=None,
    **kwargs
)

Desne는 output = activation(dot(input, kernel)+bias) 연산을 구현한다. activation은 argument로 전달되는 activation function이고, kernel은 사용되는 가중치 행렬, bias는 layer에 의해 생성된 bias vector이다.

📌 Args

• units: output의 차원
• activation: activation function, 단순 linear일 경우 사용하지 않음
• use_bias: bias 사용 유무
• kernel_initializer: kernel weight matrix 초기화 방식
• bias_initializer: bias vector 초기화 방식
• kernel_regularizer: kernel weight matrix에 적용되는 정규화 함수
• bias_regularizer: bias vector에 적용되는 정규화 함수
• activity_regularizer: activation function 적용 후 적용되는 정규화 함수
• kernel_constraint: kernel weight matrix에 적용되는 제약 함수
• bias_constraint: bias vector에 적용되는 제약 함수

📌 Input shape

N-D tensor with shape: (batch_size, ..., input_dim). The most common situation would be a 2D input with shape (batch_size, input_dim).

📌 Output shape

N-D tensor with shape: (batch_size, ..., units). For instance, for a 2D input with shape (batch_size, input_dim), the output would have shape (batch_size, units).