Kapan $ {l} _ {1} $ regularisasi memberikan solusi yang jarang?

1. Mengapa regularisasi L1 menyebabkan sparsity?
2. Mengapa L1 memberikan solusi yang jarang?
3. Dapat l1 regularisasi menghasilkan model yang jarang?
4. Bagaimana L1 Membuat Sparsity?

Mengapa regularisasi L1 menyebabkan sparsity?

Alasan sparsity

L1 regularisasi menyebabkan koefisien menyatu ke 0 agak cepat karena kendala mengikat semua vektor berat terletak di dalam norma L1. Tingkat konvergensi lebih tinggi untuk L1 karena turunan pertama kerugian menjadi λ untuk L1 sedangkan menjadi 2 λ 2 \ lambda 2λ untuk L2.

Mengapa L1 memberikan solusi yang jarang?

Alasan menggunakan norma L1 untuk menemukan solusi yang jarang adalah karena bentuk khusus. Itu memiliki paku yang kebetulan berada di titik jarang. Menggunakannya untuk menyentuh permukaan solusi kemungkinan besar akan menemukan titik sentuh pada ujung lonjakan dan dengan demikian solusi yang jarang.

Dapat l1 regularisasi menghasilkan model yang jarang?

L1 regularisasi menghukum jumlah nilai absolut dari bobot, sedangkan regularisasi L2 menghukum jumlah kotak bobot. Solusi regularisasi L1 jarang. Solusi regularisasi L2 adalah non-sparkse.

Bagaimana L1 Membuat Sparsity?

Lingkaran hitam di semua kontur mewakili yang menarik norma L1 atau Lasso. Itu berpotongan relatif dekat dengan kapak. Ini menghasilkan koefisien ke 0 dan karenanya pemilihan fitur. Karenanya L1 Norm membuat model jarang.