- Bagaimana Anda memilih parameter regularisasi Tikhonov?
- Mengapa regularisasi L1 menciptakan sparsity?
Bagaimana Anda memilih parameter regularisasi Tikhonov?
Diberikan fungsi, perkiraan tingkat kebisingan, dan parameter positif, pilih parameter regularisasi sehingga (2) d (α) = b δ untuk beberapa parameter b > B 0 . Jika solusinya tidak ada, maka pilih α (δ) = 0; Jika persamaan ini memiliki banyak solusi, pilih solusi terkecil.
Mengapa regularisasi L1 menciptakan sparsity?
Alasan sparsity
L1 regularisasi menyebabkan koefisien menyatu ke 0 agak cepat karena kendala mengikat semua vektor berat terletak di dalam norma L1. Tingkat konvergensi lebih tinggi untuk L1 karena turunan pertama kerugian menjadi λ untuk L1 sedangkan menjadi 2 λ 2 \ lambda 2λ untuk L2.