Bagaimanakah klasifikasi set ciri dalam SVM bergantung pada tanda fungsi keputusan (teks{sign}(mathbf{x}_i cdot mathbf{w} + b))?

/ / Disiarkan dalam Kepintaran Buatan, Pembelajaran Mesin EITC/AI/MLP dengan Python, Mesin vektor sokongan, Sokong pengoptimuman mesin vektor, Semakan peperiksaan

Mesin Vektor Sokongan (SVM) ialah algoritma pembelajaran diselia yang berkuasa yang digunakan untuk tugas klasifikasi dan regresi. Matlamat utama SVM adalah untuk mencari hyperplane optimum yang terbaik memisahkan titik data kelas yang berbeza dalam ruang dimensi tinggi. Klasifikasi set ciri dalam SVM sangat terikat dengan fungsi keputusan, terutamanya tandanya, yang memainkan peranan penting dalam menentukan sisi mana pada hyperplane titik data tertentu jatuh.

Fungsi Keputusan dalam SVM

Fungsi keputusan untuk SVM boleh dinyatakan sebagai:

    \[ f(\mathbf{x}) = \mathbf{w} \cdot \mathbf{x} + b \]

di mana:
- \mathbf{w} ialah vektor berat yang mentakrifkan orientasi hyperplane.
- \mathbf{x} ialah vektor ciri bagi titik data yang dikelaskan.
- b ialah istilah berat sebelah yang mengalihkan hyperplane.

Untuk mengklasifikasikan titik data \mathbf{x}_i, tanda fungsi keputusan digunakan:

    \[ \text{sign}(f(\mathbf{x}_i)) = \text{sign}(\mathbf{w} \cdot \mathbf{x}_i + b) \]

Tanda ini menentukan sisi hyperplane di mana titik data terletak.

Peranan Klasifikasi Log Masuk

Tanda fungsi keputusan (\text{sign}(\mathbf{w} \cdot \mathbf{x}_i + b)) secara langsung menentukan label kelas yang diberikan kepada titik data \mathbf{x}_i. Begini bagaimana ia berfungsi:

1. Tanda Positif: Jika \mathbf{w} \cdot \mathbf{x}_i + b > 0, tanda fungsi keputusan adalah positif. Ini bermakna bahawa titik data \mathbf{x}_i terletak di sebelah hyperplane di mana kelas positif terletak. Oleh itu, \mathbf{x}_i diklasifikasikan sebagai tergolong dalam kelas positif (biasanya dilambangkan sebagai +1).

2. Tanda Negatif: Jika \mathbf{w} \cdot \mathbf{x}_i + b < 0, tanda fungsi keputusan adalah negatif. Ini menunjukkan bahawa titik data \mathbf{x}_i terletak di sebelah hyperplane di mana kelas negatif terletak. Oleh itu, \mathbf{x}_i diklasifikasikan sebagai tergolong dalam kelas negatif (biasanya dilambangkan sebagai -1).

3. Sifar: Dalam kes yang jarang berlaku di mana \mathbf{w} \cdot \mathbf{x}_i + b = 0, titik data \mathbf{x}_i terletak tepat pada hyperplane. Senario ini secara teorinya mungkin tetapi secara praktikal jarang berlaku kerana sifat berterusan data bernilai sebenar.

Tafsiran Geometri

Tafsiran geometri fungsi keputusan adalah penting untuk memahami cara SVM mengklasifikasikan titik data. Hyperplane yang ditakrifkan oleh \mathbf{w} \cdot \mathbf{x} + b = 0 bertindak sebagai sempadan keputusan antara dua kelas. Orientasi dan kedudukan hyperplane ini ditentukan oleh vektor berat \mathbf{w} dan istilah berat sebelah b.

1. Margin: Margin ialah jarak antara hyperplane dan titik data terdekat daripada setiap kelas. SVM bertujuan untuk memaksimumkan margin ini untuk memastikan bahawa hyperplane bukan sahaja memisahkan kelas tetapi melakukannya dengan jarak terbesar yang mungkin dari titik data terdekat. Titik data terdekat ini dikenali sebagai vektor sokongan.

2. Vektor Sokongan: Vektor sokongan ialah titik data yang terletak paling hampir dengan hyperplane. Mereka adalah kritikal dalam menentukan kedudukan dan orientasi hyperplane. Sebarang perubahan dalam kedudukan vektor sokongan ini akan mengubah satah hiper.

Contoh

Pertimbangkan contoh mudah di mana kami mempunyai ruang ciri dua dimensi dengan titik data daripada dua kelas. Mari kita nyatakan kelas positif dengan +1 dan kelas negatif dengan -1. Katakan vektor berat \mathbf{w} = [2, 3] dan istilah berat sebelah b = -6.

Untuk titik data \mathbf{x}_i = [1, 2], kita boleh mengira fungsi keputusan seperti berikut:

    \[ f(\mathbf{x}_i) = \mathbf{w} \cdot \mathbf{x}_i + b = (2 \cdot 1) + (3 \cdot 2) - 6 = 2 + 6 - 6 = 2 \]

Sejak f(\mathbf{x}_i) > 0, tanda fungsi keputusan adalah positif, dan dengan itu, titik data \mathbf{x}_i diklasifikasikan sebagai tergolong dalam kelas positif (+1).

Untuk titik data lain \mathbf{x}_j = [3, 1], kami mengira fungsi keputusan sebagai:

    \[ f(\mathbf{x}_j) = \mathbf{w} \cdot \mathbf{x}_j + b = (2 \cdot 3) + (3 \cdot 1) - 6 = 6 + 3 - 6 = 3 \]

Sekali lagi, f(\mathbf{x}_j) > 0, jadi tandanya adalah positif, dan \mathbf{x}_j diklasifikasikan sebagai tergolong dalam kelas positif (+1).

Sekarang, pertimbangkan titik data \mathbf{x}_k = [0, 0]:

    \[ f(\mathbf{x}_k) = \mathbf{w} \cdot \mathbf{x}_k + b = (2 \cdot 0) + (3 \cdot 0) - 6 = -6 \]

Dalam kes ini, f(\mathbf{x}_k) < 0, jadi tandanya negatif, dan \mathbf{x}_k dikelaskan sebagai tergolong dalam kelas negatif (-1).

Rumusan Matematik

Rumusan matematik SVM melibatkan penyelesaian masalah pengoptimuman untuk mencari yang optimum \mathbf{w} and b yang memaksimumkan margin sambil mengklasifikasikan data latihan dengan betul. Masalah pengoptimuman boleh dinyatakan sebagai:

    \[ \min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2 \]

    \[ \text{tertakluk kepada } y_i (\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1, \quad \forall i \]

di mana y_i ialah label kelas bagi titik data \mathbf{x}_i, dan kekangan memastikan bahawa semua titik data dikelaskan dengan betul dengan margin sekurang-kurangnya 1.

Tipu Kernel

Dalam banyak aplikasi praktikal, data mungkin tidak boleh dipisahkan secara linear dalam ruang ciri asal. Untuk menangani ini, SVM boleh diperluaskan kepada klasifikasi bukan linear menggunakan helah kernel. Fungsi kernel K(\mathbf{x}_i, \mathbf{x}_j) secara tersirat memetakan data ke dalam ruang dimensi yang lebih tinggi di mana pemisahan linear boleh dilakukan. Fungsi kernel yang biasa digunakan termasuk kernel polinomial, kernel fungsi asas jejari (RBF), dan kernel sigmoid.

Fungsi keputusan dalam SVM kernel menjadi:

    \[ f(\mathbf{x}) = \sum_{i=1}^N \alpha_i y_i K(\mathbf{x}_i, \mathbf{x}) + b \]

di mana \ alpha_i ialah pengganda Lagrange yang diperoleh daripada bentuk dwi masalah pengoptimuman.

Pelaksanaan Python

Dalam Python, perpustakaan `scikit-learn` menyediakan pelaksanaan SVM yang mudah melalui kelas `SVC`. Di bawah ialah contoh cara menggunakan `SVC` untuk mengklasifikasikan set data:

python
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score

# Load the dataset
iris = datasets.load_iris()
X = iris.data
y = iris.target

# Select only two classes for binary classification
X = X[y != 2]
y = y[y != 2]

# Split the dataset into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Create an SVM classifier with a linear kernel
clf = SVC(kernel='linear')

# Train the classifier
clf.fit(X_train, y_train)

# Predict the class labels for the test set
y_pred = clf.predict(X_test)

# Calculate the accuracy of the classifier
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy * 100:.2f}%')

Dalam contoh ini, kelas `SVC` digunakan untuk mencipta pengelas SVM dengan kernel linear. Pengelas dilatih pada set latihan, dan ketepatan dinilai pada set ujian. Pengelasan set ciri dalam SVM pada asasnya bergantung pada tanda fungsi keputusan \text{sign}(\mathbf{x}_i \cdot \mathbf{w} + b). Tanda menentukan di sebelah hyperplane mana titik data terletak, dengan itu memberikannya kepada kelas yang sepadan. Fungsi keputusan, proses pengoptimuman untuk mencari hyperplane optimum, dan potensi penggunaan fungsi kernel untuk mengendalikan kebolehpisahan bukan linear adalah semua komponen penting SVM. Memahami aspek ini memberikan pandangan menyeluruh tentang cara SVM beroperasi dan aplikasinya dalam pelbagai tugas pembelajaran mesin.

Soalan dan jawapan terbaru lain mengenai Pembelajaran Mesin EITC/AI/MLP dengan Python:

Lihat lebih banyak soalan dan jawapan dalam Pembelajaran Mesin EITC/AI/MLP dengan Python

Lebih banyak soalan dan jawapan:

Tagged under: , , , , ,