Apa itu AI multimodal dan contohnya dalam hidup harian
Dulu, kita hanya boleh berbual dengan chatbot AI melalui tulisan. Kini, kita boleh hantar gambar, bercakap dengan suara atau kongsi dokumen, dan AI tetap faham.
Kebolehan ini dipanggil AI multimodal. Memahami konsep ini membantu anda menggunakan alat AI dengan lebih bijak dalam kerja dan kehidupan harian.
Apa maksud multimodal?
"Modal" atau modaliti merujuk kepada jenis data. Contohnya teks, gambar, audio dan video.
Menurut IBM, AI multimodal ialah model pembelajaran mesin yang boleh memproses dan menggabungkan maklumat daripada pelbagai jenis data. Hasilnya, AI mendapat gambaran yang lebih lengkap berbanding model yang hanya faham satu jenis data.
Ringkasnya, AI multimodal cuba memahami dunia seperti manusia. Kita juga menggunakan mata, telinga dan bahasa serentak untuk faham sesuatu situasi.
Beza dengan AI biasa
Chatbot awal seperti ChatGPT pada mulanya bersifat unimodal. Anda masukkan teks, ia membalas dengan teks.
Model terkini seperti Gemini daripada Google dan GPT-4o daripada OpenAI pula boleh menerima teks, gambar dan bentuk data lain dalam satu model.
Google DeepMind menyifatkan multimodaliti sebagai input dan output merentasi audio, visual dan teks. Ini membolehkan AI memahami konteks dengan lebih menyeluruh.
Bagaimana ia berfungsi?
Secara mudah, setiap jenis data diproses dahulu oleh bahagian model yang sesuai. Contohnya, satu bahagian mengecam ciri dalam gambar dan satu lagi memahami ayat.
Maklumat ini kemudian digabungkan. Proses ini dipanggil gabungan data (data fusion). IBM menerangkan tiga cara utama:
- Gabungan awal: Semua jenis data ditukar ke dalam satu ruang perwakilan bersama sejak awal.
- Gabungan pertengahan: Data digabungkan pada peringkat pemprosesan pertengahan.
- Gabungan akhir: Setiap jenis data diproses oleh model berasingan, kemudian hasilnya digabungkan.
Contoh dalam kehidupan harian
Anda mungkin sudah menggunakan AI multimodal tanpa sedar. Antara contohnya:
- Ambil gambar dan tanya: Snap gambar pokok di halaman dan tanya chatbot apa penyakit pada daunnya.
- Terjemah papan tanda: Halakan kamera ke teks bahasa asing dan dapatkan terjemahan terus.
- Bercakap dengan AI: Tanya soalan menggunakan suara dan dengar jawapan secara lisan.
- Hasilkan imej daripada teks: Tulis penerangan dan AI menjana gambar berdasarkan penerangan itu.
- Dengar ringkasan dokumen: Google menyebut contoh NotebookLM, di mana pengguna memuat naik kertas kajian dan menjana Audio Overview gaya podcast.
Kegunaan dalam industri
Google Cloud memberi beberapa contoh praktikal. Kilang boleh memantau barisan pemasangan untuk mengesan kecacatan produk.
Dalam pertanian, AI boleh menganalisis banyak gambar ladang untuk memahami hasil tanaman. IBM pula menyebut kegunaan dalam analisis imej perubatan dan kenderaan autonomi yang menggabungkan data kamera dengan sensor lain.
Bagi Malaysia, contoh ini relevan kepada sektor seperti perladangan, pembuatan dan kesihatan.
Kelebihan dan cabaran
Menurut IBM, AI multimodal boleh memberi ketepatan lebih tinggi dan konteks yang lebih kaya. Jika satu jenis data kurang jelas, jenis data lain boleh membantu.
Namun, cabaran utama ialah menggabungkan pelbagai jenis data dengan berkesan. Pengguna juga perlu ingat bahawa AI masih boleh tersilap tafsir gambar atau suara.
Berhati-hati juga semasa memuat naik gambar. Elakkan berkongsi dokumen peribadi seperti kad pengenalan atau penyata bank dengan chatbot.
Rumusan
AI multimodal ialah AI yang boleh memahami lebih daripada satu jenis data, seperti teks, gambar dan suara. Inilah sebabnya chatbot hari ini boleh "melihat" gambar dan "mendengar" soalan anda.
Cuba manfaatkan kebolehan ini untuk tugasan harian, tetapi sentiasa semak semula jawapan AI dan jaga data peribadi anda.
Sumber: