Saya mengutip jurnal dari Mahmudin Harahap terkait dengan Lexical Analyzer ialah tahap awal dari sebuah kompiler maksudnya ialah Tugas utama yang terpenuhi dalam tahap ini akan mengidentifikasi satu rangkaian dari suatu bahasa yang terjadi pada masukan sumber program. Lexical Analyzer berperan sebagai perantara di antara masukan sumber program untuk di-compile dan langkah berikutnya pada compiler. Program masukan dapat dipertimbangkan sebagai urutan karakter. Lexical analyzer mengkonversi runtun karakter ini ke dalam runtun kata-kata yang benar, yang lebih dikenal dengan nama token. Token-token dihasilkan dengan cara memisahkan program sumber tersebut dilewatkan ke parser. Analisis Leksikal harus mengirim token ke parser. Untuk mengirim token, scanner harus mengisolasi barisan karakter pada teks sumber yang merupakan 1 token valid. Parser memeriksa rangkaian token dan mengidentifikasi konstruksi bahasa yang terdapat pada masukan program. Bagaimanapun, parser dan lexical analyzer bekerja sama, dalam arti ketika parser membutuhkan token yang lebih jauh untuk memproses, parser meminta pada lexical analyzer.
Tujuannya adalah untuk melakukan scanner atau pemeriksaan terhadap kode sumber atau disebut Source Code dari program yang akan di eksekusi, suatu kode sumber akan diuraikan menjadi simbol-simbol tertentu yang disebut token. Scanner berperan sebagai antarmuka antara source code dengan proses analisis sintaksis (parser). Scanner akan memeriksa setiap karakter dari kode sumber. Analisis leksikal berkaitan dengan penulisan bahasa pemrograman (dalam penelitian yaitu bahasa C). Membaca source program (input characters) dan mengasilkan output berupa rangkaian token. Berikut ini merupakan tabel dari token, lexeme, pattern.
Namun ada referensi dari jurnal Wilmar Yesid Campo Muñoz(2016) dengan judul Characterization of traffic of the video streaming service based on lexical analyzers disebutkan bahwa Lexical Analyzer adalah tools atau alat untuk automasi / otomasi untuk identifikasi.
Sekian dan terima kasih