CHƯƠNG 2

SƠ LƯỢC VỀ TIẾNG NÓI

2.1 Mở đầu

Tiếng nói cùng với chữ viết là hai thành phần cơ bản nhất của ngôn ngữ, nó hình thành trước chữ viết và phát triển trong suốt lịch sử phát triển của loài người. Tiếng nói đã, đang và sẽ luôn là phương tiện giao tiếp chủ yếu của con người bởi lẽ giao tiếp bằng tiếng nói là cách thức đơn giản, tự nhiên và đóng vai trò quan trọng trong đời sống con người.

Ngày nay, cùng với sự phát triển của khoa học kỹ thuật, các nhà khoa học đã tạo ra các loại máy móc dần thay thế lao động chân tay, trí óc của con người nhưng việc giao tiếp giữa người với máy vẫn phổ biến là những thao tác phức tạp và cần được đào tạo. Chính vì lẽ đó mà việc nghiên cứu phát triển các loại thiết bị có khả năng giao tiếp với con người qua giọng nói đã và đang nhận được sự quan tâm của nhiều nhà khoa học trên thế giới, cũng như người tiêu dùng. Các ứng dụng này đã được áp dụng vào điện thoại di động, máy tính,… tuy nhiên mức độ phổ biến vẫn còn rất hạn chế.

 2.2 Sự tạo thành tiếng nói

Tiếng nói là các chuỗi âm thanh được phát ra từ bộ máy phát âm của con người để trao đổi tư tưởng, tình cảm giữa các thành viên trong xã hội. Đây chính là một trong các phương tiện trao đổi thông tin quan trọng nhất của con người.

Như vậy, thực sự thì tiếng nói chỉ là một chuỗi âm thanh lan truyền trong không khí ở dạng sóng cơ học, do đó nó có phần giống với các âm thanh khác trong thế giới tự nhiên.

Vì thế, khi xem xét tiếng nói, đầu tiên ta phải xét nó ở khía cạnh bản chất vật lý của nó. Tuy nhiên, sự khác biệt quan trọng của tiếng nói so với các âm thanh khác được tạo nên bản chất sinh lý của tiếng nói. Tiếng nói được phát ra từ bộ máy phát âm của loài người nên nó hết sức tinh vi, phức tạp hơn nhiều âm thanh khác. Ngoài ra, tiếng nói là âm thanh được dùng để giao tiếp thường nhật trong xã hội nên nó phải được xem xét về mặt xã hội, chức năng của nó trong một cộng đồng ngôn ngữ nhất định.

Việc xử lý thông tin chứa trong tín hiệu tín nói nhằm truyền, lưu trữ tín hiệu này hoặc tổng hợp, nhận dạng tiếng nói.

Mục đích :

ƒ    Mã hóa tiếng nói một cách hiệu quả để truyền và lưu trữ tiếng nói.

ƒ    Tổng hợp, nhận dạng tiếng nói tiến đến giao tiếp người-máy bằng

tiếng nói.

Như vậy, tất cả các ứng dụng của tiếng nói đều phải dựa trên các kết quả phân

tích tiếng nói. Thực tế cho thấy, các nghiên cứu được tiến hành để xử lý tiếng nói yêu cầu những hiểu biết trên nhiều lĩnh vực đa dạng : ngữ âm học, ngôn ngữ học, xử lý tín hiệu…

Phân biệt tiếng nói với các âm thanh khác :

Tiếng nói được phân biệt với các âm thanh khác bởi đặc tính âm học có cơ chế từ

nguồn gốc tạo tiếng nói.

Có 2 loại nguồn âm :

ƒ    Nguồn tuần hoàn : dây thanh rung

o Dây thanh rung : vocal folds , vocal cords.

o Chu kỳ tuần hoàn: chu kỳ rung của dây thanh.

o Nguồn tuần hoàn: chủ yếu tương ứng với nguyên âm.

ƒ    Nguồn tạp âm : dây thanh không rung, chủ yếu là phụ âm.

 Cấu trúc bộ máy phát âm:

ƒ    Khoảng không giữa dây thanh và thanh quản được gọi là thanh môn.

ƒ    Nguồn tuần hoàn : vị trí nằm ở thanh môn.

ƒ    Nguồn tạp âm : vị trí phụ thuộc vào âm được tạo ra, không nằm ở

thanh môn.

Ví dụ : âm ‘s’ vị trí nằm ở khoang miệng.

Nói thì thào: dây thanh không rung, thanh môn gần như bị khép lại.

ƒ    Hệ thống đằng sau thanh môn ( gồm phổi, khí quản, phế quản ) có vai

trò như một nguồn năng lượng để tạo tiếng nói.

ƒ    Tuyến âm ( vocal tract ) : toàn bộ bộ máy phát âm, tính từ thanh môn

trở lên.

Thanh môn và dây thanh:

Khoang mũi ( nasal tract) : bắt đầu từ vòm miệng mềm và kết thúc ở lỗ mũi. Khí vòm miệng mềm hạ xuống khoang mũi ghép song song với khoang miệng để tạo âm mũi.

Dây thanh trong một chu kỳ dao động : Thể tích không khí vận chuyển qua thanh môn trong một đơn vị thời gian được gọi là thông lượng ( khoảng 1cm3/s). Khi dây thanh rung với chu kỳ To thì thông lượng cũng biến đổi tuần hoàn theo chu kỳ này.

Gọi To là chu kỳ cơ bản => tần số cơ bản

-     fo   phụ thuộc vào giới tính ( nữ > nam ) và lứa tuổi ( trẻ > già ).

-     Thay đổi fo sẽ thay đổi thanh điệu.

-     fo ảnh hưởng đến ngữ điệu của câu.

Hình 2.6.Dây thanh trong một chu kỳ dao động

2.3 Biểu diễn tín hiệu tiếng nói

Có 3 phương pháp cơ bản để biểu diễn tín hiệu tiếng nói:

- Biểu diễn dưới dạng sóng theo thời gian.

- Biểu diễn trong miền tần số : chính là phổ của tín hiệu tiếng nói.

- Biểu diễn trong không gian 3 chiều : sonagram ( spectrogram ). Biểu diễn dưới dạng sóng theo thời gian:

Phần tín hiệu ứng với âm vô thanh là không tuần hoàn, ngẫu nhiên và có biên độ năng lượng nhỏ so với biên độ năng lượng của một nguyên âm ( gần bằng 1/3).

Để lưu trữ âm thanh dưới dạng sóng, định dạng thông dụng nhất là *.wav với:

- Tần số lấy mẫu thường gặp là 8KHz, 10KHz, 11,25KHz, 16KHz, 22,05KHz,…

- Độ phân giải ( số bit/ mẫu) : thường là 8 hay 16 bit.

- Số kênh : 1 kênh ( mono ) hoặc 2 kênh ( stereo ).

Khi thu tiếng nói bằng micro khác loại thì dạng sóng tiếng nói cũng có phần khác nhau. Hình ảnh sau là dạng sóng tiếng nói của cùng một âm được thu bằng 2 loại micro khác nhau: 1 loại là dynamic microphone và loại kia là condenser microphone.

Hình 2.8 Dạng sóng tiếng nói thu được từ 2 loại micro khác nhau

Hay cùng một âm nhưng do 2 người khác nhau nói thì dạng sóng tiếng nói cũng có sự sai khác đáng kể.

Và thậm chí, cùng một âm do cùng một người nói ở những thời gian khác nhau cũng không phải hoàn toàn giống nhau.

Biểu diễn tín hiệu tiếng nói dưới dạng phổ:

Hình 2.12.Tiếng nói và phổ tiếng nói (

Biểu diễn tín hiệu tiếng nói dưới dạng Sonagram: Sonagram biểu diễn tín hiệu tiếng nói trong đồ thị 2 chiều:

- Trục thời gian là trục nằm ngang.

- Trục tần số là trục thẳng đứng.

- Biên độ phổ được biểu diễn bằng độ đậm nhạt hay màu sắc.

Hình 2.12.Sonagram

Để vẽ Sonagram, ta thực hiện các bước sau:

- Chia tín hiệu tiếng nói thành các khung (frame) ứng với các cửa số quan sát, ví

dụ :

+ Độ dài mỗi frame hay cửa sổ là 10ms.

+ Nếu tần số lấy mẫu là 16 KHz thì mỗi cửa sổ có 160 mẫu.

+ Mỗi cửa sổ có 1 đoạn chườm lên nhau ( khoảng nhỏ hơn ½ frame).

- Vẽ phổ của khung tín hiệu trên trục thẳng đứng, biên độ phổ được biễu diễn

bằgn độ đậm nhạt của màu sắc.

- Vẽ tiếp theo trục thời gian bằng cách chuyển qua cửa sổ tiếp theo.

2.4 Formant và Antiformant

Tuyến âm được coi như một hốc cộng hưởng, có tác dụng tăng cường một số tần số nào đó. Những tần số được tăng cường được gọi là các Formant. Nếu tuyến âm được coi là hoang miệng thì khoang mũi cũng là hốc cộng hưởng. Khoang mũi được mắc song song với khoang miệng nên sẽ làm suy giảm một số tần số nào đó. Những tần số bị suy giảm được gọi là các phản Formant (Antiformant).

CHƯƠNG 6

HUẤN LUYỆN VÀ NHẬN DẠNG TIẾNG NÓI

6.1 Mở đầu

Huấn luyện là một bước cực kỳ quan trọng đối với hệ thống nhận dạng tiếng nói. Chúng ta đều biết rằng con người không thể phát ra những tiếng nói giống nhau hoàn

toàn được, một người vừa nói một tiếng, nhưng khi có ai đó yêu cầu anh ta lặp lại thì anh chỉ có thể nói một tiếng nghe có vẻ giống tiếng trước đó thôi chứ dạng sóng có thể rất khác nhau. Ví dụ, cùng nói một từ ‘Trái’ nhưng khoảng thời gian nói có thể dao động từ

140 ms cho đến 300 ms và bên cạnh đó là rất nhiều sự thay đổi trong biên độ, tần số… Con người chúng ta luôn đi tìm ra cái gì đã làm cho 2 tiếng khác nhau đó nghe có

vẻ giống nhau, câu trả lời là các đặc trưng. Nhưng thực tế cho thấy các đặc trưng mà chúng ta thu được không bao giờ là lý tưởng, nó luôn bao gồm cả phần riêng biệt của từ cộng với một phần bị biến đổi trong đó. Vì lý do trên mà chúng ta cần một bước huấn luyện.

Bước huấn luyện đầu tiên sẽ cung cấp cho chúng ta cái nhìn tổng quát về đối tượng, khả năng biến đổi của nó, từ đó bằng khả năng tư duy của con người, chúng ta sẽ tìm ra cái chung nhất không bị biến đổi của đối tượng sau đó ‘dạy’ cho máy biết cách phân biệt các từ mà nó cần nhận dạng.

Có một điều quan trọng nữa là : phương pháp huấn luyện phải phù hợp với phương pháp trích đặc trưng để đạt kết quả tốt nhất. Trong đề tài này, em sử dụng 3 loại đặc trưng là thời gian nói, số lần qua điểm ‘0’ trung bình (zero-crossing rate) và phân bố năng lượng theo miền tần số.

Đối với đặc trưng về thời gian nói và zero-crossing rate em sử dụng phương pháp xấp xỉ phân bố chuẩn để tính xác suất rơi vào các miền đã định trước. Còn đối với đặc trưng về phân bố năng lượng thì phương pháp VQ sẽ là phương pháp phù hợp nhất.

6.2 Phương pháp huấn luyện theo phân phối chuẩn

Các đặc trưng về thời gian nói và zero-crossing rate sẽ giúp chúng ta ‘sơ loại’ các từ cần nhận dạng. Ví dụ : từ ‘Dừng’ có thời gian nói rất ngắn, không bao giờ vượt quá

180 ms, nếu từ cần nhận dạng có độ dài trên 180 ms thì khả năng là từ ‘Dừng’ gần như là

không có. Một ví dụ nữa là từ ‘Trái’ và ‘Phải’ luôn luôn có zero-crossing rate nhỏ hơn 4, vì vậy mà hệ thống sẽ không được phép cho kết quả là ‘Trái’ hoặc ‘Phải’ nếu zero- crossing rate lớn hơn 4.

Vậy thì câu hỏi đặt ra là làm sao chúng ta biết được các đặc điểm như trên vừa nêu và làm sao chúng ta có thể sử dụng được chúng và việc ‘dạy’ cho hệ thống biết phân biệt từ ?

Câu trả lời cho câu hỏi này là phương pháp xấp xỉ theo phân phối chuẩn.

6.2.1 Đôi nét về lịch sử của phương pháp

Phân phối chuẩn được nhà toán học nổi tiếng người Pháp là Abraham de Moivre phát hiện và đưa ra trên báo năm 1733. Sau đó, Laplace là người đã mở rộng kết quả này và xuất bản trong cuốn sách Analytical Theory of Probabilities năm 1812.  Ngày nay người ta còn gọi đây là định lý Moivre-Laplace. Năm 1809, Gauss đã dùng quy luật phân phối này để chứng minh phương pháp rất quan trọng là phương pháp bình phương tối thiểu.

Nhà bác học Gauss cũng chỉ ra rằng quy luật phân phối này phù hợp với các hiện tượng tự nhiên. Thật vậy, các nhà khoa học sau này đã kiểm chứng rằng hầu hết các hiện tượng trong tự nhiên đều tuân theo một cách chính xác quy luật này. Vì vậy mà phối phối chuẩn đã được ứng dụng và rất nhiều lĩnh vực như : y tế, kỹ thuật, kiến trúc, đo lường…

6.2.2 Ứng dụng phương pháp vào đề tài

Phân phốichuẩn giả thiết rằng các dữ liệu sẽ tập trung xung quanh giá trị trung bình của chúng, xác suất sẽ cao nhất tại giá trị trung bình và giảm dần qua 2 bên. Đồ thị của hàm mật độ xác suất sẽ có dạng ‘hình chuông’ :

Hình 6.1 Hàm mật độ xác suất

Công thức sau miêu tả hàm mật độ xác suất của phân phối chuẩn tại điểm x :

Với :

- σ : là độ lệch chuẩn, được định nghĩa là căn bậc 2 của phương sai. Phương sai là

trung bình của bình phương khoảng cách của mỗi điểm dữ liệu tới điểm trung bình.

- μ : giá trị trung bình của tập các tín hiệu quan sát.

Như vậy, muốn tính được xác suất mà dữ liệu nhỏ hơn một giá trị nào đó chúng chỉ cần lấy tích phân hàm mật độ xác suất trên :

Trở về với đề tài, mục tiêu của chúng ta là tính được xác suất mà các đặc trưng sẽ rơi vào các miền và trong mỗi miền thì phân bố xác suất giữa các từ sẽ như thế nào. Các bước thực hiện sẽ như sau :

•    Đầu tiên chúng ta giả sử biến ngẫu nhiên cần khảo sát tuân theo quy luật phân phối chuẩn hay còn gọi là quy luật hình chuông.

•    Tiếp theo, chúng ta khảo sát một lượng khá lớn mẫu tín hiệu, số lượng càng lớn thì độ chính xác càng cao.

•    Kế đến, chúng ta tính các giá trị trung bình, độ lệch chuẩn của các mẫu trên.

•    Sau đó, chúng ta cần phân vùng cho các đặc trưng, việc này phụ thuộc vào đặc tính của đặc trưng.

•    Chúng ta dùng các phần mềm tính toán để tính ra xác suất mà đặc trưng của chúng ta rơi vào từng vùng đã chọn ở trên.

•    Bước cuối cùng là bước cân bằng xác suất giữa các từ trong từ điển trên từng vùng.

6.2.3 Kết quả huấn luyện

sau :

Thực hiện theo các bước trên, với trên 2000 điểm dữ liệu, em đã thu được kết quả

Công cụ tính toán ở đây em sử dụng là phần mềm R. Đây là một phần mềm mã nguồn mở, miền phí nhưng khả năng tính toán của nó không thua kém các phần mềm thương mại hiện nay.

Chỉ bằng một lệnh rất đơn giản, chúng ta đã có được giá trị xác suất cần tính.

pnorm(b, mean=1207.75, sd=118.7753)-pnorm(a, mean=1207.75, sd=118.7753)

Trong đó:

•    mean là giá trị trung bình của tập hợp

•    sd là độ lệch chuẩn

•    a,b là các cận lấy tích phân.

Sau khi cân bằng xác suất giữa các từ trong từng vùng, chúng ta có được kết quả

như sau :

Nhận xét :

•    Rõ ràng, nhìn vào bảng trên chúng ta dễ dàng rút ra rằng các từ ‘Trái’, ‘Phải’,

‘Tới’, ‘Lùi’ sẽ không bao giờ có số mẫu dưới 700, cũng như từ ‘Dừng’ thì không bao giờ có số mẫu vượt quá 900.

•    Hai từ ‘Trái’ và ‘Phải’ có phân bố xác suất khá giống nhau, vì vậy 2 từ này rất dễ

gây nhầm lẫn.

Nếu chỉ dựa vào 2 đặc trưng này thì chúng ta vẫn chưa đủ cơ sở để kết luận về từ cần được nhận dạng, vì vậy mà chúng ta cần kết hợp với phương pháp huấn luyện VQ sẽ được trình bày ngay dưới đây.

6.3 Phương pháp huấn luyện VQ

6.3.1 Mở đầu

Sau quá trình phân tích đặc trưng trên, chúng đã có được tập hợp các điểm dữ liệu tạo đại diện cho sự phân bố năng lượng của tín hiệu đầu vào. Vấn đề được đặt ra ở đây là làm sao chúng ta có thể ước lượng đặc trưng để thu được một tập dữ liệu nhỏ, gọn hơn, thuận tiện cho việc nhận dạng tiếng nói. Phương pháp VQ ( vector-quantization ) là một trong những phương pháp hiệu quả để thực hiện việc này.

Trong nhận dạng tiếng nói, phương pháp VQ rất thích hợp với các hệ thống nhận dạng có số từ vựng nhỏ, khoảng 10-20 từ. Phương pháp này chia các không gian lớn thành các vùng vector nhỏ hơn. Mỗi vùng nhỏ được gọi là vùng cụm thông tin (cluster), mỗi cụm thông tin được tính toán trọng tâm, trọng tâm này gọi là codeword. Tập hợp các codeword tạo thành codebook.

Các đặc tính của VQ :

- Giảm thiểu không gian lưu trữ của vector phổ.

- Giảm thời gian tính toán độ giống nhau giữa các vector phổ. Trong nhận dạng tiếng nói, một lượng lớn các phép tính dùng để tính sự giống nhau giữa 2 vector phổ. Dựa vào VQ, việc tính toán được giảm xuống qua việc tìm kiếm sự giống nhau của 2 cặp vector codebook trong bảng tìm kiếm.

- Biểu diễn rời rạc về mặt âm học của tiếng nói. Nhờ việc gán nhãn cho mỗi frame của từng từ, quá trình chọn codebook tốt nhất cho từ đó trong các hệ thống nhận dạng chỉ đơn thuần dựa trên các nhãn này.

Khuyết điểm của VQ :

- Việc lượng tử vector chắc chắn dẫn đến sai số lượng tử hóa. Điều này dẫn đến thông tin phổ bị sai lệch.

- Việc chọn codebook cho VQ không đơn giản. Tăng kích thước sẽ làm giảm sai số lượng tử nhưng lại dẫn đến vấn đề không gian lưu trữ các vector trong codebook. Vì vậy, khi cài đặt VQ, chúng ta phải cân nhắc đến 3 yếu tố : sai số lượng tử, thời gian tìm kiếm vector trong codebook và không gian lưu trữ các vector trong codebook.

6.3.2 Các yếu tố khi tổ chức VQ :sau:

Để xây dựng codebook VQ và tổ chức thuật toán cho VQ, chúng ta cần các yếu tố

- Một tập lớn các vector phổ v1,v2,..,vL là tập huấn luyện cho VQ. Nếu kích thước

codebook của VQ là M=2B (codebook B bit) thì chúng ta cần L>>M để tìm được M

vector tối ưu nhất. Thường chọn L=10M.

- Độ đo d giữa các cặp phổ để phân nhóm vector trong khâu huấn luyện, hay phân lớp vector trong khâu đánh nhãn.

- Phương pháp xác định nhân để phân hoạch L vector thành M nhóm.

- Phương pháp phân lớp các vector ngõ vào. Một vector sau khi phân lớp thì sẽ được đại diện bằng một nhãn (mã).

6.3.3 Tập huấn luyện cho VQ :

Tập huấn luyện cho VQ là tất cả các vector đặc trưng đã qua khâu tách đặc trưng của tất cả các từ. Mỗi vector là 45 hệ số về năng lượng.

6.3.4 Đo độ méo :

Thành phần quan trọng nhất của các thuật toán đối sánh mỗi là độ đo giữa 2 vector đặc trưng. Ở đây chúng ta sử dụng phương pháp hồi quy tuyến tính để xác định hệ số tương quan giữa 2 vector đặc trưng.

Hồi quy tuyến tính là một trong những phương pháp phân tích số liệu thông dụng nhất trong thống kê học. Hệ số tương quan r sẽ cho chúng ta biết sự liên hệ giữa 2 biến số x và y. Hệ số tương quan có giá trị từ -1 đến 1. Hệ số này bằng 0 khi 2 biến số không có liên hệ gì, bằng 1 hay -1 nghĩa là 2 biến số có liên hệ một cách tuyệt đối. Nếu r<0 nghĩa

là khi x tăng thì y giảm và ngược lại. Nếu r>0 nghĩa là khi x tăng thì y tăng, x giảm thì y giảm.

Có nhiều loại hệ số tương quan trong thống kê như : Pearson, Spearman, Kendall…Ở đây, em sử dụng hệ số tương quan Pearson :

là các giá trị trung bình của x và y.

Độ đo này dùng trong khâu phân lớp và gán nhãn cho vector phổ.