Whisper nedir, neden her yerde?

Son birkaç yılda sesi yazıya çeviren uygulamaların sayısı hızla arttı. Toplantı asistanları, altyazı araçları, not uygulamaları ve transkripsiyon siteleri birbiri ardına çıktı. Bunların önemli bir kısmının altında aynı model çalışıyor: Whisper. Bu yazıda Whisper'ın ne olduğunu, neden bu kadar yaygınlaştığını ve Türkçede nasıl sonuç verdiğini kendi ölçümlerimizle anlatıyoruz.

Whisper nedir?

Whisper, OpenAI'ın 2022'de açık kaynak olarak yayımladığı bir konuşma tanıma modelidir. Bir ses kaydını alır ve içinde söylenenleri metin olarak verir. Tek bir dil için değil, Türkçe dahil çok sayıda dil için eğitilmiştir. Konuşulan dili kendisi tanıyabilir.

Modelin farklı boyutlarda sürümleri vardır. Küçük sürümler sıradan bir bilgisayarda bile çalışır ama daha çok hata yapar. Büyük sürümler daha doğrudur ama güçlü bir ekran kartı ister. Bugün en çok kullanılan sürümler large-v3 ve onun daha hafif bir türevi olan large-v3 turbo'dur.

Neden her yerde?

Whisper'dan önce de konuşma tanıma vardı. Ama iyi sonuç veren sistemler büyük şirketlerin elindeydi ve yalnız onların hizmetleri üzerinden, kullanım başına ücretle erişilebiliyordu. Whisper bu tabloyu değiştirdi.

• Açık kaynak ve serbest lisans. Modelin ağırlıkları ve kodu herkese açık yayımlandı. Herkes onu indirip kendi sunucusunda çalıştırabilir, kendi ürününe koyabilir.
• Çok dilli. Tek bir model onlarca dili tanır. Her dil için ayrı bir sistem kurmak gerekmez.
• Dayanıklı. Farklı aksanlara, arka plan gürültüsüne ve farklı kayıt koşullarına dayanabilmesi için çok çeşitli kayıtlarla eğitildi.

Sonuç olarak konuşma tanıma, birkaç şirketin sattığı bir hizmet olmaktan çıkıp herkesin kullanabileceği bir altyapı parçasına dönüştü. Bugün piyasadaki pek çok transkripsiyon uygulaması aynı modeli farklı biçimlerde paketliyor. Aralarındaki fark çoğu zaman modelden değil, modeli nasıl çalıştırdıklarından ve çıktıyı nasıl işlediklerinden geliyor.

Kelime hata oranı nasıl ölçülür?

Bir konuşma tanıma sisteminin ne kadar iyi olduğunu ölçmenin standart yolu kelime hata oranıdır. Kısaca WER diye anılır. Sistemin çıkardığı metin, doğru olduğu bilinen bir metinle karşılaştırılır ve üç tür hata sayılır:

• Yanlış yazılan kelimeler.
• Atlanan kelimeler.
• Fazladan eklenen kelimeler.

Bu hataların toplamı, doğru metindeki kelime sayısına bölünür. Sonuç ne kadar düşükse sistem o kadar iyidir.

Ölçümde dikkat edilmesi gereken bir nokta var. Doğru kabul edilen metin her zaman kayıtta söylenenle birebir aynı olmayabilir. Örneğin bir sesli kitapta okuyucu bir kelimeyi kitaptakinden farklı okuyabilir ya da bir cümleyi atlayabilir. Sistem okuyucunun söylediğini doğru yazsa bile, kitabın metniyle karşılaştırıldığında bu bir hata gibi görünür. Bu yüzden iki oran veriyoruz: ham WER, metinle doğrudan karşılaştırmanın sonucudur; gerçek hata ise okuyucunun metinden saptığı yerler ayıklandıktan sonra kalan hatadır.

Türkçede kendi ölçümümüz

Türkçede hangi modelin ne kadar doğru olduğunu görmek için kendi testimizi yaptık. Test kaydı olarak Kürk Mantolu Madonna sesli kitabının ilk 25 dakikasını kullandık. Kitabın metni kamu malı olduğu için kaydı kelime kelime doğru metinle hizalayabildik. Aynı kaydı farklı modellerden ve farklı altyapılardan geçirdik.

gpt-4o-transcribe, kayıt uzunluğu sınırı yüzünden yalnız ilk 10 dakikayla denenebildi. Bu yüzden sonucu öteki satırlarla birebir karşılaştırılabilir değildir.

Sonuçlar ne söylüyor?

En düşük hatayı Scribe verdi. ElevenLabs'in Scribe modeli yalnız kelimelerde değil, noktalama ve tırnak işaretlerinde de düzgün sonuç verdi. Zor kelimeleri doğru çıkardı.

Aynı model, farklı altyapıda farklı sonuç verdi. Tablodaki large-v3 satırlarına bakın. Kendi ekran kartımızda çalıştırdığımız large-v3 ile Groq üzerinde çalışan large-v3 aynı modeldir. Ama gerçek hata oranları belirgin biçimde farklı. Fark modelin kendisinden değil, modelin çalıştırıldığı katmandan geliyor. Bu, "Whisper kullanıyoruz" diyen iki hizmetin aynı sonucu vereceği anlamına gelmediğini gösteriyor.

Kısa testler yanıltabilir. İlk denemelerimizi kısa kayıtlarla yaptık ve bu denemeler yanıltıcı çıktı. Bazı sorunlar ancak uzun kayıtlarda, belli bir süre geçtikten sonra ortaya çıkıyor. Bir sistemi değerlendirecekseniz, gerçekte kullanacağınız uzunlukta kayıtlarla deneyin.

Whisper'ın Türkçede zorlandığı yerler

• Noktalama. Konuşmada nokta ve virgül yoktur; model bunları tahmin eder. Uzun ve iç içe cümlelerde noktalama sık sık kayar.
• Özel isimler. Kişi, yer ve kurum adları, modelin eğitim verisinde az geçtiği için yanlış yazılabilir.
• Sessiz bölümler. Whisper, uzun sessizliklerde ya da yalnız gürültü bulunan bölümlerde bazen söylenmemiş bir metin üretir. Bu, modelin bilinen bir zayıflığıdır.
• Türkçe özel harfler. Bazı çalıştırma ortamlarında, ç, ğ, ı, ö, ş ve ü harflerinde kelimelerin kesildiğini gördük. Aynı model kendi ortamımızda bu hatayı vermedi; sorun modelden değil, çalıştırma katmanından kaynaklanıyor.

Ölçümün sınırları

Bu ölçüm tek bir koşulu temsil ediyor: tek konuşmacılı, profesyonelce okunmuş, temiz bir sesli kitap. Gerçek hayattaki kayıtlar çoğu zaman bundan zordur. Telefonla alınmış kayıtları, gürültülü ortamları ve birden fazla kişinin konuştuğu kayıtları henüz ölçmedik. Bu koşullarda bütün modellerin hata oranı artar ve sıralama değişebilir. Tablodaki rakamları bu koşullar için genellemeyin.

yazdım'ın Titiz modu, bu ölçümde en düşük hatayı veren ElevenLabs Scribe ile çalışır. Titiz modu ücretsiz hesapta da günde 20 dakika kullanabilirsiniz; kendi kaydınızda denemek için ücretsiz hesap açın.