Doğal iletişimi yeniden sağlamak için beyinden sese akan bir nöroprotez
Araştırmacılar, elektrokortikografi kullanarak beyin sinyallerini neredeyse gerçek zamanlı olarak duyulabilir konuşmaya sentezleyen bir akış yöntemini gösteriyor.
Araştırma:Doğal konuşma anında gerçekleşir. Konuşmada birkaç saniyeden uzun süren gecikmeler, iletişimin doğal akışını bozabilir. Bu durum, felçli bireylerin anlamlı diyaloglara katılımını zorlaştırarak izolasyon ve hayal kırıklığı hislerine yol açabilir.
Bu çalışmada, ağır felçli ve anarti (konuşma yetisini kaybetmiş) bir klinik denek üzerinde yapılan yüksek yoğunluklu yüzey elektrot kayıtlarını kullanarak, kesintisiz konuşma üretebilen doğal bir konuşma sentezleyicisini geliştirdik. Derin öğrenme tabanlı tekrarlayan sinir ağı (RNN-T) transdüser modelleri tasarlayarak, beyin sinyallerini 80 milisaniyelik artışlarla gerçek zamanlı olarak çözümleyip, deneğin felç öncesi sesine benzer, geniş kelime dağarcığına sahip, akıcı ve anlaşılır bir konuşma sentezi elde ettik.
Modelimiz, konuşma tespiti yeteneğini otomatik olarak öğrenerek konuşmayı kesintisiz olarak süresiz bir şekilde çözümleyebildi. Bu, dekoderin sürekli kullanımını mümkün kıldı ve konuşma hızını daha da artırdı.
Ayrıca, çerçevemiz tekil nöron kayıtları ve elektromiyografi (EMG) gibi diğer sessiz konuşma arayüzlerine de başarıyla genellenebildi.
Bu bulgular, felçli bireyler için doğal konuşmayı geri kazandırabilecek yeni bir konuşma-nöroprotez paradigmasını tanıtmaktadır.
Beyin-bilgisayar arayüzleri (BCI) alanında çığır açan bir buluşa imza atan UC Berkeley ve UC San Francisco'dan bir araştırma ekibi, şiddetli felç geçiren kişiler için doğal konuşmayı geri kazandırmanın bir yolunu keşfetti.
Bu çalışma, konuşma nöroprotezlerinde uzun süredir var olan gecikme sorununu, yani bir öznenin konuşmaya çalışması ile sesin üretilmesi arasındaki zaman gecikmesini çözüyor. Yapay zeka tabanlı modellemedeki son gelişmeleri kullanarak araştırmacılar, beyin sinyallerini neredeyse gerçek zamanlı olarak duyulabilir konuşmaya sentezleyen bir akış yöntemi geliştirdiler.
Bugün Nature Neuroscience'ta bildirildiği üzere , bu teknoloji konuşma yeteneğini kaybetmiş kişiler için iletişimi mümkün kılmaya yönelik kritik bir adımı temsil ediyor. Çalışma, Ulusal Sağlık Enstitüleri'nin Ulusal Sağırlık ve Diğer İletişim Bozuklukları Enstitüsü (NIDCD) tarafından destekleniyor.
“Akış yaklaşımımız, Alexa ve Siri gibi cihazların aynı hızlı konuşma kod çözme kapasitesini nöroprotezlere getiriyor,” diyor UC Berkeley'de Elektrik Mühendisliği ve Bilgisayar Bilimleri alanında Robert E. ve Beverly A. Brooks Yardımcı Doçenti ve çalışmanın eş baş araştırmacısı olan Gopala Anumanchipalli. “Benzer bir algoritma türü kullanarak, sinir verilerini kod çözebildiğimizi ve ilk kez neredeyse eşzamanlı ses akışını etkinleştirebildiğimizi gördük. Sonuç daha doğal, akıcı bir konuşma sentezi.”
Çalışmanın kıdemli eş baş araştırmacısı olan UCSF beyin cerrahı Edward Chang, "Bu yeni teknoloji, konuşmayı etkileyen şiddetli felçle yaşayan insanların yaşam kalitesini iyileştirme konusunda muazzam bir potansiyele sahip" dedi. Chang, UCSF'de, doğrudan beyin yüzeyinden sinirsel aktiviteyi kaydeden yüksek yoğunluklu elektrot dizileri kullanarak konuşma nöroprotezi teknolojisini geliştirmeyi amaçlayan bir klinik deneye liderlik ediyor. "En son yapay zeka gelişmelerinin yakın gelecekte pratik gerçek dünya kullanımı için BCI'ları büyük ölçüde hızlandırması heyecan verici" dedi.
Araştırmacılar ayrıca yaklaşımlarının, elektrotların beynin yüzeyine nüfuz ettiği mikroelektrot dizileri (MEA'lar) veya kas aktivitesini ölçmek için yüzdeki sensörleri kullanan invaziv olmayan kayıtlar (sEMG) dahil olmak üzere çeşitli diğer beyin algılama arayüzleriyle de iyi çalışabileceğini gösterdi.
“Başka sessiz konuşma veri kümelerinde doğru beyin-ses sentezini göstererek, bu tekniğin belirli bir cihaz türüyle sınırlı olmadığını gösterdik,” diyor UC Berkeley Elektrik Mühendisliği ve Bilgisayar Bilimleri Bölümü'nde doktora öğrencisi ve çalışmanın eş baş yazarı Kaylo Littlejohn. “İyi bir sinyal sağlandığı takdirde aynı algoritma farklı modalitelerde kullanılabilir.”
Sinirsel verilerin konuşmaya dönüştürülmesi
Aynı zamanda UC Berkeley'de elektrik mühendisliği ve bilgisayar bilimleri alanında doktora öğrencisi olan araştırmanın ortak yazarı Cheol Jun Cho'ya göre, nöroprotez, konuşma üretimini kontrol eden beyin bölümü olan motor korteksinden sinir verilerini örnekleyerek çalışıyor ve ardından yapay zekayı kullanarak beyin fonksiyonlarını konuşmaya dönüştürüyor.
"Biz esasen düşüncenin eklemlenmeye ve motor kontrolünün ortasına çevrildiği sinyalleri yakalıyoruz," dedi. "Bu yüzden kodladığımız şey, bir düşünce gerçekleştikten sonra, ne söyleyeceğimize karar verdikten sonra, hangi kelimeleri kullanacağımıza ve ses yolu kaslarımızı nasıl hareket ettireceğimize karar verdikten sonra oluyor."
Araştırmacılar, algoritmalarını eğitmek için gereken verileri toplamak amacıyla öncelikle Ann'in, yani deneklerinin, ekrandaki bir ifadeye bakmasını sağladılar — örneğin: "Hey, nasılsın?" — ve ardından sessizce o cümleyi söylemeye çalıştılar.
Littlejohn, "Bu bize, onun ürettiği sinirsel aktivitenin parçalı pencereleri ile söylemeye çalıştığı hedef cümle arasında, onun herhangi bir noktada ses çıkarmasına gerek kalmadan bir eşleme sağladı" dedi.
Ann'in herhangi bir kalıntı seslendirmesi olmadığından, araştırmacıların sinirsel verileri, girdiyi eşleştirebilecekleri hedef ses veya çıktıları yoktu. Bu zorluğu, eksik ayrıntıları doldurmak için AI kullanarak çözdüler.
Cho, "Ses üretmek ve bir hedefi simüle etmek için önceden eğitilmiş bir metinden sese dönüştürme modeli kullandık," dedi. "Ayrıca Ann'in yaralanmadan önceki sesini de kullandık, böylece çıktıyı deşifre ettiğimizde daha çok ona benziyor."
Konuşmanın neredeyse gerçek zamanlı olarak yayınlanması
Önceki BCI çalışmalarında araştırmacıların kod çözme için uzun bir gecikmesi vardı, tek bir cümle için yaklaşık 8 saniyelik bir gecikme. Yeni akış yaklaşımıyla, özne konuşmaya çalışırken neredeyse gerçek zamanlı olarak duyulabilir çıktı üretilebilir.
Gecikmeyi ölçmek için araştırmacılar, konuşma girişiminin başlangıcını gösteren beyin sinyallerini belirlemelerine olanak tanıyan konuşma algılama yöntemlerini kullandılar.
"Bu niyet sinyaline göre 1 saniye içinde ilk sesi aldığımızı görebiliyoruz," dedi Anumanchipalli. "Ve cihaz konuşmayı sürekli olarak çözebiliyor, böylece Ann kesintisiz konuşmaya devam edebiliyor."
Bu daha yüksek hız, hassasiyet pahasına olmadı. Daha hızlı arayüz, önceki, akışsız yaklaşımlarıyla aynı yüksek düzeyde kod çözme doğruluğu sağladı.
"Bunu görmek umut verici," dedi Littlejohn. "Daha önce, anlaşılır konuşmanın beyinden gerçek zamanlı olarak aktarılıp aktarılamayacağı bilinmiyordu."
Anumanchipalli, araştırmacıların büyük ölçekli AI sistemlerinin öğrenip adapte olup olmadığını veya sadece kalıp eşleştirip eğitim verilerinin bölümlerini tekrarlayıp tekrarlamadığını her zaman bilemediklerini ekledi. Bu nedenle araştırmacılar ayrıca gerçek zamanlı modelin eğitim veri kümesi sözlüğünün parçası olmayan kelimeleri sentezleme yeteneğini de test ettiler - bu durumda, NATO fonetik alfabesinden alınan 26 nadir kelime, örneğin "Alfa", "Bravo", "Charlie" vb.
"Görünmeyen kelimelere genelleme yapıp Ann'in konuşma kalıplarını gerçekten çözüp çözemeyeceğimizi görmek istedik," dedi. "Modelimizin bunu iyi yaptığını gördük, bu da sesin veya sesin yapı taşlarını gerçekten öğrendiğini gösteriyor."
2023 çalışmasına da katılan Ann, araştırmacılarla yeni akış sentezi yaklaşımıyla ilgili deneyimlerini, önceki çalışmadaki metinden sese kod çözme yöntemiyle nasıl karşılaştırdığını paylaştı.
"Akışlı sentezin daha iradeli olarak kontrol edilen bir yöntem olduğunu iletti," dedi Anumanchipalli. "Kendi sesini neredeyse gerçek zamanlı olarak duymak onun bedensellik duygusunu artırdı."
Gelecek yönleri
Bu son çalışma, araştırmacıları BCI cihazlarıyla doğal konuşmaya ulaşmaya bir adım daha yaklaştırırken, gelecekteki gelişmeler için de temel oluşturuyor.
Cho, "Bu kavram kanıtı çerçevesi oldukça çığır açıcı," dedi. "Artık her düzeyde ilerleme kaydedebileceğimiz konusunda iyimseriz. Örneğin mühendislik tarafında, konuşmayı nasıl daha iyi ve daha hızlı üretebileceğimizi görmek için algoritmayı zorlamaya devam edeceğiz."
Araştırmacılar ayrıca, heyecanlı olunduğunda olduğu gibi, konuşma sırasında oluşan ton, perde veya yükseklikteki değişiklikleri yansıtmak için çıkış sesine ifade gücü katmaya odaklanmaya devam ediyorlar.
Littlejohn, "Bu devam eden bir çalışma, beyin aktivitesinden bu paralinguistik özellikleri ne kadar iyi çözebileceğimizi görmeye çalışmak," dedi. "Bu, klasik ses sentezi alanlarında bile uzun süredir devam eden bir sorundur ve tam ve eksiksiz doğalcılığa giden boşluğu kapatacaktır."
Bu araştırmaya, NIDCD'nin yanı sıra Japonya Bilim ve Teknoloji Ajansı'nın Moonshot Araştırma ve Geliştirme Programı, Joan ve Sandy Weill Vakfı, Susan ve Bill Oberndorf, Ron Conway, Graham ve Christina Spencer, William K. Bowes, Jr. Vakfı, Rose Hills Yenilikçi ve UC Noyce Araştırmacısı programları ve Ulusal Bilim Vakfı da destek sağladı.
https://engineering.berkeley.edu/news/2025/03/brain-to-voice-neuroprosthesis-restores-naturalistic-speech
https://www.nature.com/articles/s41593-025-01905-6?
Araştırmacılar, elektrokortikografi kullanarak beyin sinyallerini neredeyse gerçek zamanlı olarak duyulabilir konuşmaya sentezleyen bir akış yöntemini gösteriyor.
Araştırma:Doğal konuşma anında gerçekleşir. Konuşmada birkaç saniyeden uzun süren gecikmeler, iletişimin doğal akışını bozabilir. Bu durum, felçli bireylerin anlamlı diyaloglara katılımını zorlaştırarak izolasyon ve hayal kırıklığı hislerine yol açabilir.
Bu çalışmada, ağır felçli ve anarti (konuşma yetisini kaybetmiş) bir klinik denek üzerinde yapılan yüksek yoğunluklu yüzey elektrot kayıtlarını kullanarak, kesintisiz konuşma üretebilen doğal bir konuşma sentezleyicisini geliştirdik. Derin öğrenme tabanlı tekrarlayan sinir ağı (RNN-T) transdüser modelleri tasarlayarak, beyin sinyallerini 80 milisaniyelik artışlarla gerçek zamanlı olarak çözümleyip, deneğin felç öncesi sesine benzer, geniş kelime dağarcığına sahip, akıcı ve anlaşılır bir konuşma sentezi elde ettik.
Modelimiz, konuşma tespiti yeteneğini otomatik olarak öğrenerek konuşmayı kesintisiz olarak süresiz bir şekilde çözümleyebildi. Bu, dekoderin sürekli kullanımını mümkün kıldı ve konuşma hızını daha da artırdı.
Ayrıca, çerçevemiz tekil nöron kayıtları ve elektromiyografi (EMG) gibi diğer sessiz konuşma arayüzlerine de başarıyla genellenebildi.
Bu bulgular, felçli bireyler için doğal konuşmayı geri kazandırabilecek yeni bir konuşma-nöroprotez paradigmasını tanıtmaktadır.
Beyin-bilgisayar arayüzleri (BCI) alanında çığır açan bir buluşa imza atan UC Berkeley ve UC San Francisco'dan bir araştırma ekibi, şiddetli felç geçiren kişiler için doğal konuşmayı geri kazandırmanın bir yolunu keşfetti.
Bu çalışma, konuşma nöroprotezlerinde uzun süredir var olan gecikme sorununu, yani bir öznenin konuşmaya çalışması ile sesin üretilmesi arasındaki zaman gecikmesini çözüyor. Yapay zeka tabanlı modellemedeki son gelişmeleri kullanarak araştırmacılar, beyin sinyallerini neredeyse gerçek zamanlı olarak duyulabilir konuşmaya sentezleyen bir akış yöntemi geliştirdiler.
Bugün Nature Neuroscience'ta bildirildiği üzere , bu teknoloji konuşma yeteneğini kaybetmiş kişiler için iletişimi mümkün kılmaya yönelik kritik bir adımı temsil ediyor. Çalışma, Ulusal Sağlık Enstitüleri'nin Ulusal Sağırlık ve Diğer İletişim Bozuklukları Enstitüsü (NIDCD) tarafından destekleniyor.
“Akış yaklaşımımız, Alexa ve Siri gibi cihazların aynı hızlı konuşma kod çözme kapasitesini nöroprotezlere getiriyor,” diyor UC Berkeley'de Elektrik Mühendisliği ve Bilgisayar Bilimleri alanında Robert E. ve Beverly A. Brooks Yardımcı Doçenti ve çalışmanın eş baş araştırmacısı olan Gopala Anumanchipalli. “Benzer bir algoritma türü kullanarak, sinir verilerini kod çözebildiğimizi ve ilk kez neredeyse eşzamanlı ses akışını etkinleştirebildiğimizi gördük. Sonuç daha doğal, akıcı bir konuşma sentezi.”
Çalışmanın kıdemli eş baş araştırmacısı olan UCSF beyin cerrahı Edward Chang, "Bu yeni teknoloji, konuşmayı etkileyen şiddetli felçle yaşayan insanların yaşam kalitesini iyileştirme konusunda muazzam bir potansiyele sahip" dedi. Chang, UCSF'de, doğrudan beyin yüzeyinden sinirsel aktiviteyi kaydeden yüksek yoğunluklu elektrot dizileri kullanarak konuşma nöroprotezi teknolojisini geliştirmeyi amaçlayan bir klinik deneye liderlik ediyor. "En son yapay zeka gelişmelerinin yakın gelecekte pratik gerçek dünya kullanımı için BCI'ları büyük ölçüde hızlandırması heyecan verici" dedi.
Araştırmacılar ayrıca yaklaşımlarının, elektrotların beynin yüzeyine nüfuz ettiği mikroelektrot dizileri (MEA'lar) veya kas aktivitesini ölçmek için yüzdeki sensörleri kullanan invaziv olmayan kayıtlar (sEMG) dahil olmak üzere çeşitli diğer beyin algılama arayüzleriyle de iyi çalışabileceğini gösterdi.
“Başka sessiz konuşma veri kümelerinde doğru beyin-ses sentezini göstererek, bu tekniğin belirli bir cihaz türüyle sınırlı olmadığını gösterdik,” diyor UC Berkeley Elektrik Mühendisliği ve Bilgisayar Bilimleri Bölümü'nde doktora öğrencisi ve çalışmanın eş baş yazarı Kaylo Littlejohn. “İyi bir sinyal sağlandığı takdirde aynı algoritma farklı modalitelerde kullanılabilir.”
Sinirsel verilerin konuşmaya dönüştürülmesi
Aynı zamanda UC Berkeley'de elektrik mühendisliği ve bilgisayar bilimleri alanında doktora öğrencisi olan araştırmanın ortak yazarı Cheol Jun Cho'ya göre, nöroprotez, konuşma üretimini kontrol eden beyin bölümü olan motor korteksinden sinir verilerini örnekleyerek çalışıyor ve ardından yapay zekayı kullanarak beyin fonksiyonlarını konuşmaya dönüştürüyor.
"Biz esasen düşüncenin eklemlenmeye ve motor kontrolünün ortasına çevrildiği sinyalleri yakalıyoruz," dedi. "Bu yüzden kodladığımız şey, bir düşünce gerçekleştikten sonra, ne söyleyeceğimize karar verdikten sonra, hangi kelimeleri kullanacağımıza ve ses yolu kaslarımızı nasıl hareket ettireceğimize karar verdikten sonra oluyor."
Araştırmacılar, algoritmalarını eğitmek için gereken verileri toplamak amacıyla öncelikle Ann'in, yani deneklerinin, ekrandaki bir ifadeye bakmasını sağladılar — örneğin: "Hey, nasılsın?" — ve ardından sessizce o cümleyi söylemeye çalıştılar.
Littlejohn, "Bu bize, onun ürettiği sinirsel aktivitenin parçalı pencereleri ile söylemeye çalıştığı hedef cümle arasında, onun herhangi bir noktada ses çıkarmasına gerek kalmadan bir eşleme sağladı" dedi.
Ann'in herhangi bir kalıntı seslendirmesi olmadığından, araştırmacıların sinirsel verileri, girdiyi eşleştirebilecekleri hedef ses veya çıktıları yoktu. Bu zorluğu, eksik ayrıntıları doldurmak için AI kullanarak çözdüler.
Cho, "Ses üretmek ve bir hedefi simüle etmek için önceden eğitilmiş bir metinden sese dönüştürme modeli kullandık," dedi. "Ayrıca Ann'in yaralanmadan önceki sesini de kullandık, böylece çıktıyı deşifre ettiğimizde daha çok ona benziyor."
Konuşmanın neredeyse gerçek zamanlı olarak yayınlanması
Önceki BCI çalışmalarında araştırmacıların kod çözme için uzun bir gecikmesi vardı, tek bir cümle için yaklaşık 8 saniyelik bir gecikme. Yeni akış yaklaşımıyla, özne konuşmaya çalışırken neredeyse gerçek zamanlı olarak duyulabilir çıktı üretilebilir.
Gecikmeyi ölçmek için araştırmacılar, konuşma girişiminin başlangıcını gösteren beyin sinyallerini belirlemelerine olanak tanıyan konuşma algılama yöntemlerini kullandılar.
"Bu niyet sinyaline göre 1 saniye içinde ilk sesi aldığımızı görebiliyoruz," dedi Anumanchipalli. "Ve cihaz konuşmayı sürekli olarak çözebiliyor, böylece Ann kesintisiz konuşmaya devam edebiliyor."
Bu daha yüksek hız, hassasiyet pahasına olmadı. Daha hızlı arayüz, önceki, akışsız yaklaşımlarıyla aynı yüksek düzeyde kod çözme doğruluğu sağladı.
"Bunu görmek umut verici," dedi Littlejohn. "Daha önce, anlaşılır konuşmanın beyinden gerçek zamanlı olarak aktarılıp aktarılamayacağı bilinmiyordu."
Anumanchipalli, araştırmacıların büyük ölçekli AI sistemlerinin öğrenip adapte olup olmadığını veya sadece kalıp eşleştirip eğitim verilerinin bölümlerini tekrarlayıp tekrarlamadığını her zaman bilemediklerini ekledi. Bu nedenle araştırmacılar ayrıca gerçek zamanlı modelin eğitim veri kümesi sözlüğünün parçası olmayan kelimeleri sentezleme yeteneğini de test ettiler - bu durumda, NATO fonetik alfabesinden alınan 26 nadir kelime, örneğin "Alfa", "Bravo", "Charlie" vb.
"Görünmeyen kelimelere genelleme yapıp Ann'in konuşma kalıplarını gerçekten çözüp çözemeyeceğimizi görmek istedik," dedi. "Modelimizin bunu iyi yaptığını gördük, bu da sesin veya sesin yapı taşlarını gerçekten öğrendiğini gösteriyor."
2023 çalışmasına da katılan Ann, araştırmacılarla yeni akış sentezi yaklaşımıyla ilgili deneyimlerini, önceki çalışmadaki metinden sese kod çözme yöntemiyle nasıl karşılaştırdığını paylaştı.
"Akışlı sentezin daha iradeli olarak kontrol edilen bir yöntem olduğunu iletti," dedi Anumanchipalli. "Kendi sesini neredeyse gerçek zamanlı olarak duymak onun bedensellik duygusunu artırdı."
Gelecek yönleri
Bu son çalışma, araştırmacıları BCI cihazlarıyla doğal konuşmaya ulaşmaya bir adım daha yaklaştırırken, gelecekteki gelişmeler için de temel oluşturuyor.
Cho, "Bu kavram kanıtı çerçevesi oldukça çığır açıcı," dedi. "Artık her düzeyde ilerleme kaydedebileceğimiz konusunda iyimseriz. Örneğin mühendislik tarafında, konuşmayı nasıl daha iyi ve daha hızlı üretebileceğimizi görmek için algoritmayı zorlamaya devam edeceğiz."
Araştırmacılar ayrıca, heyecanlı olunduğunda olduğu gibi, konuşma sırasında oluşan ton, perde veya yükseklikteki değişiklikleri yansıtmak için çıkış sesine ifade gücü katmaya odaklanmaya devam ediyorlar.
Littlejohn, "Bu devam eden bir çalışma, beyin aktivitesinden bu paralinguistik özellikleri ne kadar iyi çözebileceğimizi görmeye çalışmak," dedi. "Bu, klasik ses sentezi alanlarında bile uzun süredir devam eden bir sorundur ve tam ve eksiksiz doğalcılığa giden boşluğu kapatacaktır."
Bu araştırmaya, NIDCD'nin yanı sıra Japonya Bilim ve Teknoloji Ajansı'nın Moonshot Araştırma ve Geliştirme Programı, Joan ve Sandy Weill Vakfı, Susan ve Bill Oberndorf, Ron Conway, Graham ve Christina Spencer, William K. Bowes, Jr. Vakfı, Rose Hills Yenilikçi ve UC Noyce Araştırmacısı programları ve Ulusal Bilim Vakfı da destek sağladı.
https://engineering.berkeley.edu/news/2025/03/brain-to-voice-neuroprosthesis-restores-naturalistic-speech
https://www.nature.com/articles/s41593-025-01905-6?