Multi sensory Systems

Sistem Multi- Sensory

 

Ikhtisar

Sistem multi-indera menggunakan lebih dari satu inderachannel dalam interaksiMisalnya suara , teks, hypertext , animasi , video, gerakan, dll. Digunakan dalam berbagai aplikasi, sangat baik untukpengguna dengan kebutuhan khusus, dan virtual reality.

 

Ringkasan Topik

Berikut topik yang akan dibahas :

  • terminologi umum
  • pengenalan
  • suara non -speech
  • tulisan tangan
  • teks dan hypertext
  • animasi dan video

mempertimbangkan aplikasi serta prinsip-prinsip

 

Senses Usable

Ada 5 indra ( penglihatan, suara , sentuhan , rasa dan bau )digunakan oleh kita setiap hari

  • masing-masing memiliki peran penting.
  • Keamaan itu, mereka menyediakan interaksi yang lebih lengkapdengan lingupnya.

 

Komputer jarang memberikan interaksi yang seperti itu.

Dapatkah kita menggunakan semua indera yang tersedia ?

idealnya , ya

praktis – tidak ada

Kita dapat menggunakan

  • Bunyi
  • sentuh ( kadang-kadang )

Kita tidak bisa ( belum) menggunakan

  • rasa
  • bau

 

Multi-modal vs Multi-media

Sistem multi -modal

  • menggunakan lebih dari satu arti ( atau mode) dariinteraksi

misalnya : visual dan indra : prosesor mungkin dapatberkomunikasi kelayar monitor.

Sistem multi -media

  • menggunakan sejumlah media yang berbeda untukmengkomunikasikan informasi

misalnya : sistem pengajaran berbasis komputer dapat menggunakan video,animasi , teks dan gambar diam : media yang berbeda semua menggunakanmodus visual interaksi . Hal ini juga dapat menggunakan suara , baik langsung maupun tidak langsung : dua media yang lebih , sekarang menggunakanmodus yang berbeda .

 

Speech

Manusia memiliki penguasaan yang besar dan alami dalam berbicara

  • membuatnya sulit untuk menghargai kerumitan, tetapiini merupakan media yang mudah untuk komunikasi

Struktur Speech

  • fonem – 40 dari mereka : unit atom dasar, yangterdengar sedikit berbeda tergantung pada konteks keberadaan mereka lebih besar dari suara.
  • alofon – semua suara dalam bahasa :antara 120 dan 130 dari mereka . Ini terbentukmenjadiUnit morfem – terkecil dari bahasa yang memiliki arti.

Terminologi lain:

  • prosodi – perubahan dalam nada dan kualitas : memungkinkanvariasi penekanan , tegangan, jeda dan pitchmemberikan lebih banyak makna kalimat .
  • co – artikulasi – pengaruh konteks pada suara ;co – artikulasi mengubah set fonem ke dalamset alofon .
  • sintaks – struktur kalimat
  • semantik – makna kalimat

 

Pengenalan Masalah Speech

Orang yang berbeda dalam berbicara dalam : aksen, intonasi, tegangan, idiom , volume dan sebagainya semua berbeda.

Sintaks dari kalimat semantik mungkinbervariasi .

Suara latar belakang dapat mengganggu .

Orang sering ” ummm ….. ” atau ” errr ….. “

Menyadari kata-kata bukanlah tujuan akhir dari sebuahSistem pengenalan suara : semantik harusdiekstrak juga. Hal ini sering membutuhkan intelijen untukmemahami kalimat : konteks bicara harus diketahui , seperti halnya informasi tentang subjek dan pembicara .

contoh:

misalkan

” Errr …. Aku , bukan , tidak seperti ini “diakui , itu adalah bagian cukup berguna dariinformasi tentang itu sendiri

 

The Fonetik Typewriter

Dikembangkan untuk Finlandia ( bahasa fonetik , ditulis seperti yang dikatakan ).Dilatih di satu pembicara , akan menggeneralisasi kepada orang lain .Sebuah jaringan saraf dilatih mengelompok bersama-sama seperti suara , yang kemudian diberi label dengansesuai karakter . Ketika mengenali suara diucapkan adalahdialokasikan ke output yang terdekat, dankarakter untuk output yang dicetak .

  • membutuhkan kamus besar variasi kecil untukmekanisme umum yang benar
  • kinerja terasa lebih miskin di speaker memilikibelum dilatih

 Gambar

Speech Recognition : saat ini berguna ?

Pengguna tunggal, sistem kosakata terbatas dapat bekerjamemuaskan Tidak ada pengguna umum, sistem kosa kata umumsukses secara komersial , namun memiliki Potensi besar seperti :

  • ketika pengguna tangan sudah diduduki – manufaktur , misalnya
  • untuk pengguna dengan cacat fisik
  • ringan , perangkat mobile

 

Sintesis ucapan

Sintesis ucapan : generasi ucapan sangat berguna – cara alami dan akrab menerimaInformasi. Masalah – mirip dengan pengakuan : prosodikhususnyamasalah tambahan

  • mengganggu – baik memerlukan headphone , atau menciptakankebisingan di tempat kerja
  • transient – lebih sulit untuk meninjau dan menelusuri keberhasilan dalam aplikasi dibatasi tertentu,biasanya ketika pengguna terutama termotivasi untukmengatasi masalah dan memiliki beberapa alternatif
  • pembaca layar – membaca tampilan tekstual keuser: dimanfaatkan oleh orang-orang tunanetra
  • sinyal peringatan – informasi yang diucapkan kadang-kadangdisajikan kepada pilot yang keterampilan visual dan haptic yangsudah terisi

 

Non -Speech Suara

Boings , poni , berderit , klik dll

  • umum digunakan dalam interface untuk memberikan peringatandan alarmBukti menunjukkan bahwa mereka berguna
  • kesalahan pengetikan sedikit dengan klik tombol
  • video game lebih keras tanpa suara

Dual mode display : informasi yang disajikan bersamadua saluran sensorik yang berbeda

Memungkinkan untuk presentasi berlebihan informasi – pengguna dapat memanfaatkan mana mereka menemukan termudahMemungkinkan resolusi ambiguitas dalam satu modus melalui

informasi yang terkandung dalam lainnyaSuara sangat baik untuk informasi sementara, dan

informasi status latar belakangHal ini juga bahasa / budaya independen , seperti

Contoh: Suara dapat digunakan sebagai modus berlebihandi Apple Macintosh ; hampir semua tindakan pengguna ( berkasseleksi, jendela aktif , insert disk, kesalahan pencarian ,

salinan lengkap , dll ) dapat memiliki suara yang berbedaterkait dengan itu .

 

 

Ikon auditory

Gunakan suara alam untuk mewakili berbagai jenisobyek atau tindakanSuara alam telah dikaitkan semantik yangdapat dipetakan ke arti yang sama dalaminteraksi

  • misalnya melemparkan sesuatu yang jauh dapat direpresentasikanoleh suara sesuatu smashing.

Masalah: tidak semua hal telah dikaitkan arti :misalnya penyalinan

Aplikasi: SonicFinder untuk Macintosh yangProduk dan tindakan pada desktop telah dikaitkansuara

  • folder memiliki suara tipis
  • memindahkan file disertai dengan suara menyeret
  • menyalin ( masalah satu ) memiliki suara cairanyang dituangkan ke dalam wadah sebuah ; pitch meningkatmenunjukkan kemajuan salinan
  • file-file besar memiliki suara lebih keras daripada yang lebih kecilInformasi tambahan juga dapat disajikan :
  • suara teredam mengindikasikan objek dikaburkan atausuatu tindakan di latar belakang
  • penggunaan stereo memungkinkan informasi posisi menjadiditambahkan

 

Earcons

Suara sintetis yang digunakan untuk menyampaikan informasi Kombinasi terstruktur catatan, yang disebut motif,digunakan untuk mewakili tindakan dan benda-bendaMotif dikombinasikan untuk memberikan informasi yang kaya

  • earcons senyawabeberapa motif dikombinasikan untuk membuat satu lagiearcon rumit : misalnyamembuat icon diikutidengan file iconcatatan , mendapatkan nada tinggi – rendah.

Gambar

  • earcons keluargasejenis earcons mewakili kelas yang samatindakan atau objek serupa : keluarga ” kesalahan ” akan nmengandung sintaks dan sistem operasi kesalahanEarcons mudah dikelompokkan dan diperbaiki karenasifat komposisi dan hirarkisSulit untuk mengasosiasikan dengan tugas antarmuka karenatidak ada pemetaan alami

 

handwriting recognition

Handwritingadalah mekanisme komunikasi lainyang kita digunakan untukteknologiTulisan Tangan terdiri dari stroke yang kompleks dan ruangDitangkap oleh digitalisasi tablet – stroke berubah menjadiurutan titik

  • tablet skala besar yang tersedia , lebih cocok untukpeta digitalisasi dan gambar teknis
  • perangkat yang lebih kecil , beberapa menggabungkan layar tipis untukmenampilkan informasi , menjadi tersedia misalnyayang diproduksi oleh Apple sebagai penyelenggara pribadi

pengakuan

  • perbedaan pribadi dalam formasi huruf
  • Efek co – artikulasi

Keberhasilan terbatas adalah sistem yang dilatih padabeberapa pengguna , dengan huruf terpisahMulti-user secara alami ditulis pengakuan teks umumsistem saat ini tidak akurasi yang signifikan untukmenjadi sukses secara komersial

Teks dan Hypertext

Text ini bentuk umum dari output, dan sangat berguna dalambanyak situasi

  • membebankan kemajuan linear yang ketat pada pembaca ,sesuai dengan ide penulis tentang apa yang terbaik – inimungkin tidak ideal
  • Struktur hypertext blok teks ke dalam jala ataujaringan yang dapat dilalui dengan berbagai cara
  • memungkinkan pengguna untuk mengikuti ide-ide mereka sendiri dankonsep melalui informasi

Sistem hypertext terdiri dari :

  • jumlah halaman , dan
  • Link , yang memungkinkan satu halaman yang akan diaksesdari yang lain

 

contoh

Sebuah petunjuk teknis untuk mesin fotokopi mungkin memiliki semuakata-kata teknis terkait dengan definisi mereka dalamglossary . Dimungkinkan untuk mengikuti link sehingga

seseorang membaca semua informasi pada aspek tertentudari sistem, seperti semua elektronik, atau mengikutirute yang berbeda melalui data untuk memecahkan masalahdengan, katakanlah, menyalin dokumen dua sisi banyak halaman yang dikunjungi akan identik dalam keduakasus, tetapi akan ditemui dalam urutan yang berbeda.

 

Hypermedia

Sistem hypermedia adalah sistem hypertext yangmenggabungkan media tambahan , seperti ilustrasi ,foto , video dan suara.

Terutama berguna untuk tujuan pendidikan

  • animasi dan grafis dapat memungkinkan pengguna untuk melihatterjadi hal-hal serta membaca
  • Struktur hypertextual memungkinkan pengguna untuk mengeksplorasi dilangkah mereka sendiri setelah benang yang menarik perhatian mereka

Masalah

  • ” hilang dalam hyperspace ” – pengguna dapat yakin untukdi mana di web hypertext mereka. Peta dari hypertext adalah solusi parsial , tapi karenahypertexts bisa besar ini dapat menjadi sesuatu yang membingungkan.
  • Cakupan lengkap informasi
  • Karena ada begitu banyak rute yang berbeda melaluihypertext , adalah mungkin untuk kehilangan potongan , dengan mengambilrute yang menghindari daerah-daerah
  • Sulit untuk mencetak dan mengambil
  • Dokumen yang dicetak membutuhkan struktur linear ; itu bisasulit untuk mendapatkan informasi yang relevan dicetakdengan cara yang rapi.

 

Animasi

Animasi mengacu pada penambahan gerak gambar ;mereka mengubah dan bergerak dalam waktu.

Contoh sederhana :

 

 

  • Jam

Digital wajah – detik film masa laluAnalog wajah – menyapu tangan kedua putaran terus-menerusSalvador Dali Jam – angka digital warp dan meleleh , satudigit ke depan.

 

  • Kursor

jam pasir / menonton / berputar disc menunjukkan sistem inisibukberkedip kursor menunjukkan posisi mengetik jelasberbagai jenis kursor pointer menunjukkan berbedafungsi yang tersedia , atau berbeda modus

     

Animasi yang digunakan untuk efek yang besar untuk menunjukkan informasi temporal bervariasi.Berguna dalam pendidikan dan pelatihan : memungkinkan pengguna untuk melihathal yang terjadi , serta menjadi menarik dangambar menghibur di kanan mereka sendiri.

Contoh: Visualisasi Data

Perubahan mendadak dan halus dalam multi – dimensidata dapat divisualisasikan menggunakan animasi , berwarnapermukaan yang riak dan berfluktuasi.Molekul kompleks dan interaksi mereka dapatlebih mudah dipahami ketika mereka ditarik danpindah layar , diputar dan dilihat dariposisi sewenang-wenang .

 

Video dan Digital Video

Teknologi compact disc merevolusisistem multimedia : sejumlah besar video,grafis , suara dan teks dapat disimpan dan mudahdiambil pada relatif murah dan dapat diaksesmedium.

Pendekatan yang berbeda , ditandai dengan berbagaiteknik kompresi yang memungkinkan lebih banyak data untukdiperas ke disk

  • CD – I: sangat baik untuk kerja full-screen . video terbatasdan masih kemampuan gambar ; ditargetkan pada rumah tanggapasar.
  • CD – XA ( eXtended Architecture ) : pengembanganCD -I , audio digital yang lebih baik dan gambar diam.
  • DVI ( Digital Video Interactive ) / UVC ( UniversalVideo Communications ) : mendukung video gerak penuh.

Contoh: Palenque – sistem berbasis DVI

Prototipe sistem multimedia multimodal , di manapengguna berkeliaran di sekitar sebuah situs Maya . Menggunakan video,gambar, teks dan suara .QuickTime dari Apple merupakan standar untukmemasukkan video ke dalam antarmuka. kompresi ,penyimpanan , format dan sinkronisasi semua didefinisikan ,memungkinkan berbagai aplikasi untuk menggabungkan

video dalam cara yang konsisten .

 

Memanfaatkan animasi dan video

Animasi dan video adalah alat berpotensi kuat melihat keberhasilan televisi dan arcade game Namun, standar pendekatan untuk antarmukadesain tidak memperhitungkan kemungkinan penuhmedia sepertiKita mungkin hanya akan mulai menuai manfaat penuhdari teknologi ini ketika kita memiliki lebih banyakpengalaman.Kita juga perlu belajar dari para ahli ini barubentuk seni : desainer antarmuka perlu mendapatkanketerampilan pembuat film dan kartunis serta senimandan penulis .

 

Aplikasi

Pengguna dengan kebutuhanmemilikikekhususan persyaratan yang sering dilayani oleh

multimedia dan / atau sistem multimodal.

  • tunanetra – pembaca layar , SonicFinder
  • cacat fisik – masukan pidato , gesturepengakuan , sistem prediksi (mis. ReactiveKeyboard)
  • ketidakmampuan belajar ( misalnya disleksia ) – masukan pidato ,keluaran

 

Virtual Reality

Multimedia interaksi multimodal pada yang palingekstrim , VR adalah simulasi komputer dari dunia diuser yang tenggelam.

  • headset memungkinkan pengguna untuk “melihat ” dunia maya
  • pengakuan gerakan dicapai dengan DataGlove (lycrasarung tangan dengan sensor optik yang mengukur tangan dan jari posisi)
  • Eyegaze memungkinkan pengguna untuk menunjukkan arah denganmata saja

contoh :

VR dalam kimia – pengguna dapat memanipulasi molekul dalamruang, mengubahnya dan mencoba menyesuaikan yang berbedabersama-sama untuk memahami sifat dan reaksiIkatanSimulator penerbangan – layar menunjukkan ” dunia ” di luar ,sementara kontrol kokpit yang setia direproduksidalam kotak hidrolik animasi.

 

 

 

 

Categories: Uncategorized | Tinggalkan komentar

Navigasi pos

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s

Blog di WordPress.com.

Orang-orang yang berhenti belajar akan menjadi pemilik masa lalu. Orang-orang yang masih terus belajar, akan menjadi pemilik masa depan

The WordPress.com Blog

The latest news on WordPress.com and the WordPress community.

%d blogger menyukai ini: