Tugas IR 1 (Kelas A)

Tugas Information Retrieval

Proses Text Processing Term

Weighting

  

Dosen Pembimbing :

Ratri Enggar Pawening, S.Kom

Oleh :

Nama : Uci Elistari

Nim : 10011668

Kelas : A

JURUSAN TEKNIK INFORMATIKA

SEKOLAH TINGGI TEKNOLOGI NURUL JADID

PAITON PROBOLINGGO 2012

 

Tugas Information Retrieval 2 (Kelas A)

Tugas Information Retrieval

Standart Test Collection

Dosen Pembimbing :

Ratri Enggar Pawening, S.Kom

Oleh :

Nama : Uci Elistari

Nim : 10011668

Kelas : A

JURUSAN TEKNIK INFORMATIKA

SEKOLAH TINGGI TEKNOLOGI NURUL JADID

PAITON PROBOLINGGO 2012

 

PEMBAHASAN

STANDARD TEST COLLECTION

   A.    Cranfield 

Percobaan pengindeksan Cranfield pada 1960-an sering disebut sebagai awal dari era modern berbasis komputer evaluasi sistem pencarian (Cleverdon, Mills dan Keen, 1966). Dalam studi Cranfield, percobaan pengambilan dilakukan pada berbagai database uji dalam pengaturan, terkontrol laboratorium seperti pada seri kedua percobaan, yang dikenal sebagai Cranfield II,. bahasa pengindeksan alternatif merupakan variabel kinerja dalam penyelidikan. Tujuan penelitian ini adalah untuk menemukan cara-cara untuk meningkatkan efektivitas pengambilan relatif sistem IR melalui.

Bahasa pengindeksan yang lebih baik dan metode (Cleverdon, 1970) Komponen percobaan Cranfield adalah: koleksi tes kecil dokumen, satu set pertanyaan tes, dan satu set penilaian relevansi, yaitu satu set dokumen dinilai tidak relevan dengan setiap query. pencari Manusia, interaksi mereka dengan sistem, interpretasi mereka dari query, dan penilaian proses terbentuk mereka relevansi bukanlah faktor termasuk dalam percobaan ini. Untuk tujuan perbandingan kinerja, maka perlu untuk memilih ukuran kuantitatif output dokumen yang relevan oleh sistem dalam kondisi yang terkendali berbagai. Tindakan yang digunakan dalam percobaan II Cranfield adalah mengingat dan presisi, turunan dari konsep relevansi "(Hildreth, 2001)

Baik dari segi metodologi dan konten, transisi dari Cranfield 1 sampai 2 Cranfield adalah suatu lompatan besar maju. Untuk konten, fokus masih pada ‘bahasa pengindeksan’: bahasa buatan dibangun untuk memungkinkan representasi dokumen dan permintaan dalam beberapa cara sebagian-formal.

Namun, bukannya mengobati seperti bahasa sebagai kotak hitam didefinisikan oleh beberapa prinsip umum utama, upaya telah dilakukan untuk mengurai rinci proses membangun bahasa menjadi langkah-langkah kecil dan untuk mengevaluasi langkah-langkah. Kesimpulan yang luas-sikat, bahwa hal terbaik untuk dilakukan adalah untuk mencari pada kombinasi kata, meninggalkan kata-kata bahasa alami hamper tersentuh, cukup mengejutkan bagi banyak orang pada saat itu, meskipun akan jauh lebih mengejutkan sekarang, mengingat dominasi kata berbasis mesin pencari.

Namun prestasi yang lebih signifikan dari Cranfield 2 adalah untuk mendefinisikan gagasan kita tentang metodologi IR eksperimen. Ide-ide dasar dari dokumen mengumpulkan dan pertanyaan yang diwarisi dari Cranfield 1, tetapi perubahan terbesar menyangkut gagasan jawaban yang baik.

Metode di Cranfield 1 adalah untuk menggunakan ‘dokumen sumber’ – Yaitu, mulai dari suatu dokumen yang dikenal dan merumuskan pertanyaan mana dokumen itu adalah jawaban yang cocok (Lebih khusus, penulis dokumen diminta untuk merumuskan pertanyaan yang mendorong pekerjaan untuk Kita dapat mencatat lagi bahwa bahkan kata ini berbasis pencarian eksperimen di Cranfield 2 dilakukan tanpa bantuan komputer dalam bentuk apapun, dilakukan di tempat pertama) lalu.

 Kriteria untuk sistem pencarian adalah apakah atau tidak diambil sumber ini dokumen. Metode ini secara eksplisit dimaksudkan untuk menghindari penilaian relevansi. Beberapa karya sebelumnya telah berusaha untuk memperoleh relevansi penilaian oleh kesepakatan antara sekelompok hakim, tetapi menemukan itu sangat sulit. Tapi sumber Metode Dokumen dikritik berat, karena tiga alasan utama:

1. Query dapat dianggap sebagai tidak realistis;

2. Pengambilan dokumen sumber bukanlah tes yang baik;

3. Ukuran yang dihasilkan mengevaluasi ingat saja, tidak presisi.

Respon di Cranfield 2 adalah untuk terus menggunakan metode sebagai cara menghasilkan pertanyaan, tetapi untuk menangani item 2 dan 3 sebagai berikut. Sumber dokumen telah dihapus dari koleksi pengujian, dan relevansi penilaian dibuat oleh hakim. Tidak ada upaya untuk mendapatkan kesepakatan antara hakim, sedangkan penilaian untuk setiap query adalah dibuat oleh hakim tunggal.

Dokumen yang harus dinilai untuk setiap query yang dipilih oleh berbagai metode termasuk mencari manual dan penggunaan bentuk kutipan-berbasis pengindeksan. Tujuannya adalah kelengkapan – untuk menemukan semua (atau hampir semua) terkait dokumen dalam koleksi. (Sejauh mana tujuan ini dicapai adalah subyek dari banyak argumen.)

   B.     TREC

Teks Retrieval Konferensi atau Pengambilan Teks Konferensi yang dikenal dengan TREC adalah sebuah serial yang sedang berlangsung lokakarya berfokus pada daftar informasi daerah yang berbeda penelitian pengambilan (IR), ataut trek.

Hal ini disponsori oleh Institut Nasional Standar dan Teknologi (NIST) dan Riset Intelijen Proyek Kegiatan Lanjutan (bagian dari kantor Direktur Intelijen Nasional), dan mulai tahun 1992 sebagai bagian dari program Text TIPSTER.

Tujuannya adalah untuk mendukung dan mendorong penelitian dalam komunitas pencarian informasi dengan menyediakan infrastruktur yang diperlukan untuk skala evaluasi metodologi pencarian teks dan untuk meningkatkan kecepatan.

Dalam kerangka ini, ada trek selama bertahun berbagai koleksi uji beda, tetapi koleksi terbaik pengujian diketahui adalah yang digunakan untuk melacak Trec Ad Hoc selama 8 evaluasi pertama Trec antara tahun 1992 dan 1999.

Secara total, ini koleksi pengujian terdiri dari 6 CD yang mengandung 1,89 juta dokumen (terutama, tetapi tidak eksklusif, newswire artikel) dan penilaian relevansi untuk 450 kebutuhan informasi, yang disebut topik dan ditetapkan dalam bagian teks rinci. Koleksi uji individu didefinisikan lebih himpunan bagian yang berbeda dari data ini. Para TRECs awal setiap terdiri dari 50 kebutuhan informasi, dievaluasi lebih set berbeda tetapi tumpang tindih dokumen.

TRECs 6-8 menyediakan 150 kebutuhan informasi selama sekitar 528,000 Newswire dan artikel Informasi Broadcast Dinas Luar Negeri. Ini mungkin adalah subcollection terbaik untuk digunakan dalam pekerjaan di masa depan, karena itu adalah terbesar dan topik yang lebih konsisten. Karena koleksi pengujian dokumen yang begitu besar, tidak ada penilaian relevansi lengkap. Sebaliknya, penilaian relevansi NIST asesor hanya tersedia untuk dokumen yang berada di antara k atas untuk beberapa sistem yang masuk dalam evaluasi Trec yang kebutuhan informasi dikembangkan.

Tujuan beberapa Trec adalah untuk:

Ø  Membuat koleksi tes untuk satu set tugas pengambilan;

Ø  Mempromosikan seluas mungkin dalam penelitian tugas-tugas, dan

Ø  Mengorganisir sebuah konferensi untuk berpartisipasi peneliti untuk memenuhi dan menyebarluaskan karya penelitian mereka menggunakan koleksi Trec.

Melalui daftar dokumen mencari jawaban yang spesifik. Untuk mendorong penelitian pada sistem yang mengembalikan jawaban bukannya daftar dokumen, Trec memperkenalkan sebuah pertanyaan menjawab tugas pada tahun 1999.

Uji koleksi

            Pencarian teks memiliki sejarah panjang menggunakan eksperimen pengambilan pada koleksi tes untuk memajukan keadaan seni [5, 10, 13], dan Trec melanjutkan tradisi ini.

Sebuah koleksi tes adalah sebuah abstraksi dari lingkungan pengambilan operasional yang menyediakan sarana bagi para peneliti untuk mengeksplorasi manfaat relatif dari strategi pengambilan yang berbeda di laboratorium. Koleksi pengujian terdiri dari tiga bagian: satu set dokumen, satu set kebutuhan informasi (disebut topik di Trec), dan penilaian relevansi, indikasi  dokumen harus diambil dalam menanggapi topik.

           Dokumen 

Set dokumen koleksi uji harus menjadi contoh dari jenis teks yang akan ditemui dalam pengaturan operasional bunga. Adalah penting bahwa himpunan dokumen mencerminkan keragaman materi pelajaran, pilihan kata, gaya sastra, format dokumen, dll dari pengaturan operasional untuk hasil pencarian untuk menjadi wakil dari kinerja dalam tugas nyata. Sering, ini berarti set dokumen harus besar. Koleksi uji Trec dibuat dalam tahun-tahun sebelumnya hoc 'tugas ad utama yang digunakan sekitar 2 gigabyte teks (antara 500.000 dan 1.000.000 dokumen).

Dokumen set digunakan dalam berbagai trek menjadi lebih kecil dan lebih besar tergantung pada kebutuhan dari trek dan ketersediaan data. Set Dokumen Trec sebagian besar terdiri dari koran atau artikel Newswire, meskipun ada juga beberapa dokumen pemerintah (Federal Register, aplikasi paten) dan ilmu komputer abstrak (Computer Memilih oleh Ziff Davis-publishing) disertakan.

Tingkat tinggi struktur dalam setiap dokumen yang ditandai menggunakan SGML, dan setiap dokumen diberikan sebuah identifier unik yang disebut DOCNO. Dalam menjaga semangat realisme, teks disimpan sebagai dekat dengan aslinya mungkin. Tidak ada upaya untuk memperbaiki kesalahan ejaan, kalimat fragmen, format aneh di sekitar meja, atau kesalahan serupa. 

          Topik 

Trec membedakan antara pernyataan kebutuhan informasi (topik) dan struktur data yang sebenarnya diberikan kepada sistem pencarian (query). Koleksi uji Trec memberikan topik untuk memungkinkan berbagai metode konstruksi permintaan untuk diuji dan juga menyertakan pernyataan yang jelas tentang kriteria apa membuat dokumen yang relevan. Format pernyataan topik telah berkembang sejak awal Trec, tetapi telah stabil selama beberapa tahun terakhir. Sebuah pernyataan topik umumnya terdiri dari empat bagian: sebuah identifier, judul, deskripsi, dan narasi. Sebuah topik contoh yang diambil dari track web tahun ini ditunjukkan pada Gambar 1. Bagian-bagian yang berbeda dari topik Trec memungkinkan peneliti untuk menyelidiki efek dari panjang query yang berbeda pada kinerja pengambilan. The "judul" di topik 301-450 yang dirancang khusus untuk memungkinkan eksperimen dengan permintaan yang sangat singkat, bidang-bidang judul terdiri dari sampai dengan tiga kata yang paling menggambarkan topik. 

Manfaatnya, membuat penelitian sistem skala untuk koleksi besar (pra-WWW) memungkinkan untuk perbandingan yang agak dikontrol.

Kekurangannya, Penekanan pada ingat yang tinggi, yang mungkin tidak realistis untuk apa kebanyakan pengguna ingin sangat panjang query, juga tidak realistis perbandingan masih sulit untuk membuat, karena sistem yang cukup berbeda pada banyak dimensi fokus pada peringkat batch daripada interaksi.

    C.    REUTERS

Secara historis, Reuters-21.578 klasik koleksi adalah patokan utama untuk evaluasi klasifikasi teks. Ini adalah koleksi dari 21.578 artikel Newswire, awalnya dikumpulkan dan diberi label oleh Carnegie Group, Inc, dan Reuters, Ltd dalam rangka mengembangkan sistem menafsirkan teks klasifikasi. Ini jauh lebih kecil daripada dan mendahului koleksi Reuters-RCV1. 

Para artikel ditugaskan kelas dari satu set 118 kategori topik. Sebuah dokumen dapat ditugaskan beberapa kelas atau tidak, namun kasus yang paling umum adalah tugas tunggal (dokumen dengan setidaknya satu kelas menerima rata-rata 1,24 kelas).Pendekatan standar ini adalah belajar 118 pengklasifikasi dua kelas, satu untuk setiap kelas, di mana dua kelas untuk kelas classifier c adalah classifier untuk dua kelas c dan yang melengkapi.

Saat ini yang paling banyak digunakan untuk penelitian uji koleksi teks kategorisasi, meskipun mungkin diganti selama beberapa tahun berikutnya dengan RCV1. Data awalnya dikumpulkan dan diberi label oleh Carnegie Group, Inc, dan Reuters, Ltd dalam rangka mengembangkan sistem menafsirkan teks kategorisasi. Rincian lebih lanjut, termasuk pembahasan versi sebelumnya dari koleksi (misalnya Reuters-22173), tersedia dalam file README.

Koleksi ini tersedia di sini sebagai arsip tar gzip (8.2 MB, 28,0 MB terkompresi). The UCI KDD arsip juga memiliki entri untuk koleksi, termasuk salinan. Versi di UCI identik, dan saya mendorong Anda untuk mendapatkan copy UCI jika tersedia untuk menghemat bandwidth di situs ini. Lokasi sebelumnya koleksi (sekarang sudah tidak aktif lagi) adalah:

·         http://www.research.att.com/~lewis/reuters21578.html

·         ftp:://canberra.cs.umass.edu/pub/reuters

Berbagai peneliti telah mempersiapkan file data yang berguna untuk bekerja dengan Reuters-21.578.

Reuters digunakan Untuk klasifikasi teks, tes REUTERS paling banyak digunakan koleksi telah menjadi Reuters-21.578 koleksi 21.578 Newswire. Baru-baru ini, Reuters merilis banyak lebih besar Reuters Corpus Volume 1 (RCV1), yang terdiri dari 806.791 dokumen.

Skala dan kaya annotationmakes itu dasar yang lebih baik untuk penelitian masa depan. 20 Newsgroup Ini adalah teks lain banyak digunakan klasifikasi koleksi, 20 newsgroup dikumpulkan oleh Ken Lang. Ini terdiri dari 1000 artikel dari masing-masing 20 Usenet newsgroup (nama newsgroup yang dianggap sebagai kategori). Setelah penghapusan artikel duplikat, seperti yang biasanya digunakan, mengandung 18.941 artikel.

Reuters adalah kantor berita internasional yang berkantor pusat di London, Inggris dan sebuah divisi dari Thomson Reuters. Hingga tahun 2008, kantor berita Reuters merupakan bagian dari perusahaan independen, Reuters Group plc, yang juga penyedia data pasar keuangan. Sejak akuisisi Reuters Group oleh Thomson Corporation pada tahun 2008, kantor berita Reuters telah menjadi bagian dari Thomson Reuters, membentuk bagian dari Divisi Keuangan dan Risiko.

Reuters berkomitmen untuk menyediakan cakupan yang komprehensif dari jurnal dunia yang paling penting dan berpengaruh untuk memenuhi kesadaran arus pelanggan perusahaan dan kebutuhan informasi retrospektif pengambilan. Hari Web of Science SM mencakup lebih dari 12.000 jurnal top internasional dan regional tier di setiap bidang ilmu-ilmu alam, ilmu sosial, dan seni dan humainiora.

Sejarah Reuters, lembaga Reuter didirikan pada tahun 1851 oleh Paul Julius Reuter di Inggris di London Royal Exchange. Paul Reuter bekerja di sebuah perusahaan penerbitan buku di Berlin dan terlibat dalam menyebarkan pamflet radikal pada awal Revolusi tahun 1848. Publikasi ini membawa banyak perhatian Reuter. Ia kemudian mengembangkan layanan prototipe berita pada tahun 1849 di mana ia digunakan telegrafi listrik dan merpati. Perusahaan Telegram The Reuter kemudian diluncurkan. Perusahaan ini awalnya tertutup berita komersial, melayani bank, broker dan perusahaan bisnis.

Selama bertahun-tahun Reuters 'telah membangun reputasi di Eropa dan seluruh dunia sebagai yang pertama melaporkan berita sendok dari luar negeri. 'Reuters adalah orang pertama yang melaporkan pembunuhan Abraham Lincoln di antara cerita utama lainnya. Hampir setiap outlet berita utama di dunia saat ini berlangganan Reuters.

Anggota yang masih hidup terakhir dari keluarga pendiri Reuters, Marguerite, Baroness de Reuter, meninggal pada usia 96 pada tanggal 25 Januari 2009, setelah mengalami serangkaian stroke.

     1.      Gambaran Ilustrasi dari Reuters

Gambaran Ilustrasi dari Reuters pada evaluasi jurnal memiliki latar belakang pendidikan yang relevan dengan bidang tanggung jawab mereka. Karena mereka memantau hampir setiap jurnal ilmiah baru yang diterbitkan, mereka juga ahli dalam literatur bidang mereka. Evaluasi jurnal untuk liputan di Web of Science dimulai dengan pengajuan masalah saat ini.

Penerbit harus memberikan tiga isu saat ini berturut-turut, satu per satu seperti yang dipublikasikan, Thomson Reuters. Masalah dapat disampaikan di media cetak, online, atau keduanya. Penerbit dapat mengirimkan masalah cetak ke alamat berikut: Pengolahan Publikasi, Thomson Reuters, 1500 Spring Garden Street, Lantai Keempat, Philadelphia, PA 19130. Untuk pengajuan jurnal online, penerbit harus menyediakan akses informasi di http://ip-science.thomsonreuters.com/Info / journalsubmission /.

Formulir ini juga cocok untuk semua jenis jurnal online, termasuk yang mempublikasikan artikel satu per satu waktu daripada dikumpulkan dalam isu-isu periodik. Jurnal evaluasi sedang berlangsung di Thomson Reuters dengan jurnal ditambah dan dihapus dari Web of Science sepanjang tahun. Setiap tahun, Thomson Reuters ulasan redaksi lebih dari 2.000 judul jurnal untuk dimasukkan ke dalam Web of Science. Sekitar 10-12% dari jurnal dievaluasi diterima untuk cakupan.

Selain itu, ada cakupan jurnal dalam produk Thomson Reuters adalah terus dikaji. Jurnal sekarang tertutup dimonitor untuk memastikan bahwa mereka mempertahankan standar yang tinggi dan relevansi yang jelas untuk produk-produk.

Setelah ketepatan waktu telah ditetapkan, Thomson Reuters memiliki pilihan untuk melanjutkan dengan aspek-aspek lain dari proses evaluasi. Proses ini jarang dimulai segera, namun, karena volume tinggi pengajuan jurnal dan prioritas editorial yang ditetapkan oleh Thomson Reuters untuk Web cakupan Sains. Ketika evaluasi telah dimulai, semua masalah yang diterima akan dipertimbangkan. Hal ini penting, karena itu, bahwa semua masalah dapat diterima secara tepat waktu. Penerbit atau editor harus terus mengirimkan masalah tepat waktu sampai proses evaluasi telah menyimpulkan. Jika suatu saat penerbit jurnal atau editor mencari update pada status evaluasi untuk jurnal tertentu, penyelidikan dapat dikirimkan melalui formulir di http://ip-science.thomsonreuters.com/info/jrneval-status/ .

Jurnal evaluasi sedang berlangsung di Thomson Reuters dengan jurnal ditambah dan dihapus dari Web of Science sepanjang tahun. Setiap tahun, Thomson Reuters ulasan redaksi lebih dari 2.000 judul jurnal untuk dimasukkan ke dalam Web of Science.

Sekitar 10-12% dari jurnal dievaluasi diterima untuk cakupan. Selain itu, ada cakupan jurnal dalam produk Thomson Reuters adalah terus dikaji. Jurnal sekarang tertutup dimonitor untuk memastikan bahwa mereka mempertahankan standar yang tinggi dan relevansi yang jelas untuk produk-produk di mana mereka dilindungi. Proses seleksi jurnal dijelaskan di sini diterapkan pada semua jurnal di Web of Science, apakah tercakup dalam Indeks Citation Ilmu Expanded TM, Ilmu Sosial Citation Index ®, atau Arts & Humanities Citation Index.

      2.      Contoh Kasus Pada Reuter

Pada jurnal yang telah di terbitkan Ini akan muncul bahwa untuk menjadi komprehensif, indeks literatur jurnal ilmiah mungkin diharapkan untuk menutup semua jurnal yang diterbitkan. Telah terbukti, bagaimanapun, bahwa jumlah yang relatif kecil dari jurnal mempublikasikan sebagian hasil ilmiah yang signifikan. Prinsip ini sering disebut sebagai Bradford Law.

Ini akan muncul bahwa untuk menjadi komprehensif, indeks literatur jurnal ilmiah mungkin diharapkan untuk menutup semua jurnal yang diterbitkan. Telah terbukti, bagaimanapun, bahwa jumlah yang relatif kecil dari jurnal mempublikasikan sebagian hasil ilmiah yang signifikan. Prinsip ini sering disebut sebagai Bradford Law.2

Pada pertengahan 1930-an, ahli matematika Inggris dan pustakawan SC Bradford menyadari bahwa literatur inti untuk setiap disiplin ilmu yang diberikan terdiri dari kurang dari 1.000 jurnal. Dari jumlah tersebut 1.000 jurnal, ada relatif sedikit dengan relevansi yang sangat kuat dengan topik yang diberikan, padahal banyak dengan relevansi lemah untuk itu. Mereka dengan relevansi yang lemah dengan disiplin yang diberikan atau topik, bagaimanapun, biasanya memiliki relevansi yang kuat untuk beberapa disiplin lainnya. Dengan demikian, literatur ilmiah inti dapat membentuk sendiri sekitar berbagai topik, dengan jurnal individu menjadi lebih atau kurang relevan tergantung pada topik. Bradford mengerti bahwa inti penting dari jurnal membentuk dasar sastra untuk semua disiplin ilmu dan bahwa sebagian besar surat-surat penting diterbitkan dalam journals.3 relatif sedikit, Baru-baru Thomson Reuters menganalisis 7.621 jurnal yang tercakup dalam Kutipan 2008 Laporan Journal ®.

Analisis ini menemukan bahwa 50% dari semua kutipan yang dihasilkan oleh koleksi ini berasal dari hanya 300 dari jurnal. Selain itu, 300 jurnal atas menghasilkan 30% dari seluruh artikel yang diterbitkan oleh koleksi total. Selain itu, inti ini tidak statis. Its komposisi perubahan mendasar terus-menerus, mencerminkan evolusi topik ilmiah. Misi kami adalah untuk memperbarui cakupan jurnal di Web of Science dengan mengidentifikasi dan mengevaluasi jurnal baru yang menjanjikan dan, bila perlu, menghapus yang telah menjadi kurang berguna.

     D.    CLEF

Cross Language Forum Evaluasi atau lebih kita kenal dengan sebutan CLEF (Konferensi dan Labs dari Forum Evaluasi) adalah lembaga self-organized misi utamanya adalah untuk mempromosikan penelitian, inovasi, dan pengembangan sistem akses informasi dengan penekanan pada multibahasa dan multimodal informasi dengan berbagai tingkat struktur. CLEF mempromosikan penelitian dan pengembangan dengan menyediakan infrastruktur untuk:

•             Multibahasa dan pengujian sistem multimodal, tuning dan evaluasi

•      Penyelidikan penggunaan terstruktur, semi-terstruktur, yang sangat terstruktur, dan data semantik diperkaya dengan akses informasi

•        Penciptaan koleksi tes dapat digunakan kembali untuk pembandingan

•        Eksplorasi metodologi evaluasi baru dan cara-cara inovatif untuk menggunakan data eksperimen

•            Pembahasan hasil, perbandingan pendekatan, pertukaran ide, dan transfer pengetahuan.

Inisiatif CLEF disusun dalam dua bagian utama:

   1)      Serangkaian Evaluasi Labs, laboratorium yaitu untuk melakukan evaluasi sistem akses informasi dan lokakarya untuk membahas dan kegiatan percontohan evaluasi yang inovatif.

     2)      Konferensi peer-review pada berbagai isu, yaitu;

•       Termasuk melanjutkan penyelidikan kegiatan Labs Evaluasi

•      Percobaan menggunakan data multibahasa dan multimodal, khususnya, tetapi tidak hanya, data yang dihasilkan dari kegiatan CLEF

•        Penelitian dalam metodologi evaluasi dan tantangan.

Sejak tahun 2000 CLEF telah memainkan peran utama dalam penyelidikan merangsang dan penelitian di berbagai bidang utama dalam domain pencarian informasi, menjadi terkenal di masyarakat IR internasional. Hal ini juga mempromosikan studi dan implementasi metodologi evaluasi yang tepat untuk beragam jenis tugas dan media. Selama bertahun-tahun, komunitas riset yang luas, kuat, dan multidisiplin telah dibangun, yang meliputi dan mencakup berbagai bidang keahlian yang dibutuhkan untuk menangani penyebaran kegiatan CLEF.

Hasilnya tradisional disajikan dan dibahas pada lokakarya tahunan dalam hubungannya dengan Konferensi Eropa untuk Perpustakaan Digital (ECDL), sekarang disebut Teori dan Praktek di Perpustakaan Digital (TPDL). 

Sejak 2010, CLEF telah mengambil bentuk suatu peristiwa independen, dibentuk oleh sebuah konferensi peer-review diselenggarakan dengan satu set laboratorium evaluasi.

Clef diartikan sebagai sebuah organisasi yang mempromosikan penelitian di multibahasa akses informasi (saat ini berfokus pada bahasa-bahasa Eropa). Fungsi khusus adalah untuk mempertahankan kerangka dasar untuk menguji pencarian informasi sistem, dan menciptakan repositori data bagi para peneliti untuk digunakan dalam mengembangkan dibandingkan standard.

Organisasi memegang sebuah forum pertemuan setiap September di Eropa. Sebelum setiap forum, peserta menerima satu set tugas tantangan. Tugas ini dirancang untuk menguji berbagai aspek sistem pencarian informasi dan mendorong perkembangan mereka. Kelompok peneliti mengusulkan dan mengatur kampanye untuk memenuhi tugas-tugas.

Hasilnya digunakan sebagai tolak ukur  untuk keadaan seni di daerah-daerah tertentu. Sebagai contoh, tahun 2010 tugas pengambilan medis berfokus pada retrival dari computed tomography, MRI, dan gambar radiografi.

Sejak tahun 2000 CLEF telah memainkan peran utama dalam penyelidikan merangsang dan penelitian di berbagai bidang utama dalam domain pencarian informasi, menjadi terkenal di masyarakat IR internasional. Hal ini juga mempromosikan studi dan implementasi metodologi evaluasi yang tepat untuk beragam jenis tugas dan media. Selama bertahun-tahun, komunitas riset yang luas, kuat, dan multidisiplin telah dibangun, yang meliputi dan mencakup berbagai bidang keahlian yang dibutuhkan untuk menangani penyebaran kegiatan CLEF.

Hasilnya tradisional disajikan dan dibahas pada lokakarya tahunan dalam hubungannya dengan Konferensi Eropa untuk Perpustakaan Digital (ECDL), sekarang disebut Teori dan Praktek di Perpustakaan Digital (TPDL).

Sejak 2010, CLEF telah mengambil bentuk suatu peristiwa independen, dibentuk oleh sebuah konferensi peer-review diselenggarakan dengan satu set laboratorium evaluasi.

Tujuan dari Forum Evaluasi Cross-Language (CLEF) adalah untuk mempromosikan penelitian dalam domain akses informasi multibahasa. Dalam makalah pendek ini, kita daftar prestasi CLEF selama empat tahun pertama kegiatan dan menjelaskan bagaimana berbagai tugas telah cukup diperluas selama periode ini. Tujuan dari makalah ini adalah untuk menunjukkan pentingnya inisiatif evaluasi sehubungan dengan penelitian dan pengembangan sistem dan untuk menunjukkan betapa pentingnya bagi inisiatif tersebut untuk mengikuti dan bahkan mengantisipasi kebutuhan yang muncul dari kedua pengembang sistem dan aplikasi masyarakat jika mereka untuk memiliki masa depan.