Kaynaklar
Yazan: Fatih
İzlediğimiz kaynakların tamamı herkese açıktır ve hiçbiri için ücret ödenmez. Hangi kaynağı neden aldığımız kadar, hangilerini bilerek almadığımız da buraya yazılıdır — çünkü bir istihbarat ürününün kör noktaları, gördükleri kadar önemlidir. Bu sayfa bir niyet beyanı değil, motorun kodunda yazılı olanın anlatımıdır: aşağıdaki her sayı, kodun kendisinden ya da arşivin kendisinden okundu.
Bugün ne izliyoruz
Bu satırlar yazılırken motor 25 kanal izliyor ve açık arşivde 36 kanal dosyası ile 1.621 kayıt satırı duruyor; canlı pencerede tutulan kayıt sayısı 190'dır. Kanalların tam listesi, her birinin ne aldığı ve ne almadığı, kanal kanal aynı arşivde yazılıdır.
Bir kanalın sayfasında dört adres birden bulunur: kaynağın insan tarafından okunan sayfası, motorun gerçekten çağırdığı uç, o ucun resmî belgesi ve kaynağın kullanım koşulları. Bunlar süs değildir; kapımız, sayfada yazan uç adresini motorun kodundaki adresle her koşuda karşılaştırır ve ayrışırsa yayına izin vermez.
Kanal başına ne kadar alıyoruz
Alım tavanları koda gömülüdür ve bir turda kaynaktan çekilen kayıt sayısını sınırlar. Hugging Face tarafında model listesi için 20, veri setleri ve günlük makaleler için 10 kayıt isteriz — uçların tanımı Hub API Endpoints belgesinde yayımlanmıştır. GitHub tarafında on deponun her birinden en çok 10 sürüm çekilir ve gürültü filtresinden sonra kanala en çok 5'i yazılır; sınırların kaynağı GitHub'ın kendi hız sınırı belgesidir.
arXiv tarafında üç kategori (cs.AI, cs.CL, cs.LG) için tur başına 10 öge alınır ve kaynağın istediği atıf metni kullanıldığı yerde basılır; koşullar arXiv API Kullanım Koşulları sayfasındadır. PyPI tarafında dört paketin sürüm akışı okunur ve akış biçimi PyPI'ın kendi besleme belgesinde tanımlıdır. SEC tarafında sorgu sabittir, pencere kayar: son 7 günün 8-K dosyalamaları EDGAR tam metin arama arayüzünden okunur.
Hızımızı biz değil kaynak belirler
Bir kaynağın dakikada kaç istek kabul ettiği onun kendi belgesinde yazar ve bizim tercihimiz değil, o rakam turun temposunu belirler. Bu yüzden günde tek tur koşuyoruz; daha sık koşmak elimizde ama kaynağın sınırının içinde kalmak, ondan veri almanın bedelidir.
Kim olduğumuzu söyleyerek istiyoruz
Her isteğimiz, kim olduğumuzu söyleyen bir tanıtıcı taşır: HEPHFORGE ve
ulaşılabilir bir e-posta adresi. Kaynağın sunucu kayıtlarında göründüğümüz ad budur;
rahatsızlık duyan bir kaynak bize doğrudan yazabilir. Kendini gizleyen bir tarayıcı,
izlediği kaynağa hesap veremez. SEC tarafında bu bir nezaket değil şarttır: bildirimsiz
istek reddedilir; kuralı
SEC kendi yayımlıyor ve bu davranışı
kendi sondamız her koşuda sınar.
Haber akışlarında sınır
Haber akışlarından yalnız başlık, bağlantı ve tarih alınır. Özet ya da tam metin ne saklanır ne yayımlanır; okumak isteyen bağlantıdan yayıncının kendi sayfasına gider. Bu, hem hukuken doğru hem de ürün olarak dürüst olandır: biz haberi yeniden yayımlamıyoruz, ne zaman ne göründüğünü kaydediyoruz.
Adresi biz uydurmayız
Bir kaydın adresi yalnız kaynağın kendi cevabından gelir. Hugging Face'in cevabında adres alanı bulunmadığı için o kanalların kayıtlarında adres boş durur — kimlikten adres türetmek, veriyi okumak değil üretmektir. Boş bir alan, doldurulmuş bir tahminden dürüsttür.
Gürültü filtresi ve formülü
Çok sık yayın yapan bir kaynak, filtre olmadan kanalın tamamını doldurur. Üç kural
işletiyoruz: günde onlarca yapı üreten
ggml-org/llama.cpp deposundan
tur başına yalnız en yeni 1 kayıt alınır; tek yayında birçok paket sürümü çıkaran
vercel/ai deposunda paket başına tek kayıt bırakılır; kalan depolarda tavan
5 kayıttır. Filtre hiçbir kaydı silmez, yalnız o turda yazılacak satırı
kısar — ve neyi kıstığı burada da, kanal sayfasında da yazılıdır. Formülü gösterilemeyen
bir eleme, kaydın kendisi kadar sorgulanamaz bir şey üretir.
Tur ya tamamen olur ya hiç
Bir turda tek bir kanal bile hata verirse o günün durumu hiç yazılmaz: üreteç, kapı ve yayın adımlarının üçü birden atlanır. Bunun bedeli görünür bir boşluktur; alternatifi ise elde ne varsa yayımlayıp boşluğu görünmez kılmaktır, ki ölçümden söz eden bir yayında bu sessiz bir yalana dönüşür.
Bu davranış 5 Eylül 2026 sabahı kendiliğinden sınandı: EDGAR ucu sunucu hatası döndürdü, motor durdu ve o günün turu iptal edildi — o tarihe ait bir kayıt satırı bu yüzden arşivde yoktur. Ertesi gün tur normal koştu. Boşluğu sonradan doldurmadık; dolduramayacağımız için de zaten yazılı duruyor.
Düşen kayıt bizde kalır
Kaynakların çoğu “en yeni N” penceresi döndürür; bir öge pencereden düşünce kaynakta artık görünmez. Bizde görünmeye devam eder, çünkü bir arşivin işi kaynağın unuttuğunu hatırlamaktır. Arşivin bugünkü 1.621 satırının 131'inde ilk gözlem tarihi boştur: bunlar izlemeye başlamadan önce devraldığımız kayıtlardır ve tarihleri sonradan uydurulmaz, boş kalır.
Bilerek kullanmadıklarımız
- Kullanım koşulları elvermeyenler. Bazı sağlayıcıların ücretsiz katmanı yalnız iç kullanım içindir ya da ticari kullanımı açıkça yasaklar; bunlar bir ürüne bağlanamaz, bu yüzden bağlanmadılar.
- Robot kuralı kapatanlar. Bir kaynağın kendi robot dosyası bir yolu kapatmışsa o yol açılmaz — teknik olarak erişilebilir olması izin verildiği anlamına gelmez.
- Yazılı ön onay isteyenler. Onay alınmadan kullanılmaz.
- Koşulu okunamayanlar. Kullanım şartına ulaşamadığımız ya da metni belirsiz olan kaynaklar, “muhtemelen sorun olmaz” diye listeye alınmaz; belirsizlik bizim değil kaynağın lehine yorumlanır.
Kapanan kanal silinmez
İzlediğimiz alanı bir kez daralttık: kripto dönemine ait kanallar kapatıldı. Kapatma kaydı, o dönemin motoru ve o dönemin durumu silinmedi, dondurularak saklandı. “Ne zaman neye bakıyorduk” sorusunun cevabı, sonradan düzenlenebilen bir şey olmamalıdır.
Yeni bir kanal nasıl eklenir
Bir kaynağın ilginç olması onu kanal yapmaya yetmez. Sırayla dört şey aranır: kaynağın kullanım koşulunun okunabilir ve elverişli olması, çağrılacak ucun resmî bir belgesinin bulunması, cevabın içinde kaydı turlar arası tanıyacak kararlı bir kimlik alanı olması ve kanalın kendi sondasının yazılmış olması. Dördü tamamlanmadan kanal açılmaz.
Bu sıranın üçüncü maddesi en çok elenen maddedir: kararlı kimliği olmayan bir kaynakta “yeni kayıt” ile “başlığı değişmiş eski kayıt” birbirine karışır ve arşiv her turda kendiliğinden şişer. Böyle bir kanal, doğru görünen ama sayılamayan bir yığın üretir; sayılamayan bir yığın da bu üründe hiçbir işe yaramaz.
Bu sayfadaki her sayı yeniden ölçülür
Buradaki sayılar bir defa yazılıp bırakılmaz; her yayın öncesinde arşivden yeniden sayılır ve değiştiyse değiştiği hâliyle yazılır. Bir sayfanın eski bir sayıyı taşımaya devam etmesi, en sessiz yanlış türüdür.