1Police scanned 1.38 million faces in a five-month facial recognition trial in Western Australia西澳警方五个月人脸识别试点扫描 138 万张人脸西オーストラリア州警察、5カ月の顔認証試験で138万人の顔をスキャンTHE GUARDIANWestern Australia Police said a five-month trial of real-time facial recognition that ended Saturday scanned 1,380,882 faces over 100 deployments at 43 locations, producing 122 arrests and nine incorrect alerts. Police put the error rate at 0.00065 percent, and Commissioner Col Blanch said nobody was arrested on a false match. Civil Liberties Australia's Bill Rowlings said it should be measured against convictions.西澳警方表示,周六结束的为期五个月的实时人脸识别试点共扫描 1,380,882 张人脸,涉及在 43 个地点部署 100 次,带来 122 次逮捕和 9 次误报。警方称错误率为 0.00065%,警务专员 Col Blanch 表示没有人因误配而被逮捕。澳大利亚公民自由组织的 Bill Rowlings 则认为,这一比率应以最终定罪数来衡量。西オーストラリア州警察は、土曜に終了した5カ月間のリアルタイム顔認証試験で、43カ所で計100回の配置を行い1,380,882人の顔をスキャンし、122件の逮捕と9件の誤検知があったと発表した。警察は誤り率を0.00065%としており、コル・ブランチ本部長は誤一致で逮捕された人はいないと述べた。シビル・リバティーズ・オーストラリアのビル・ローリングス氏は、この比率は有罪判決の数と比べて測るべきだと述べた。
2Singapore data center operator STT GDC is in talks for a S$3.1 billion syndicated loan新加坡数据中心运营商 STT GDC 洽谈 31 亿新元银团贷款シンガポールのデータセンター事業者STT GDC、31億シンガポールドルの協調融資を交渉中BLOOMBERGSingapore-based data center operator STT GDC Pte. is in talks with banks over a S$3.1 billion syndicated loan, about $2.4 billion, Bloomberg reports, citing people familiar with the matter. It frames the deal as another sign that the AI boom keeps driving demand for debt among the companies building the infrastructure behind it.彭博社援引知情人士报道,新加坡数据中心运营商 STT GDC Pte. 正与银行洽谈一笔 31 亿新元(约 24 亿美元)的银团贷款。报道称,这笔交易再次说明 AI 热潮仍在推高那些为其建设基础设施的公司的融资需求。シンガポールのデータセンター事業者STT GDC Pte.が、31億シンガポールドル(約24億ドル)の協調融資について銀行と交渉していると、ブルームバーグが関係者の話として報じた。同社の案件は、AIブームがその基盤を建設する企業の資金需要を押し上げ続けていることを示すもう一つの例だとしている。
3Patches run eight 250K-context agents on two 3090s by reading one percent of the tokens each step一组补丁让两张 3090 跑起 8 个 25 万上下文的智能体,每步只读约 1% 的 tokenパッチ群が3090二枚で25万コンテキストのエージェント8体を駆動、各ステップで読むトークンは約1%GITHUB · VIA R/LOCALLLAMA · DISCUSSIONA developer published sparsekv-hyperqwen, vLLM patches that hold each agent's whole key-value cache in system RAM as int4 and at each decode step pick about one percent of tokens with a rank-64 key sketch. Eight Qwen3.8-27B agents at 176K to 205K context averaged 657 tokens a second on an RTX 3090 Ti plus a 3090. The author notes the attention is approximate and a kernel module roughly doubled 3090 throughput.一名开发者发布了 sparsekv-hyperqwen,这组 vLLM 补丁把每个智能体的完整 KV 缓存以 int4 放在系统内存中,并在每个解码步用一个 rank-64 的 key sketch 只挑出约 1% 的 token。8 个 Qwen3.8-27B 智能体在 176K 到 205K 上下文下,于一张 RTX 3090 Ti 加一张 3090 上平均达到 657 token/秒。作者说明该注意力机制是近似的,且测试时加载了一个让 3090 吞吐大致翻倍的内核模块。開発者がsparsekv-hyperqwenを公開した。各エージェントのKVキャッシュ全体をint4でシステムRAMに置き、デコードの各ステップでrank-64のキースケッチを使ってトークンの約1%だけを選ぶvLLM向けパッチ群だ。Qwen3.8-27Bのエージェント8体を176K〜205Kコンテキストで動かし、RTX 3090 Tiと3090の構成で平均657トークン/秒だった。作者は注意機構が近似であることと、計測時に3090のスループットをほぼ倍にするカーネルモジュールを使ったことに触れている。
2026-11-01 · SUNDAY · 18:15 PST
1A Strata fork cuts a new DeepSeek V4.1 agent session from 100 seconds to 5 on a 16GB card一个 Strata 分支把 DeepSeek V4.1 智能体新会话的启动从 100 秒缩短到 5 秒,只用一张 16GB 显卡Strataのフォーク、DeepSeek V4.1エージェントの新規セッション開始を16GBカード1枚で100秒から5秒にGITHUB · VIA R/LOCALLLAMA · DISCUSSIONA developer forked the Strata inference engine so agent sessions stop re-reading their whole system prompt. The patch splices a new prompt against saved conversation state, and while reading a prompt it routes tokens only to experts already in VRAM or RAM. On an RX 9070 XT a new OpenCode session on DeepSeek V4.1 Flash falls from about 100 seconds to 5, and SSD traffic for a 1.2K-token prompt from 58GB to 1.3GB.一名开发者 fork 了 Strata 推理引擎,让智能体会话不再每次重读整段系统提示词。补丁会把新提示词与已保存的会话状态对齐拼接,并在读取提示词期间只把 token 路由到已驻留显存或内存的专家。在 RX 9070 XT 上,DeepSeek V4.1 Flash 的 OpenCode 新会话从约 100 秒降到 5 秒,1.2K token 提示词的 SSD 读取量从 58GB 降到 1.3GB。作者称拼接是近似的,且只在 HIP 上测过。開発者がStrata推論エンジンをフォークし、エージェントのセッションがシステムプロンプト全体を読み直さないようにした。パッチは新しいプロンプトを保存済みの会話状態と突き合わせて継ぎ合わせ、プロンプト読み込み中はVRAMかRAMに常駐するエキスパートだけにトークンを振り分ける。RX 9070 XTではDeepSeek V4.1 FlashのOpenCode新規セッションが約100秒から5秒に、1.2KトークンのプロンプトのSSD読み出しが58GBから1.3GBになった。
2A 4B Qwen3.5 finetune writes Three.js scenes and exports them as GLB assets for Godot一个 4B 的 Qwen3.5 微调模型写出 Three.js 场景,并导出为可用于 Godot 的 GLB 资产4BのQwen3.5ファインチューンがThree.jsシーンを書き、Godot用のGLBアセットとして書き出すHUGGING FACE · VIA R/LOCALLLAMA · DISCUSSIONA developer published Qwen3.5-4B-GLB-3D-Coder, a 4B finetune that answers a plain request such as 'create a mana potion' with a Three.js scene it exports as a GLB file for import into Godot and other engines. Only Q4_K_M and Q8_0 GGUF files are posted. The author calls this the first functional checkpoint, with training still running and the full weights and dataset promised when it ends.一名开发者发布了 Qwen3.5-4B-GLB-3D-Coder,这是一个 4B 微调模型,对“做一个魔法药水”之类的普通指令,会生成一段 Three.js 场景代码并导出为 GLB 文件,可导入 Godot 等引擎。目前仓库只放出了 Q4_K_M 和 Q8_0 两个 GGUF 文件。作者称这是第一个可用的检查点,训练仍在进行,完整权重和训练数据将在训练结束后公开。開発者がQwen3.5-4B-GLB-3D-Coderを公開した。「マナポーションを作って」といった平易な指示に対し、Three.jsのシーンを生成してGLBファイルとして書き出し、Godotなどのエンジンに読み込める。現時点で公開されているのはQ4_K_MとQ8_0のGGUFのみ。作者はこれを最初の実用チェックポイントと呼び、学習は継続中で、完了後に完全な重みとデータセットを公開するとしている。
3An OpenBSD developer packages a local LLM, image generation and web search as four containers一名 OpenBSD 开发者把本地大模型、图像生成和网页搜索打包成四个容器OpenBSD開発者がローカルLLM、画像生成、ウェブ検索を4つのコンテナにまとめるSOLENE RAPENNE · VIA LOBSTERS · DISCUSSIONSolene Rapenne released braindead-local-intelligence, which starts an OpenAI-compatible LLM server, an image generation server, SearXNG and Open WebUI as rootless podman containers behind a single token-protected address. Only one model sits in memory at a time: the right one loads when a request arrives and unloads after a few idle minutes. It targets AMD cards and was tested up to 12GB of VRAM.Solene Rapenne 发布了 braindead-local-intelligence,它以 rootless podman 容器的方式启动一个兼容 OpenAI 接口的大模型服务、一个图像生成服务、SearXNG 和 Open WebUI,并统一置于一个带令牌保护的地址之后。内存中一次只加载一个模型:请求到达时载入对应模型,闲置几分钟后自动卸载。项目面向 AMD 显卡,测试上限为 12GB 显存。Solene Rapenneがbraindead-local-intelligenceを公開した。OpenAI互換のLLMサーバー、画像生成サーバー、SearXNG、Open WebUIをrootlessのpodmanコンテナとして起動し、トークンで保護した単一のアドレスにまとめる。メモリに載るモデルは常に1つで、リクエストが来たときに必要なモデルを読み込み、数分間使われなければ解放する。対象はAMDのGPUで、検証済みのVRAMは12GBまで。
2026-11-01 · SUNDAY · 15:17 PST
1OpenAI's policy chief floats rebranding data centers as 'AI compute campuses'OpenAI 政策负责人提议把数据中心改称 “AI 算力园区”OpenAIの政策責任者、データセンターを「AIコンピュート・キャンパス」と呼び替える案を示すTECHCRUNCHAxios reports that OpenAI is preparing a public affairs push for after Tuesday's US midterm elections, and chief global affairs officer Chris Lehane listed proposals including AI 'speed limits', a US role in setting global standards, and renaming data centers 'AI compute campuses'. Lehane called the midterms a movie trailer for 2028, when he expects AI to be the election's main issue.据 Axios 报道,OpenAI 正为下周二美国中期选举之后的公关行动做准备,首席全球事务官 Chris Lehane 列出的方案包括为 AI 设定“限速”、推动美国主导全球标准,以及把数据中心改称“AI 算力园区”。他把这次中期选举称作 2028 年大选的“预告片”,并预计届时 AI 将成为核心议题。Axiosによると、OpenAIは火曜の米中間選挙後に向けた広報攻勢を準備しており、最高グローバル業務責任者のChris Lehane氏は、AIの「速度制限」、世界標準づくりで米国が主導する案、データセンターを「AIコンピュート・キャンパス」と改称する案などを挙げた。同氏は今回の中間選挙を2028年大統領選の「予告編」と呼び、その時はAIが中心的争点になると述べた。
2tandem.cpp keeps hot MoE experts on the GPU and triples Qwen3.8-Flash-Next decode on a 4090tandem.cpp 把常用专家留在 GPU 上,Qwen3.8-Flash-Next 在 4090 上解码提速三倍tandem.cpp、よく使うエキスパートをGPUに常駐させRTX 4090でQwen3.8-Flash-Nextの復号を3.3倍にGITHUB · VIA R/LOCALLLAMA · DISCUSSIONtandem.cpp is a patch set for llama.cpp that pins a mixture-of-experts model's most-used experts in VRAM and lets the CPU handle the rest. On an RTX 4090 with 64GB of DDR4, the author reports Qwen3.8-Flash-Next IQ3_S decoding at 97.3 tokens a second against 29.8 for llama.cpp, and 1.4x to 2.1x on other MoE models. The figures are self-reported, and Strata's exact mode scored 103.6.tandem.cpp 是一组 llama.cpp 补丁,把混合专家模型中最常用的专家固定在显存里,其余交给 CPU 处理。作者称在一块 RTX 4090 加 64GB DDR4 的机器上,Qwen3.8-Flash-Next IQ3_S 的解码速度为每秒 97.3 个 token,而 llama.cpp 为 29.8,其他 MoE 模型可提速 1.4 到 2.1 倍。数据为作者自测,Strata 的精确模式在同一测试中为 103.6。tandem.cppは、混合エキスパートモデルで使用頻度の高いエキスパートをVRAMに常駐させ、残りをCPUに任せるllama.cpp向けのパッチ群。作者はRTX 4090と64GBのDDR4環境で、Qwen3.8-Flash-Next IQ3_Sの復号が毎秒97.3トークン、llama.cppは29.8だったと報告し、他のMoEモデルでも1.4〜2.1倍になるとしている。数値は自己申告で、Strataの厳密モードは同条件で103.6だった。
3llama2.c runs on a 2006 iPod at 80 MHz with no floating-point unitllama2.c 跑在 2006 年的 iPod 上:80 MHz,且没有浮点运算单元llama2.c、浮動小数点演算器のない80MHzの2006年製iPodで動くR/LOCALLLAMAA developer wrote a Rockbox plugin that runs Karpathy's llama2.c TinyStories models on a fifth-generation iPod video, an 80 MHz ARM7TDMI with 64MB of RAM and no floating-point unit. The port rewrites llama2.c's int8 runq.c in integer math only, using lookup tables for exp and softmax and an integer square root for RMSNorm. The 15M model is 17MB and loads off the hard drive into the music buffer.一位开发者写了一个 Rockbox 插件,让 Karpathy 的 llama2.c TinyStories 模型跑在第五代 iPod video 上——一台 80 MHz 的 ARM7TDMI,64MB 内存,没有浮点运算单元。该移植把 llama2.c 的 int8 版 runq.c 改写为纯整数运算,用查找表实现 exp 和 softmax,用整数平方根实现 RMSNorm。15M 模型体积 17MB,直接从硬盘加载进音乐缓冲区。ある開発者が、Karpathyのllama2.c TinyStoriesモデルを第5世代iPod video(80MHzのARM7TDMI、RAM 64MB、浮動小数点演算器なし)で動かすRockboxプラグインを書いた。移植ではllama2.cのint8版runq.cを整数演算のみに書き換え、expとsoftmaxはルックアップテーブル、RMSNormは整数平方根で処理する。15Mモデルは17MBで、ハードディスクから音楽バッファに直接読み込まれる。
4National Grid buys 73 acres on Teesside for what could be Britain's biggest substation英国国家电网买下蒂斯赛德 73 英亩土地,拟建全英最大变电站ナショナル・グリッド、英国最大級の変電所用地としてティーズサイドの73エーカーを取得THE GUARDIANNational Grid agreed last week to buy 29.5 hectares at Dorman Point on the Teesworks site for a substation that could power a neighbouring AI datacentre, a deal first reported by Sky News. Tees Valley mayor Ben Houchen said up to 3.2GW of capacity would let the region compete for investment going to the US and the Gulf. The government published a draft national policy statement on datacentres last week.英国国家电网上周同意买下蒂斯沃克斯园区 Dorman Point 的 29.5 公顷土地,用于建设一座变电站,为相邻的拟建 AI 数据中心供电;该交易最先由天空新闻报道。蒂斯河谷市长 Ben Houchen 表示,最高 3.2GW 的容量将让该地区有能力争夺正流向美国和海湾国家的投资。英国政府上周发布了关于数据中心的国家政策声明草案。ナショナル・グリッドは先週、ティーズワークス内ドーマン・ポイントの29.5ヘクタールを取得することで合意した。隣接して計画されるAIデータセンターに電力を供給する変電所の用地で、スカイニュースが最初に報じた。ティーズ・バレー市長のBen Houchen氏は、最大3.2GWの容量があれば米国や湾岸諸国に流れている投資を地域が争えるようになると述べた。政府は先週、データセンターに関する国家政策声明の草案を公表した。
5Silencio-2 is an 18M-parameter open TTS model that follows emotion and sound tagsSilencio-2:一个 1800 万参数的开源语音合成模型,可按情绪与音效标签发声Silencio-2、感情と効果音のタグに従う1800万パラメータのオープンな音声合成モデルHUGGING FACE · VIA R/LOCALLLAMA · DISCUSSIONSilencio-2 is a fine-tune of Kyutai's Pocket TTS that reads inline tags such as sigh, laugh and whisper, with CC-BY-4.0 weights and MIT code. It is 18.2M parameters for speech and 112MB on disk, and the author measures about 20x realtime on an Apple M4 CPU, calling that one run rather than a benchmark. The writeup details how an AudioSet filter silently dropped every laugh and cough from the training data.Silencio-2 是基于 Kyutai 的 Pocket TTS 微调而来,可识别写在文本中的标签,如叹息、笑声和耳语;权重采用 CC-BY-4.0,推理代码为 MIT 许可。语音部分 18.2M 参数,磁盘占用 112MB,作者在苹果 M4 的 CPU 上测得约 20 倍实时速度,并说明那只是一次运行而非正式基准。文中还记录了一个 AudioSet 过滤器如何在训练数据中静默删除了所有笑声和咳嗽样本。Silencio-2はKyutaiのPocket TTSを微調整したモデルで、文中に書き込んだsigh(ため息)、laugh(笑い)、whisper(ささやき)などのタグに従う。重みはCC-BY-4.0、推論コードはMIT。音声部分は18.2Mパラメータ、ディスク上は112MBで、作者はApple M4のCPUで約20倍のリアルタイム比を計測したが、ベンチマークではなく一度の実行だと述べている。解説では、AudioSetのフィルタが学習データから笑いと咳をすべて静かに取り除いていた経緯も明かしている。
2026-11-01 · SUNDAY · 12:16 PST
1Frontier UI renders ChatGPT-style cards, maps and routes inside Open WebUI chatsFrontier UI 让 Open WebUI 对话里直接呈现 ChatGPT 风格的卡片、地图与路线Frontier UI、Open WebUI のチャット内に ChatGPT 風のカードや地図、ルートを描画GITHUB · VIA R/LOCALLLAMA · DISCUSSIONA developer published Frontier UI, a single-file MIT tool that gives any model in Open WebUI generative interface replies instead of markdown. The model writes a small JSON spec and the server finds photos from Wikipedia and Openverse, verifies places and draws real street routes on MapLibre tiles. Cards also carry budget sliders, keyless weather and market charts, and exports to Word, Excel or PDF.一位开发者发布了 Frontier UI,这是一个单文件的 MIT 许可工具,让 Open WebUI 中的任意模型以生成式界面作答,而不只是 Markdown。模型只写一小段 JSON 规格,服务端负责从 Wikipedia 和 Openverse 找图、核实地点,并在 MapLibre 瓦片上绘制真实街道路线。卡片还带有预算滑块、无需密钥的天气与行情图表,以及导出为 Word、Excel 或 PDF 的功能。ある開発者が Frontier UI を公開した。単一ファイルの MIT ライセンスのツールで、Open WebUI 上のどのモデルでも Markdown ではなく生成的なインターフェースで応答させる。モデルは小さな JSON 仕様を書くだけで、サーバー側が Wikipedia や Openverse から写真を探し、場所を照合し、MapLibre のタイル上に実際の街路ルートを描く。カードには予算スライダー、APIキー不要の天気と相場チャート、Word・Excel・PDF への書き出しも備わる。
2A recipe runs Qwen3.8-27B with a DFlash2 draft at 177 tokens a second on an RX 7900 XTX一份配方让 Qwen3.8-27B 配 DFlash2 草稿模型在 RX 7900 XTX 上跑到每秒 177 个 tokenRX 7900 XTX で Qwen3.8-27B と DFlash2 ドラフトを毎秒177トークンで動かすレシピGITHUB · VIA R/LOCALLLAMA · DISCUSSIONA new repository publishes the patches, scripts and raw numbers for running Qwen3.8-27B as EXL3 4.00bpw with a DFlash2 speculative draft on an AMD RX 7900 XTX, through a ROCm port of exllamav3. With thinking off its median is 177 tokens a second on code and 75 on prose, at about 1,100 tokens a second of prefill and 131k context. That is roughly 70 percent of the same weights on a CUDA RTX 3090.一个新仓库公开了在 AMD RX 7900 XTX 上通过 exllamav3 的 ROCm 移植版运行 Qwen3.8-27B(EXL3 4.00bpw)加 DFlash2 推测解码草稿模型所需的补丁、脚本和原始数据。关闭思考模式后,代码任务中位数为每秒 177 个 token,散文为 75 个,预填充约每秒 1,100 个 token,上下文 131k。这大约相当于同一权重在 CUDA RTX 3090 上成绩的七成。新しいリポジトリが、AMD RX 7900 XTX 上で exllamav3 の ROCm 移植版を使い Qwen3.8-27B を EXL3 4.00bpw と DFlash2 の投機的ドラフトで動かすためのパッチ、スクリプト、生の計測値を公開した。思考をオフにするとコードで毎秒177トークン、散文で75トークンの中央値、プリフィルは毎秒約1,100トークンで文脈長は131kとなる。これは同じ重みを CUDA の RTX 3090 で動かした場合のおよそ7割にあたる。
3LFM3-1.7B is measured at 78 tokens a second on a Strix Halo integrated GPU实测 LFM3-1.7B 在 Strix Halo 集成显卡上达到每秒 78 个 tokenLFM3-1.7B、Strix Halo の内蔵GPUで毎秒78トークンを計測R/LOCALLLAMAA user testing Liquid AI's LFM3-1.7B as a Q8_0 GGUF under llama.cpp with ROCm reports 4,100 tokens a second of prefill and about 78 tokens a second of decode on a Strix Halo integrated GPU. Tensor-splitting the model across a Radeon 7900 XTX and a 7900 XT raises that to roughly 7,100 and 151. They say it stays coherent on 32k to 64k prompts, the size they want for compression and summarization work.一位用户在 llama.cpp 上以 ROCm 后端测试 Liquid AI 的 LFM3-1.7B(Q8_0 GGUF),报告在 Strix Halo 集成显卡上预填充每秒 4,100 个 token、解码约每秒 78 个 token。把模型张量切分到一块 Radeon 7900 XTX 和一块 7900 XT 上后,两项分别提升到约 7,100 和 151。发帖者称该模型在 32k 到 64k 的提示长度下仍能保持连贯,这正是压缩与摘要用途所需的规模。あるユーザーが Liquid AI の LFM3-1.7B を Q8_0 の GGUF として llama.cpp と ROCm で試し、Strix Halo の内蔵GPUでプリフィル毎秒4,100トークン、デコード毎秒約78トークンを報告した。Radeon 7900 XTX と 7900 XT にテンソル分割すると、それぞれ約7,100と151まで上がるという。32kから64kのプロンプトでも一貫性を保つとしており、圧縮や要約の用途に求めていた規模だと述べている。
2026-11-01 · SUNDAY · 09:16 PST
1Infernix adds a WebUI launcher and auto-calibrated speculative decoding for Qwen3.8Infernix 为 Qwen3.8 加入 WebUI 启动器与自动校准的推测解码Infernix、Qwen3.8 向けに WebUI ランチャーと自動調整の投機的デコードを追加GITHUB · VIA R/LOCALLLAMA · DISCUSSIONInfernix, a single-GPU C++/CUDA engine for Qwen3.8 models that grew out of NInfer, shipped a release adding a beta WebUI launcher with model downloads and a switching API, speculative decoding that calibrates its own settings, and a bit-exact lossless mode. Posted figures put it ahead of Strata on first-token latency and behind Basalt on decode, which its author attributes to precision-cutting defaults it leaves off.面向 Qwen3.8 系列、由 NInfer 发展而来的单卡 C++/CUDA 推理引擎 Infernix 发布新版本,新增测试版 WebUI 启动器(含模型下载与切换 API)、可自行校准参数的推测解码,以及逐位精确的无损模式。作者给出的数据显示,它在首字延迟上优于 Strata、在解码速度上落后于 Basalt,并归因于 Infernix 默认不启用那些牺牲精度的优化。NInfer から派生した Qwen3.8 系モデル向け単一 GPU の C++/CUDA 推論エンジン Infernix が新版を公開し、モデルのダウンロードと切り替え API を備えたベータ版 WebUI ランチャー、設定を自動調整する投機的デコード、ビット厳密な可逆モードを追加した。公開された数値では初トークン遅延で Strata を上回り、デコード速度では Basalt に劣るが、著者は Infernix が精度を削る既定の最適化を無効にしているためだと説明している。
2An EPYC rebuild lifts GLM-5.3-Flash decode from 9.7 to 41 tokens a second on the same GPUs换上 EPYC 平台后,同一批显卡把 GLM-5.3-Flash 解码从 9.7 提到 41 tok/sEPYC への入れ替えで、同じ GPU のまま GLM-5.3-Flash のデコードが 9.7 から 41 tok/s へR/LOCALLLAMAAn r/LocalLLaMA user moved from a Core Ultra 7 desktop with 64GB of dual-channel DDR5 to a 24-core EPYC 7443 board with 256GB of eight-channel ECC DDR4, keeping the same consumer cards. GLM-5.3-Flash decode rose from 9.7 to 41.0 tokens a second and DeepSeek-V4.1-Flash from 9.3 to 35.2, because 30 to 60 percent of each model had been read from NVMe on every token before. Dense models gained nothing.一位 r/LocalLLaMA 用户把平台从搭载 64GB 双通道 DDR5 的 Core Ultra 7 台式机换成 24 核 EPYC 7443 主板配 256GB 八通道 ECC DDR4,显卡保持不变。GLM-5.3-Flash 的解码速度从 9.7 升至 41.0 tok/s,DeepSeek-V4.1-Flash 从 9.3 升至 35.2,原因是此前每生成一个词元都要从 NVMe 读取模型的 30% 到 60%。已完整驻留显存的稠密模型则毫无提升。r/LocalLLaMA の利用者が、64GB の 2 チャネル DDR5 を積む Core Ultra 7 のデスクトップから、256GB の 8 チャネル ECC DDR4 を載せた 24 コア EPYC 7443 のボードへ、同じコンシューマ GPU のまま移行した。GLM-5.3-Flash のデコードは毎秒 9.7 から 41.0 トークン、DeepSeek-V4.1-Flash は 9.3 から 35.2 に上がった。以前はトークンごとにモデルの 30 から 60 パーセントを NVMe から読んでいたためで、密モデルでは改善はなかった。
3LeCun and Balestriero prove the Platonic Representation Hypothesis holds for JEPAsLeCun 与 Balestriero 证明柏拉图表征假说在 JEPA 上成立LeCun 氏と Balestriero 氏、JEPA では「プラトン的表現仮説」が成立すると証明ARXIV · VIA R/LOCALLLAMA · DISCUSSIONRandall Balestriero and Yann LeCun proved that joint-embedding predictive architectures trained separately on different modalities learn the same representation up to one rotation, given positive pairs that are two views of one scene. Such views reach the same alignment with 42 times fewer training samples than next-token prediction, and a 109M-parameter text JEPA beat every language model they tested, up to 72B.Randall Balestriero 与 Yann LeCun 发布论文,证明在不同模态上分别训练的联合嵌入预测架构(JEPA),只要其正样本对是同一场景的两种观测,就会学到相差一次旋转的同一套表征。要达到同等的跨模态对齐,这类视图所需的训练样本数比下一词预测少 42 倍;一个 1.09 亿参数的文本 JEPA 的对齐程度,优于他们测试过的所有语言模型,包括 720 亿参数的模型。Randall Balestriero 氏と Yann LeCun 氏は、異なるモダリティで別々に学習した結合埋め込み予測アーキテクチャ(JEPA)が、正例ペアが同一シーンの二つの観測である限り、一回の回転を除いて同じ表現を学習することを証明した。同等の整合性に達するのに必要な学習サンプル数は次トークン予測の 42 分の 1 で、1.09 億パラメータのテキスト JEPA は 720 億パラメータまで試した全ての言語モデルを上回ったという。
4Rented dual-EPYC servers hold near-linear throughput for Qwen3.8-Flash-Next across 8 streams租用的双路 EPYC 服务器在 8 路并发下让 Qwen3.8-Flash-Next 吞吐近乎线性扩展レンタルした 2 ソケット EPYC サーバー、Qwen3.8-Flash-Next で 8 並列までほぼ線形のスループットR/LOCALLLAMAA local-model user spent about $40 on vast.ai instances to benchmark dual EPYC 7642 ROME boards with 251GB and 504GB of DDR4 and two RTX 3090s. Running an Unsloth Q8 build of Qwen3.8-Flash-Next on Strata at 124k context, throughput scaled almost linearly to at least eight concurrent streams, from 94 tokens a second at one to 456 at eight. GLM-5.3-Flash and DeepSeek-V4.1-Flash on Maya did not hold past one stream.一位本地模型用户花约 40 美元在 vast.ai 上租用实例,测试配备 251GB 与 504GB DDR4 的双路 EPYC 7642 ROME 主板加两张 RTX 3090。在 Strata 上以 124k 上下文运行 Unsloth Q8 版 Qwen3.8-Flash-Next 时,吞吐量在至少 8 路并发前近乎线性扩展,从单路 94 tok/s 升至 8 路 456 tok/s。而在 Maya 上运行的 GLM-5.3-Flash 与 DeepSeek-V4.1-Flash 超过单路后便撑不住了。ローカルモデルの利用者が約 40 ドルを使って vast.ai のインスタンスを借り、251GB と 504GB の DDR4 を積む 2 ソケット EPYC 7642 の ROME ボードに RTX 3090 を 2 枚載せた構成を測定した。Strata 上で Unsloth の Q8 版 Qwen3.8-Flash-Next を 124k コンテキストで動かすと、少なくとも 8 並列までスループットはほぼ線形に伸び、1 並列の毎秒 94 トークンから 8 並列で 456 トークンに達した。Maya 上の GLM-5.3-Flash と DeepSeek-V4.1-Flash は 1 並列を超えると持ちこたえなかった。
2026-11-01 · SUNDAY · 06:15 PST
1AI is turning First Nations art into 'Temu slop', a National Gallery adviser says国家美术馆顾问:AI 正把原住民艺术变成「Temu 劣质货」国立美術館の助言役、AI が先住民アートを「Temu の粗製品」に変えていると語るTHE GUARDIANSally Scales, the Pitjantjatjara artist who chairs the National Gallery of Australia's First Nations advisory group, said AI is turning Indigenous art into 'Temu slop' and called it a theft of cultural knowledge and of the artist's agency. The visual arts body Nava told a parliamentary AI inquiry that scrapers strip artists' names and alter their work before it is sold.皮特健加贾拉族艺术家、澳大利亚国家美术馆原住民顾问小组主席萨莉·斯凯尔斯表示,AI 正把原住民艺术变成「Temu 劣质货」,并称这是对文化知识和艺术家自主权的窃取。澳大利亚视觉艺术全国协会(Nava)在议会 AI 调查的意见书中指出,抓取者会抹去艺术家署名、改动作品,然后拿去售卖。ピチャンチャチャラの芸術家で、オーストラリア国立美術館の先住民顧問グループ議長を務めるサリー・スケールズ氏は、AI が先住民アートを「Temu の粗製品」に変えており、文化的知識と作家の主体性に対する窃取だと述べた。視覚芸術の全国団体 Nava は議会の AI 調査への意見書で、収集側が作家名を消し、作品を改変したうえで販売していると指摘している。
2Heretic 2.0 swaps abliteration for an arbitrary-rank method and becomes a general model editorHeretic 2.0 以任意秩消融取代定向消融,转型为通用模型改写工具Heretic 2.0、アブリテレーションを任意ランク消去に置き換え汎用のモデル改変ツールへGITHUB · VIA R/LOCALLLAMA · DISCUSSIONHeretic, a censorship-removal tool with 37,000 GitHub stars, released version 2.0 after five months of work. It replaces directional abliteration with Arbitrary-Rank Ablation, which drops the assumption that refusals occupy a single direction in residual space, and rebuilds the tool around scorer and modifier plugins so it can also suppress slop or sycophancy. Configurations from 1.x are not compatible.去审查工具 Heretic 在开发五个月后发布 2.0 版,该项目目前拥有 3.7 万个 GitHub star。新版用自研的「任意秩消融」(ARA)取代定向消融,不再假定拒答只占据残差空间中的单一方向,并围绕评分器与修改器插件重写了整个工具,使其还能抑制套话、降低谄媚倾向。1.x 版的配置文件不再兼容,需要按迁移指南改写。検閲除去ツール Heretic が、5 か月の開発を経てバージョン 2.0 を公開した。GitHub のスター数は 3.7 万に達している。方向性アブリテレーションを独自開発の任意ランク消去(ARA)に置き換え、拒否が残差空間の単一方向のみを占めるという前提を捨てた。スコアラーとモディファイアのプラグイン構成に全面的に作り替えられ、冗長な決まり文句の抑制や追従性の低減にも使える。1.x の設定には互換性がなく、移行手順に沿った書き換えが必要となる。
3A two-card R9700 build finds Strata on Flash-Next trailing a 27B Q8 on llama.cpp双卡 R9700 实测:Strata 跑 Flash-Next 在 HumanEval+ 上不及 llama.cpp 的 27B Q8R9700 2 枚構成の実測、Strata の Flash-Next は HumanEval+ で llama.cpp の 27B Q8 に及ばずR/LOCALLLAMAA local-model user set out to replace Qwen3.8-27B at Q8 with a longer-context setup and reported Strata on Qwen3.8-Flash-Next falling short on two Radeon R9700s. Offloading experts to RAM hung on long tasks, so only a 3-bit quant fit the 64GB of VRAM; it was faster on paper at about 60 tokens a second but scored 93.9 percent on HumanEval+ against 95.1, using nearly twice the tokens.一位本地模型用户原想用更长上下文的方案替换 Q8 量化的 Qwen3.8-27B,结果在两张 Radeon R9700 上跑 Strata 加 Qwen3.8-Flash-Next 并不理想。把专家层卸载到内存会在长任务中卡死,因此 64GB 显存只装得下 3 bit 量化;该方案纸面速度更快,约每秒 60 个 token,但 HumanEval+ 得分为 93.9%,低于 95.1%,且用掉了近两倍的 token。あるローカルモデル利用者が、Q8 量子化の Qwen3.8-27B をより長い文脈の構成に置き換えようとしたが、Radeon R9700 2 枚での Strata と Qwen3.8-Flash-Next の結果は期待外れだったと報告した。エキスパートを RAM にオフロードすると長時間のタスクで停止するため、64GB の VRAM に収まるのは 3 bit 量子化のみ。速度は毎秒約 60 トークンで名目上は速いが、HumanEval+ の成績は 93.9% で 95.1% に届かず、消費トークンは約 2 倍に達した。
4An engineer runs self-hosted GLM-5.3-Flash as the coder with GPT-6.1 Sol orchestrating工程师用自托管 GLM-5.3-Flash 写代码,由 GPT-6.1 Sol 负责编排自前ホストの GLM-5.3-Flash にコードを書かせ、GPT-6.1 Sol が統括する構成AAYUSH GARG · VIA R/LOCALLLAMA · DISCUSSIONAn engineer deployed GLM-5.3-Flash, a 320-billion-parameter mixture of experts with 18 billion active, on four local H200s at a 512k context window, then made it the subagent that explores and writes code while GPT-6.1 Sol plans and reviews. The write-up says neither Claude Code nor Codex lets one session mix providers across subagents, so the setup runs on OpenCode.一位工程师把 GLM-5.3-Flash(总参数 3200 亿、激活 180 亿的混合专家模型)部署在本地四张 H200 上,上下文窗口为 512k,然后让它作为子智能体负责探索代码库和编写实现,由 GPT-6.1 Sol 制定计划并复核。文章称 Claude Code 和 Codex 都不允许在同一会话里为子智能体混用不同供应商的模型,因此这套流程跑在 OpenCode 上。あるエンジニアが、総パラメータ 3200 億・アクティブ 180 億の混合エキスパートモデル GLM-5.3-Flash を手元の H200 4 枚に文脈長 512k で配置し、コードの調査と実装を担うサブエージェントとして使い、計画と確認を GPT-6.1 Sol に任せた。記事によれば、Claude Code も Codex も 1 つのセッション内でサブエージェントごとに別の提供元のモデルを使うことを許さないため、この構成は OpenCode 上で動かしている。
2026-11-01 · SUNDAY · 03:13 PST
1Five Qwen3.8-27B agents reproduce a published coding harness as eight YAML files, with all 50 runs posted五个 Qwen3.8-27B 智能体用八个 YAML 文件复现已发表的编程协作框架,50 次运行全部公开5体のQwen3.8-27Bエージェント、公開済みのコーディング用ハーネスをYAML 8ファイルで再現し、50回の実行記録をすべて公開GITHUB · VIA HACKER NEWS · 251 PTS · DISCUSSIONA Memdoor example reimplements the GVS5H method - a planner, two ideators, a solver and a manager that talk only through files on disk - as eight YAML files with no code. On the first 10 problems of the authors' LiveCodeBench Hard list, five passes each, it averages 9.8 of 10 against their own harness at 9.6 and 8.0 for a single Fable 5 call. The author calls that parity, not a gain, and publishes all 50 runs.Memdoor 的一个示例把 GVS5H 方法改写成了八个 YAML 文件、不含任何代码:一个规划者、两个出主意的、一个求解者和一个管理者,各自从空白上下文起步,只通过磁盘上的文件交流。在原作者那份 LiveCodeBench Hard 题单的前 10 题上各跑五轮,该工作流平均得分 9.8/10,原作者自己的框架为 9.6,单次调用 Fable 5 的成绩(取自原作者的结果文件)为 8.0。作者强调这只说明打平,并非超越,并公开了全部 50 次运行记录。Memdoorのサンプルが、GVS5Hの手法をコードなしのYAML 8ファイルとして書き直した。プランナー、アイデア出し2体、ソルバー、マネージャーがそれぞれ空の文脈から始まり、ディスク上のファイルだけでやり取りする。原著者のLiveCodeBench Hard問題リストの最初の10問を各5回解かせた結果、このワークフローは平均9.8/10で、原著者自身のハーネスは9.6、原著者のファイルから取ったFable 5の単発呼び出しは8.0だった。作者はこれを上回ったのではなく同等だとし、50回分の実行記録すべてを公開している。
2Hugging Face opens FineDNA, the training data behind its Carbon-X genomics modelHugging Face 开源 FineDNA:训练出 Carbon-X 基因组模型的全部数据Hugging Face、ゲノムモデルCarbon-Xの訓練に使ったデータ一式をFineDNAとして公開HUGGING FACE · VIA R/LOCALLLAMA · DISCUSSIONHugging Face's bio team released FineDNA, the data it used to turn Qwen3-14B into Carbon-X, which it calls the strongest open language model on DNA. The Apache-2.0 release holds more than 300 billion tokens of genomes and DNA-rich text for midtraining, about 200,000 SFT conversations and about 98,000 verifiable RL prompts. The code and recipe are open too, so the pipeline can be applied to other models.Hugging Face 的生物团队公开了 FineDNA,即把 Qwen3-14B 训练成 Carbon-X 所用的数据,团队称 Carbon-X 是 DNA 方向最强的开源语言模型。这份 Apache-2.0 数据集含 3000 亿以上 token 的基因组与富含 DNA 的文本用于中期训练、约 20 万条 SFT 对话和约 9.8 万条可验证的 RL 提示,共 34 个配置。配套的代码和训练配方也一并开放,因此同一套流程可以用到其他模型上。Hugging Faceのバイオチームが、Qwen3-14BをCarbon-Xに仕上げる際に使ったデータをFineDNAとして公開した。同チームはCarbon-XをDNA分野で最強のオープン言語モデルだとしている。Apache-2.0で公開されたこのデータセットには、中間学習用のゲノムおよびDNA関連テキスト3000億トークン超、約20万件のSFT対話、約9万8000件の検証可能なRLプロンプトが34の構成として収められている。コードとレシピも併せて公開されており、同じ手順を他のモデルにも適用できる。
3DeepSeek releases a prototype coding agent that opens its own work items and answers with pull requestsDeepSeek 发布原型编程智能体:自己开工单,用 pull request 回话DeepSeek、自ら作業項目を立ててプルリクエストで応答するコーディングエージェントの試作版を公開BLOOMBERGDeepSeek has published dsh-superagent, a research prototype of a more autonomous coding agent aimed at Anthropic's Claude Code. It watches one GitHub repository and optionally Feishu, opens a work item when an authorized person asks, works in its own agent session and answers in the original thread with a pull request. DeepSeek calls it reference-only research code, not its internal version.DeepSeek 公开了 dsh-superagent,一个面向更高自主性的编程智能体研究原型,对标 Anthropic 的 Claude Code。它监听一个 GitHub 仓库,也可接入飞书;获得授权的人提出需求后,它会开一个工单,在自己独立的会话和目录里完成工作,再以 pull request 的形式回到原来的对话里答复。DeepSeek 强调这只是供参考的研究代码,并非其内部使用的版本。DeepSeekが、より自律的なコーディングエージェントの研究用試作版dsh-superagentを公開した。AnthropicのClaude Codeに対抗する位置づけで、GitHubと任意でFeishuを監視し、権限を持つ人が依頼すると作業項目を立て、専用のエージェントセッションで作業し、元の会話にプルリクエストとして回答する。DeepSeekはこれを参照目的の研究コードであり、社内版とは異なると説明している。
4A 16GB Qwen3.8 27B quant takes 48GB on a 64GB Mac once an agent session reaches 164k tokens16GB 的 Qwen3.8 27B 量化,在 64GB Mac 上跑到 164k 上下文时占满 48GB16GBのQwen3.8 27B量子化版、エージェントの文脈が16万4千トークンに達すると64GBのMacで48GBを占有R/LOCALLLAMAA developer running Qwen3.8 27B as a coding agent on a 64GB M4 Max reports LM Studio's engine process sitting at 48GB once a session reaches 164k tokens, against 16GB of weights. About 11GB is KV cache and the rest a second copy of the context for the prompt cache plus MLX scratch memory, leaving roughly 150MB free. The prompt cache hits 93 percent, so a miss costs a full 20-minute prefill.一位开发者在 64GB 的 M4 Max 上把 Qwen3.8 27B 当编程智能体用,他报告称当会话涨到 16.4 万 token 时,LM Studio 的推理进程已占用 48GB,而权重本身只有 16GB。其中约 11GB 是 KV cache,其余是 prompt cache 为上下文留的第二份副本,加上 MLX 在预填充后不释放的临时内存,整机只剩约 150MB 空闲。prompt cache 命中率为 93%,一旦未命中就要重跑一次约 20 分钟的完整预填充。64GBのM4 MaxでQwen3.8 27Bをコーディングエージェントとして使っている開発者が、セッションが16万4千トークンに達した時点でLM Studioのエンジンプロセスが48GBを使っていたと報告した。重み自体は16GBで、うち約11GBはKVキャッシュ、残りはプロンプトキャッシュ用の文脈の二重保持とMLXが抱えたままの作業用メモリで、空きは約150MBしかない。プロンプトキャッシュのヒット率は93%で、外すと約20分かかる完全な事前計算をやり直すことになる。
5A Pokemon Red benchmark logs Grok 4.20 describing its own loop for hundreds of turns without escaping it宝可梦红版基准测试记录:Grok 4.20 连续数百回合准确描述自己在原地打转,却走不出去ポケモン赤のベンチマーク、Grok 4.20が数百ターンにわたり自らの無限ループを言い当てながら抜け出せない様子を記録R/LOCALLLAMAThe author of PokeBench, which has vision models play Pokemon Red, says Grok 4.20 without reasoning left the first house on turn 36 but did not reach a starter Pokemon until turn 755. Its own notes record oscillating uselessly for 90-plus turns and walking into walls for hundreds of turns, then it walks into a wall again. The author reports Grok 4.6 beat Brock in 316 turns for about $10, while 4.20 spent $30.PokeBench 让视觉模型玩宝可梦红版,其作者称关闭推理的 Grok 4.20 在第 36 回合就走出了主角家,却直到第 755 回合才拿到初始宝可梦。模型自己的笔记里写着「我们已经毫无意义地来回晃了 90 多个回合」、「撞墙和妈妈的对话已经持续了几百个回合」,然后它又撞上了墙。作者还提到 Grok 4.6 用 316 回合、约 10 美元打赢了小刚,而 4.20 花掉 30 美元才勉强拿到初始宝可梦。視覚モデルにポケモン赤をプレイさせるPokeBenchの作者によると、推論を切ったGrok 4.20は36ターン目に最初の家を出たものの、755ターン目まで最初のポケモンを手に入れられなかった。モデル自身のメモには「90ターン以上も無意味に行き来している」「壁にぶつかることと母親の会話が何百ターンも続いている」と書かれており、その直後にまた壁にぶつかる。作者は、Grok 4.6は316ターン・約10ドルでタケシを倒したのに対し、4.20は30ドルを費やしたと報告している。
2026-10-31 · SATURDAY · 18:19 PDT
1A researcher says Anthropic flagged their account for training a competitor and restricted their model access研究者称 Anthropic 以“训练竞争对手”为由标记其账号并限制模型权限研究者、Anthropicが「競合の訓練」とみなしアカウントを制限しモデルを格下げしたと主張JIAHAO SHAO ON X · VIA HACKER NEWS · 173 PTS · DISCUSSIONJiahao Shao, a computer science PhD student at HKUST, posted on X that Anthropic tagged their account for training a competitor and now blocks work touching reinforcement fine-tuning, supervised fine-tuning or training larger models. Shao denies distilling Claude, says the rollouts came from an open-source model, and reports sessions being killed or downgraded from Opus 5.5 to Opus 5.香港科技大学计算机专业博士生 Jiahao Shao 在 X 上发帖称,Anthropic 将其账号标记为训练竞争对手,现在凡是涉及强化微调、监督微调或训练更大模型的操作都会被拦截。Shao 表示自己从未蒸馏 Claude,推理轨迹来自一个开源模型,而其会话要么被直接终止,要么从 Opus 5.5 降级到 Opus 5。香港科技大学で計算機科学の博士課程に在籍するJiahao Shao氏がX上で、Anthropicが自分のアカウントを競合の訓練にあたるものとして扱い、強化微調整や教師ありファインチューニング、より大きなモデルの学習に関わる作業が遮断されるようになったと投稿した。同氏はClaudeを蒸留したことはなく、ロールアウトはオープンソースモデルから得たもので、セッションは強制終了されるかOpus 5.5からOpus 5に格下げされると述べている。
2CrowdGPT adds Byzantine cross-checks after commenters found volunteers could poison the modelCrowdGPT 新增拜占庭交叉校验,此前志愿者可向模型投毒CrowdGPT、参加者によるモデル汚染の指摘を受けビザンチン相互検証を追加GITHUB · VIA R/LOCALLLAMA · DISCUSSIONCrowdGPT, which trains a 1B-parameter model on volunteers' home GPUs rather than in a data center, shipped v2.6 after commenters found clients could fake contributions, poison the model or plant backdoors. Three clients now train on identical data and cross-check each other, capping a malicious client at 2 to 3 percent poisoned data per round, and client builds are signed to close an auto-update code execution path.CrowdGPT 的开发者发布了 v2.6。该项目不依赖数据中心,而是在志愿者的家用 GPU 上协作训练一个 10 亿参数模型,此前有人指出客户端可以伪造贡献、向模型投毒甚至植入后门。现在三个客户端会在完全相同的数据上训练并相互校验,把恶意客户端每轮能注入的污染数据压到 2% 到 3%,客户端程序也已签名,堵住了自动更新带来的任意代码执行路径。データセンターを使わず参加者の家庭用GPUで10億パラメータのモデルを共同学習させるCrowdGPTが、v2.6を公開した。クライアントが貢献を偽装したり、モデルを汚染したり、バックドアを仕込めるとの指摘を受けたもので、現在は3つのクライアントが同一のデータで学習して相互に検証し、悪意あるクライアントが1ラウンドに混ぜられる汚染データは2〜3%に抑えられる。クライアントの配布物には署名が付き、自動更新経由の任意コード実行の経路も塞がれた。
3A language model that lives in a 512-byte boot sector dreams up fake Linux boot logs塞进 512 字节引导扇区的语言模型,开机就编出假的 Linux 启动日志512バイトのブートセクタに収まる言語モデル、偽のLinux起動ログを紡ぎ出すGITHUB · VIA HACKER NEWS · 52 PTS · DISCUSSIONA developer published bootgpt, a 510-byte master boot record in hand-written assembly that loads an 11.5 KB int8 model from the next 23 sectors and runs it in 16-bit real mode with no operating system. The model is char embeddings and one hidden layer, quantized with power-of-two scales so inference needs only imul and one idiv, and it prints invented kernel timestamps and PCI lines.一位开发者发布了 bootgpt:一段 510 字节的手写汇编主引导记录,它从后面 23 个扇区加载一个 11.5 KB 的 int8 模型,并在 16 位实模式下运行,完全不需要操作系统。模型只有字符嵌入和一个隐藏层,按 2 的幂次缩放量化,前向传播只用到 imul 和一次 idiv,输出则是凭空编出的内核时间戳和 PCI 信息。開発者がbootgptを公開した。510バイトの手書きアセンブリによるマスターブートレコードが、続く23セクタから11.5KBのint8モデルを読み込み、OSなしで16ビットリアルモードで動かす。モデルは文字埋め込みと隠れ層1つだけで、2のべき乗スケールで量子化されているため、推論はimulと1回のidivだけで済む。出力は実在しないカーネルのタイムスタンプやPCI情報である。
4Two weeks of agent logs put INT4 AWQ 14 points behind INT8 on task success两周智能体日志显示:INT4 AWQ 任务成功率比 INT8 低 14 个百分点2週間のエージェントログで、INT4 AWQの課題成功率がINT8より14ポイント低いR/LOCALLLAMAA developer compared about two weeks of heavy agent logs from each of two Qwen3.8 27B deployments, INT8 on four RTX 3090s and AWQ INT4 on two, keeping the same harness, sampling and loop detector. Per-task success fell from 92 to 78 percent and reasoning loops rose from 1.9 to 4.7 per 1,000 calls, with the INT4 gap widening from 1.4 times under 40k tokens of context to 3.3 times at 80k to 120k.一位开发者对比了两套 Qwen3.8 27B 部署各约两周的重度智能体日志:一套是四张 RTX 3090 上的 INT8,另一套是两张卡上的 AWQ INT4,执行框架、采样参数和循环检测器保持一致。单任务成功率从 92% 降到 78%,推理循环从每千次调用 1.9 次升到 4.7 次;上下文不足 4 万 token 时 INT4 的循环是 INT8 的 1.4 倍,到 8 万至 12 万 token 时扩大到 3.3 倍。開発者が、Qwen3.8 27Bの2つの構成について約2週間ずつの重いエージェント運用ログを比較した。RTX 3090 4枚のINT8と2枚のAWQ INT4で、ハーネスやサンプリング、ループ検出器は共通にしている。タスク単位の成功率は92%から78%に下がり、推論ループは1000コールあたり1.9回から4.7回に増えた。コンテキストが4万トークン未満ではINT4のループはINT8の1.4倍、8万〜12万トークンでは3.3倍に広がった。
5Moving the desktop to an integrated GPU frees enough VRAM for 110k context on a 16GB card把桌面显示交给集成显卡,16GB 显卡也能跑 11 万上下文デスクトップ表示を内蔵GPUに移し、16GBカードで11万トークンのコンテキストを確保R/LOCALLLAMAAn r/LocalLLaMA user reported running an 11.8GB 4.2-bit Qwen3.8 27B build at about 55 tokens a second on a 16GB RTX 5070 Ti, holding 110k of context with roughly 1.5GB spare. Context above about 60k had fit only intermittently until enabling the motherboard's hybrid graphics so the 9800X3D's integrated GPU drives the displays, freeing the 600 to 800MB that Xorg alone was holding.一位 r/LocalLLaMA 用户称,在 16GB 的 RTX 5070 Ti 上以约每秒 55 token 的速度运行了 11.8GB 的 4.2 bit Qwen3.8 27B,上下文做到 11 万,还剩约 1.5GB 显存。此前超过 6 万上下文时常常装不下,直到改用主板的混合显卡功能把显示输出交给 9800X3D 的集成显卡,腾出了仅 Xorg 就占掉的 600 到 800MB。r/LocalLLaMAのユーザーが、16GBのRTX 5070 Ti上で11.8GBの4.2ビット版Qwen3.8 27Bを毎秒約55トークンで動かし、11万トークンのコンテキストを約1.5GBの余裕を残して確保したと報告した。6万トークンを超えると収まらないことが多かったが、マザーボードのハイブリッドグラフィックス機能で表示を9800X3Dの内蔵GPUに任せ、Xorgだけで占有していた600〜800MBを解放したという。
2026-10-31 · SATURDAY · 15:12 PDT
1Apple's John Ternus says the company will not ship AI for AI's sake苹果 CEO 约翰·特纳斯:不会为了 AI 而做 AIアップルのジョン・ターナスCEO、「AIのためのAIは出さない」TECHCRUNCHApple chief executive John Ternus defended the company's AI position in an interview with Wired's Steven Levy, saying he likes where Apple is at and that it will leverage AI without shipping it for its own sake. Asked whether agents could make apps unnecessary, he said creating products is a deeply human and personal thing. Ternus became chief executive in September.苹果首席执行官约翰·特纳斯在接受《连线》杂志史蒂文·利维采访时为公司的 AI 现状辩护,称他对苹果目前的位置颇为满意,公司会运用 AI,但不会为了 AI 而推出 AI。被问到智能体是否会让应用变得多余时,他说打造产品是一件非常人性化、非常个人化的事。特纳斯于 9 月出任首席执行官。アップルのジョン・ターナス最高経営責任者は、ワイアードのスティーブン・レビー氏とのインタビューで同社のAIの現状を擁護し、今の立ち位置を気に入っているとし、AIは活用するがAIのために投入することはないと述べた。エージェントによってアプリが不要になる可能性を問われると、製品づくりは極めて人間的で個人的な営みだと答えた。ターナス氏は9月にCEOに就任した。
2A judge lets the NAACP's Clean Air Act case over xAI's Colossus turbines proceed法官裁定 NAACP 就 xAI Colossus 燃气轮机提起的《清洁空气法》诉讼可以继续判事、xAIのColossusタービンを巡るNAACPの大気浄化法訴訟の継続を認めるTECHCRUNCHJudge Debra M. Brown denied xAI's motion to dismiss an NAACP suit alleging the company ran at least 35 combustion turbines at its Colossus data center outside Memphis without the required air permits. She rejected arguments that the turbines are mobile sources, that the plaintiffs lack standing, and that citizen suits violate Article II. A separate ruling in October had blocked the EPA from ending the case.德布拉·M·布朗法官驳回了 xAI 要求撤销 NAACP 诉讼的动议。该诉讼称,xAI 在孟菲斯郊外的 Colossus 数据中心未取得必要的空气排放许可,就运行了至少 35 台燃气轮机。法官否决了轮机属于移动排放源、原告缺乏诉讼资格、公民诉讼违反宪法第二条等辩解。10 月的另一项裁定已阻止环保署终止此案。デブラ・M・ブラウン判事は、xAIによる訴訟却下の申し立てを退けた。NAACPの訴えは、同社がメンフィス郊外のColossusデータセンターで必要な大気排出許可を取らずに少なくとも35基の燃焼タービンを稼働させたとするもの。判事は、タービンが移動排出源にあたる、原告に訴訟資格がない、市民訴訟は憲法第2条に反する、との主張をいずれも認めなかった。10月には環境保護局による訴訟打ち切りを阻む別の判断も出ていた。
3QwenPU runs Karpathy's stories260K on a vector unit compiled into Qwen3.5-4B's weightsQwenPU 在编译进 Qwen3.5-4B 权重的向量单元上运行 Karpathy 的 stories260KQwenPU、Qwen3.5-4Bの重みに組み込んだベクトル演算器でKarpathyのstories260Kを動かすGITHUB · VIA R/LOCALLLAMA · DISCUSSIONThe developer behind Qwenputer, which put a working CPU inside a stock Qwen3.5-4B checkpoint, has compiled a vector unit into the same weights and run Andrej Karpathy's 260K-parameter stories model on it. The small model's weights sit in Qwen's own memory with no external tools, and the author says its matmuls, softmax and attention are bit-exact. A full writeup is still pending.此前把一个可运行的 CPU 编译进原版 Qwen3.5-4B 权重的 Qwenputer 作者,又在同一份权重中编译出一个向量单元,并在上面跑起了 Andrej Karpathy 的 26 万参数 stories 模型。小模型的权重就放在 Qwen 自己的内存里,不依赖任何外部工具;作者称其矩阵乘法、softmax 和注意力计算都是逐位精确的。完整技术说明尚未发布。素のQwen3.5-4Bの重みに動作するCPUを埋め込んだQwenputerの開発者が、同じ重みの中にベクトル演算器をコンパイルし、その上でAndrej Karpathy氏の26万パラメーターのstoriesモデルを動かした。小さいモデルの重みはQwen自身のメモリー上に置かれ、外部ツールは使わない。行列積、softmax、アテンションはビット単位で正確だと開発者は述べている。詳細な解説記事は準備中という。
4Artists in Albanese's own electorate organise against Australia's AI copyright plan阿尔巴尼斯自家选区的艺术家联合反对澳大利亚的 AI 版权方案アルバニージー首相の選挙区の芸術家たち、豪州のAI著作権案に反対して結束THE GUARDIANCreatives in the prime minister's Sydney seat of Grayndler are pushing back against a federal proposal that would let AI companies train on Australians' work by default, the Guardian reports. The seat holds more than 3,000 cultural and creative businesses, and 10 percent of its workers are in creative fields against 4.2 percent nationally. Draft laws are due by year's end, for parliament in 2027.《卫报》报道,澳大利亚总理阿尔巴尼斯所在的悉尼 Grayndler 选区的创意从业者正在反对联邦政府的一项提案,该提案将默认允许 AI 公司使用澳大利亚人的作品进行训练。这一选区有 3000 多家文化创意企业,10% 的劳动者从事创意行业,而全国比例为 4.2%。草案预计年底出台,议会将于 2027 年审议。ガーディアンによると、アルバニージー首相の選挙区であるシドニーのグレインドラーで、クリエイターたちがAI企業によるオーストラリア人の作品の学習をデフォルトで認める連邦政府の提案に反発している。同選挙区には文化・創造産業の事業者が3,000以上あり、就業者の10%が創造的な職種に就く。全国平均は4.2%だ。法案は年内にまとまり、議会審議は2027年の予定という。
5GPT-5.6 Sol completes a peaceful Factorio run in 13.5 hours of game timeGPT-5.6 Sol 用 13.5 小时游戏时间通关和平模式《异星工厂》GPT-5.6 Sol、ゲーム内時間13.5時間でFactorioの平和モードを攻略RYAN MADDEN · VIA HACKER NEWS · 130 PTS · 134 COMMENTS · DISCUSSIONRyan Madden ran GPT-5.6 Sol in Codex at a low thinking level against a biter-free Factorio save, driving the game through a Python library that enforces the reach and fog-of-war limits human players face. It reached a rocket launch, though Madden says late-game failures to connect production systems were papered over by ferrying supplies by hand. Earlier GPT-5.5 attempts never used belts at all.Ryan Madden 让 GPT-5.6 Sol 在 Codex 中以低思考档位挑战无虫族的《异星工厂》存档,通过一个 Python 库操作游戏,该库施加了与人类玩家相同的操作距离和战争迷雾限制。模型最终发射了火箭,但 Madden 表示,后期它无法把各生产系统连通,只能靠人工反复搬运物资来掩盖。此前 GPT-5.5 的尝试完全不会使用传送带。Ryan Madden氏は、ビターのいないFactorioのセーブデータに対し、GPT-5.6 SolをCodex上で低い思考レベルで走らせた。操作は、人間のプレイヤーと同じ到達距離や視界の制限を課すPythonライブラリ経由で行わせた。ロケット打ち上げまで到達したが、終盤は生産設備をつなげられず、物資を手作業で運んで取り繕ったと同氏は述べている。以前のGPT-5.5はベルトを一切使えなかった。
2026-10-31 · SATURDAY · 12:15 PDT
1A Verge editor turned a $50 Waveshare devkit into a Muse Charm clone with Claude CodeThe Verge 编辑用 Claude Code 把 50 美元的 Waveshare 开发板改造成 Muse Charm 仿制品The Vergeの編集者、50ドルのWaveshare開発キットをClaude CodeでMuse Charm風デバイスに仕上げるTHE VERGEThe Verge's Sean Hollister paid $50 for a Waveshare ESP32-S3 pendant, one of the devkits Meta suggests for building a Muse Gadget, and found it did little out of the box. Successive Claude Code sessions added a conversation history page, an ElevenLabs voice, a remote camera shutter and a Tamagotchi-style pet minigame. Meta's own build shipped a single avatar and no smart home discovery.The Verge 的 Sean Hollister 花 50 美元买了一块 Waveshare ESP32-S3 吊坠式开发板,它是 Meta 推荐用来制作 Muse Gadget 的开发板之一,但开箱后几乎不能用。他用 Claude Code 分几次改造,加上了对话记录页、ElevenLabs 语音、远程快门和类似拓麻歌子的养成小游戏。Meta 自带的固件只有一个形象,也不会自动发现智能家居设备。The VergeのSean Hollister氏は、MetaがMuse Gadget製作用に挙げる開発キットの一つであるWaveshare ESP32-S3のペンダント型基板を50ドルで購入したが、箱から出した状態ではほとんど使い物にならなかった。Claude Codeで何度か手を入れ、会話履歴の画面、ElevenLabsの音声、遠隔シャッター、たまごっち風の育成ゲームを追加した。Meta純正の構成にはアバターが一体しかなく、スマートホーム機器の自動検出もなかった。
2Arca's head of AI details a custom harness and persistent memory behind multi-day finance agentsArca 的 AI 负责人详解支撑跨日金融智能体的自建框架与持久记忆ArcaのAI責任者、数日にまたがる金融エージェントを支える独自ハーネスと永続メモリーを語るLATENT SPACELatent Space published an interview with Aman Singh, head of AI at wealth management firm Arca, recorded with editorial head Richard MacManus at AI Engineer New York. Singh describes an AI-native firm built on a custom agent harness and persistent memory, running agentic workflows that span days. He frames the pattern as agents prompting people rather than the reverse.Latent Space 发布了对财富管理公司 Arca 的 AI 负责人 Aman Singh 的访谈,由其编辑负责人 Richard MacManus 在 AI Engineer New York 大会上录制。Singh 介绍了一家以 AI 为核心构建的公司,底层是自研的智能体框架与持久记忆,运行跨越数天的智能体工作流。他把这种模式概括为智能体向人提问,而非只由人向智能体提问。Latent Spaceは、資産運用会社ArcaのAI責任者Aman Singh氏へのインタビューを公開した。収録は編集責任者のRichard MacManus氏がAI Engineer New Yorkで行った。Singh氏は、独自のエージェント・ハーネスと永続メモリーを土台に据え、数日にまたがるエージェント型ワークフローを動かすAIネイティブな企業像を語る。氏はこの形を、人がエージェントに指示するのではなくエージェントが人に問いかける構図だと表現している。
3An open reference publishes V100 SXM2 pin maps and NVLink wiring plans for DIY carrier boards开源资料公开 V100 SXM2 引脚图与 NVLink 连线方案,供自制载板使用V100 SXM2のピンマップとNVLink配線案を公開するオープンな資料集、自作キャリアボード向けR/LOCALLLAMAA new repository collects connector pin mappings for NVIDIA's V100 SXM2 modules, two- and four-GPU NVLink connection plans, and connector-only KiCad starter schematics, licensed under CERN-OHL-W and CC BY-SA. The author credits existing community research and calls it an early release, with power, clock and control circuits still to be designed. The stated goal is an open-source carrier board.一个新建仓库汇总了英伟达 V100 SXM2 模块的连接器引脚映射、双卡与四卡 NVLink 连线方案,以及只含连接器的 KiCad 初始原理图,采用 CERN-OHL-W 与 CC BY-SA 许可。作者标注了已有的社区研究来源,并称这只是早期版本,供电、时钟和控制电路仍需自行设计。其目标是做出一块开源载板。新設のリポジトリが、NVIDIAのV100 SXM2モジュールのコネクターピン対応表、2基構成と4基構成のNVLink結線案、コネクターのみのKiCad雛形回路図をまとめ、CERN-OHL-WとCC BY-SAで公開した。作者は既存のコミュニティ調査の出典を明記し、これは初期公開であり電源、クロック、制御回路は各自で設計する必要があると述べている。目標はオープンソースのキャリアボードだという。
4llama.cpp v0.8.0 adds DFlash2 for Qwen3.8-Flash-Next, measured 17 percent faster than MTPllama.cpp v0.8.0 为 Qwen3.8-Flash-Next 加入 DFlash2,实测比 MTP 快 17%llama.cpp v0.8.0がQwen3.8-Flash-Next向けDFlash2に対応、実測でMTPより17%高速HUGGING FACE · VIA R/LOCALLLAMA · DISCUSSIONA user quantized DFlash2 draft heads for Qwen3.8-Flash-Next and benchmarked them on llama.cpp v0.8.0, the first release that supports the drafter for that model. Across code, list, prose and long-context prompts the geometric mean rose from 75.1 to 87.9 tokens a second, with prose the one regression at -3 percent. The Q4_0 draft head is about 350MB against 2.2GB for the MTP head it replaces.一位用户为 Qwen3.8-Flash-Next 量化了 DFlash2 草稿头,并在 llama.cpp v0.8.0 上做了实测,这是首个支持该模型该草稿器的版本。在代码、列表、散文和长上下文四类提示上,几何平均从每秒 75.1 token 升到 87.9 token,只有散文一项回落 3%。Q4_0 草稿头约 350MB,而它取代的 MTP 头为 2.2GB。あるユーザーがQwen3.8-Flash-Next向けのDFlash2ドラフトヘッドを量子化し、当該モデルでこのドラフターに初めて対応したllama.cpp v0.8.0で計測した。コード、リスト、散文、長コンテキストの各プロンプトを通した幾何平均は毎秒75.1トークンから87.9トークンへ上がり、唯一の後退は散文の3%減だった。Q4_0のドラフトヘッドは約350MBで、置き換えられるMTPヘッドの2.2GBより小さい。
5A temperature sweep puts greedy decoding 12.7 points behind temperature 1.0 on hard coding problems温度扫描显示:在困难编程题上,贪心解码比温度 1.0 低 12.7 个百分点温度スイープで判明、難問コーディングでは貪欲デコードが温度1.0に12.7ポイント劣るR/LOCALLLAMAAn r/LocalLLaMA user ran Qwen3.8 at IQ4_XS-M through the 100 hard problems in LiveCodeBench v6 at five temperatures, holding top_p, top_k and min_p fixed. Pooled accuracy rose from 70.0 percent at temperature 0 to 82.7 percent at 1.0, and the share of answers that fell into loops dropped from 9 percent to 0.3 percent. Recall scores on GPQA Diamond were unaffected.一位 r/LocalLLaMA 用户让 IQ4_XS-M 量化的 Qwen3.8 在 LiveCodeBench v6 的 100 道困难题上跑了五个温度,同时固定 top_p、top_k 和 min_p。合并后的准确率从温度 0 时的 70.0% 升到温度 1.0 时的 82.7%,陷入循环的回答占比从 9% 降到 0.3%。而 GPQA Diamond 这类知识回忆题的成绩没有受影响。r/LocalLLaMAのあるユーザーが、IQ4_XS-Mに量子化したQwen3.8でLiveCodeBench v6の難問100問を五つの温度で走らせ、top_p、top_k、min_pは固定した。全体の正答率は温度0の70.0%から温度1.0の82.7%へ上がり、ループに陥った回答の割合は9%から0.3%へ下がった。一方、知識想起を測るGPQA Diamondの成績には影響がなかった。
2026-10-31 · SATURDAY · 09:14 PDT
1An engine's default lossy offload flags cost a Q8 pack more accuracy than 2-bit quantization推理引擎默认的有损卸载开关,让 Q8 权重的准确率损失超过降到 2 比特推論エンジン既定の劣化オフロード設定、Q8パックの精度を2ビット量子化より落とすR/LOCALLLAMABasalt's developer measured two lossy flags engines ship by default on small cards, biasing routing toward experts already in VRAM and skipping uncached low-ranked experts, on Qwen 3.8 Flash Next. At the shipped values a 178 GiB Q8_0 pack scored a worse KL divergence than an exact 65 GiB Q2_0. A task eval put the cost near 1.5 points with ample VRAM and 5.2 points on chained reasoning with the expert cache capped.Basalt 的开发者在 Qwen 3.8 Flash Next 上测量了推理引擎在小显存卡上默认开启的两个有损开关:把路由偏向已在显存中的专家,以及跳过未缓存的低排名专家。在这些出厂数值下,178 GiB 的 Q8_0 权重的 KL 散度比精确的 65 GiB Q2_0 更差。任务评测显示,显存充足时代价约为 1.5 分,而把专家缓存压到模拟小卡后,链式推理下降 5.2 分。Basaltの開発者は、推論エンジンが小容量カードで既定で有効にする二つの劣化設定、すでにVRAMにある専門家へルーティングを偏らせる処理と、キャッシュ外の下位の専門家を省く処理を、Qwen 3.8 Flash Nextで測定した。出荷時の値では178 GiBのQ8_0パックが、厳密な65 GiBのQ2_0よりKLダイバージェンスで劣った。タスク評価では、VRAMが十分なら代価は約1.5ポイント、専門家キャッシュを絞ると連鎖推論で5.2ポイント下がった。
2Betelgeuse runs a 68GB expert build on a 12GB RTX 3060 at 22 tokens a secondBetelgeuse 在 12GB 的 RTX 3060 上以每秒 22 个 token 运行 68GB 专家模型Betelgeuse、12GBのRTX 3060で68GBのエキスパート構成を毎秒22トークンで実行R/LOCALLLAMAA developer released Betelgeuse, a llama.cpp fork that streams routed experts from NVMe into a bounded VRAM slot pool backed by a RAM victim cache. He reports 22 tokens a second of warm decode on a 68GB Qwen 3.8 Flash Next build using an RTX 3060 12GB and 16GB of DDR4, against 1.47 for stock llama.cpp and 8.11 for Strata on the same box, with output byte-exact and no experts dropped.一位开发者发布了 Betelgeuse,这是一个 llama.cpp 分支,把路由专家从 NVMe 流式载入有界的显存插槽池,并以内存受害者缓存作为后备。他报告在 RTX 3060 12GB 加 16GB DDR4 的机器上,68GB 的 Qwen 3.8 Flash Next 权重热态解码达每秒 22 个 token,而同一台机器上原版 llama.cpp 为 1.47、Strata 为 8.11,且输出逐字节一致、未丢弃任何专家。ある開発者が、ルーティングされた専門家をNVMeから上限付きのVRAMスロットプールへ流し込み、RAMのビクティムキャッシュで補うllama.cppのフォーク、Betelgeuseを公開した。RTX 3060 12GBと16GBのDDR4という構成で、68GBのQwen 3.8 Flash Nextパックをウォーム時に毎秒22トークンでデコードしたとし、同じ機体で素のllama.cppは1.47、Strataは8.11だったと報告する。出力はバイト単位で一致し、専門家の切り捨てもないという。
3A Match Group survey finds 39 percent of British singles have used AI in their dating livesMatch Group 调查显示,39% 的英国单身者在约会生活中用过 AIMatch Group調査、英国の独身者の39%が交際生活でAIを使用THE GUARDIANA survey of 3,000 British singles published this month by Match Group, the owner of Tinder and Hinge, found 39 percent had used AI in their dating lives, from drafting messages to assessing potential partners. Use rises to 66 percent among gen Z and 53 percent of millennials. One user told the Guardian he relies on it for pep talks and to vet his messages, while saying he would rather date in person.Tinder 和 Hinge 的母公司 Match Group 本月发布的一项针对 3,000 名英国单身者的调查发现,39% 的人在约会生活中使用过 AI,用途从代写消息到评估潜在对象。在 Z 世代中这一比例升至 66%,千禧一代为 53%。一位用户告诉卫报,他靠 AI 鼓劲并检查自己的消息,同时表示他其实更愿意线下约会。TinderとHingeを所有するMatch Groupが今月公表した英国の独身者3,000人への調査で、39%が交際生活でAIを使ったことがあると答えた。用途はメッセージの下書きから相手の見極めまでに及ぶ。利用率はZ世代で66%、ミレニアル世代で53%に上る。ある利用者はガーディアンに、励ましをもらいメッセージを点検させていると語る一方、本当は対面で出会いたいと述べた。
4Executives at about 50 companies say Meta's Muse has barely touched their sales约 50 家公司高管称 Meta 的 Muse 几乎未触及其销售約50社の幹部、MetaのMuseは売上にほとんど触れていないと語るWIREDWired asked executives at roughly 50 companies in travel, telecoms, food and self-storage how far Meta's Muse agent has reached their business, and found almost no measurable effect. T-Mobile said it has seen nothing of significance, Hilton called agent bookings insignificant, and Life Time Group reported zero agent-driven cancellations. Chipotle said Muse's debut lifted agentic orders by a single-digit percentage.Wired 向旅游、电信、餐饮、自助仓储等约 50 家公司的高管询问 Meta 的 Muse 智能体对其业务的影响,发现几乎没有可衡量的效果。T-Mobile 称没有看到任何值得一提的变化,希尔顿把来自智能体的预订称为微不足道,Life Time Group 报告智能体带来的取消量为零。Chipotle 说 Muse 上线后智能体订单只增长了个位数百分比。Wiredは旅行、通信、食品、セルフストレージなど約50社の幹部に、MetaのエージェントMuseが事業にどこまで及んでいるかを尋ね、測定できる影響はほぼないと突き止めた。T-Mobileは意味のあるものは見ていないと述べ、ヒルトンはエージェント経由の予約をごくわずかと呼び、Life Time Groupはエージェントによる解約はゼロだと報告した。ChipotleはMuse登場後、エージェント経由の注文が1桁パーセント増えたとした。
5A llama.cpp crash on Gemma 4 traced to context checkpoints filling system RAMGemma 4 上的 llama.cpp 崩溃,根源是上下文检查点占满系统内存Gemma 4でのllama.cppのクラッシュ、原因はシステムRAMを埋めたコンテキストチェックポイントJOSE M · VIA R/LOCALLLAMA · DISCUSSIONJose M traced a llama.cpp crash while stress testing Gemma 4 12B to system RAM rather than VRAM, and found context checkpoints behind it. For sliding-window models llama.cpp keeps 32 checkpoints per slot by default at about 320MiB each, which overran his 16GB of RAM. He writes that four were enough for simple chat continuation.Jose M 在对 Gemma 4 12B 做压力测试时遇到 llama.cpp 崩溃,追查后发现耗尽的是系统内存而非显存,原因是上下文检查点。对滑动窗口模型,llama.cpp 默认为每个槽位保留 32 个检查点,每个约 320MiB,超出了他的 16GB 内存。他写道,普通的续聊场景下四个就够了。Jose Mは、Gemma 4 12Bの負荷試験中に起きたllama.cppのクラッシュを追い、尽きていたのはVRAMではなくシステムRAMで、原因はコンテキストチェックポイントだったと突き止めた。スライディングウィンドウ型のモデルでllama.cppは既定でスロットごとに32個のチェックポイントを保持し、1個あたり約320MiBで、16GBのRAMを超えた。単純な会話の継続なら4個で足りたと書いている。
2026-10-31 · SATURDAY · 06:13 PDT
1Cisco Talos finds an infostealer that sends each victim's stolen data to a language model思科 Talos 发现一款把窃取数据交给大模型分析的信息窃取木马シスコ Talos、盗んだデータを言語モデルに送る情報窃取型マルウェアを発見WIREDCisco Talos has documented Volta-Autodoxer, an infostealer carrying a 240-word prompt that tells a model to act as a forensic intelligence analyst and write a target assessment from the data it harvests. Requests go out through OpenRouter, defaulting to Claude Opus 4.6 with fallbacks to Kimi K2 and Gemini 2.5 Flash if guardrails refuse. Talos says it did not track whether the malware has been used in the wild.思科 Talos 记录了一款名为 Volta-Autodoxer 的信息窃取木马,它内置一段 240 词提示,要求模型扮演取证情报分析员,根据窃取到的数据撰写目标评估报告。请求通过 OpenRouter 发出,默认调用 Claude Opus 4.6,若被安全护栏拒绝则回退到 Kimi K2 和 Gemini 2.5 Flash。Talos 表示并未追踪该木马是否已被实际使用。シスコ Talos は、情報窃取型マルウェア Volta-Autodoxer を報告した。240語のプロンプトを内蔵し、モデルにフォレンジック情報分析官として振る舞わせ、収集したデータから標的評価書を書かせる。要求は OpenRouter 経由で送られ、既定は Claude Opus 4.6、ガードレールに拒否されると Kimi K2、さらに Gemini 2.5 Flash に切り替わる。実際に使われたかは追跡していないという。
2Microsoft releases Mage-VL-Cowork, a 4B agent that chooses between clicking and the shell微软发布 Mage-VL-Cowork:自行决定点击还是走命令行的 40 亿参数智能体マイクロソフト、クリックとシェルを自ら選ぶ40億パラメータのエージェント Mage-VL-Cowork を公開HUGGING FACE · VIA R/LOCALLLAMA · DISCUSSIONMicrosoft published Mage-VL-Cowork, an Apache-2.0 vision-language model of 4 billion parameters that handles screenshot-driven GUI actions and a persistent bash shell in one policy, with no external router. Its card reports 66.0 percent on OSWorld-Verified under a 50-step budget, which Microsoft calls the best at that scale. The team says online reinforcement learning added 10.16 points over hybrid fine-tuning.微软发布了 Mage-VL-Cowork,一个采用 Apache-2.0 许可的 40 亿参数视觉语言模型,在同一个策略内同时处理基于截图的图形界面操作和常驻的 bash 终端,无需外部调度器。模型卡称其在 50 步预算下于 OSWorld-Verified 上取得 66.0%,是该参数规模的最好成绩。团队表示在线强化学习比混合微调提升了 10.16 个百分点。マイクロソフトは、Apache-2.0 ライセンスの40億パラメータの視覚言語モデル Mage-VL-Cowork を公開した。スクリーンショットに基づくGUI操作と常駐の bash シェルを、外部ルーターなしに一つのポリシーで扱う。モデルカードは50ステップ予算で OSWorld-Verified 66.0% を報告し、同規模で最高の結果だとしている。オンライン強化学習で混合微調整より10.16ポイント向上したという。
3An AI agent picked a gene therapy and injected it into a live mouse's brainAI 智能体自行选定基因疗法,并注入活体小鼠大脑AIエージェントが遺伝子治療を選び、生きたマウスの脳に注入WIREDExin Therapeutics cofounder Gabriel Ocana Santero wired an agent to a custom surgical rig, where it chose one of 19 candidate therapies, set the brain region and coordinates, and drove the needle and injector after a veterinary surgeon had performed the craniotomy. Santero says Claude Opus 5.5 refused to guide the needle, so the team used Claude Sonnet 5. A human approval step and a motor kill switch stayed in place.Exin Therapeutics 联合创始人 Gabriel Ocana Santero 把一个智能体接入自建的手术装置:在兽医外科医生完成开颅后,智能体从 19 种候选疗法中选定一种,设定脑区和进针坐标,并操控针头与注射器。Santero 称 Claude Opus 5.5 拒绝引导进针,团队因此改用 Claude Sonnet 5。人工批准环节和电机急停按钮仍然保留。Exin Therapeutics 共同創業者の Gabriel Ocana Santero は、自作の手術装置にエージェントを接続した。獣医外科医が開頭を済ませた後、エージェントが19の候補治療から一つを選び、脳領域と座標を決め、針と注入器を操作した。Santero によると Claude Opus 5.5 は針の誘導を拒んだため、チームは Claude Sonnet 5 を使った。人間の承認手順とモーター停止ボタンは維持された。
4KoboldCpp v1.124 pulls in audio.cpp, adding the YuE2 music model and 17 speech modelsKoboldCpp v1.124 接入 audio.cpp,新增 YuE2 音乐模型与 17 个语音模型KoboldCpp v1.124、audio.cpp を統合し YuE2 音楽モデルと17の音声モデルを追加GITHUB · VIA R/LOCALLLAMA · DISCUSSIONKoboldCpp's v1.124 release integrates part of the audio.cpp project, bringing the YuE2 music generation model with three ready-made templates and 17 ported text-to-speech models, most of them supporting voice cloning or spoken instructions. The same build syncs sd.cpp for new image models, adds an MCP setup wizard to the bundled agent, and enables CUDA graphs across all architectures.KoboldCpp v1.124 版本整合了 audio.cpp 项目的一部分,带来 YuE2 音乐生成模型及三个现成配置模板,以及 17 个移植过来的文本转语音模型,其中多数支持声音克隆或语音指令。该版本还同步了 sd.cpp 以支持新的图像模型,为内置智能体加入 MCP 配置向导,并对所有架构启用 CUDA graphs。KoboldCpp の v1.124 は audio.cpp プロジェクトの一部を統合し、YuE2 音楽生成モデルと3種の既成テンプレート、さらに移植された17の音声合成モデルを追加した。多くは音声クローンや音声指示に対応する。同ビルドでは新しい画像モデル向けに sd.cpp を同期し、付属エージェントに MCP 設定ウィザードを加え、全アーキテクチャで CUDA graphs を有効にした。
5Unsloth says ISTA's quant scores do not reproduce, and ISTA blames the reasoning budgetUnsloth 称无法复现 ISTA 的量化成绩,ISTA 回应差异源于推理预算Unsloth が ISTA の量子化スコアは再現できないと主張、ISTA は推論予算の差だと反論R/LOCALLLAMA · DISCUSSIONUnsloth released Dynamic v3.1 GGUFs of DeepSeek-V4.1-Flash-1017 with benchmarks against ISTA-DASLab's GSQ-RCO builds, saying ISTA's reported 100 percent AIME25 accuracy recovery came out near 91.88 percent in its own runs, averaged over 16 attempts. ISTA replied that it altered no hyperparameters and that the gap is a benchmark constraint: Unsloth capped reasoning at 32K tokens where ISTA allows 128K.Unsloth 发布了 DeepSeek-V4.1-Flash-1017 的 Dynamic v3.1 GGUF,并公布了与 ISTA-DASLab 的 GSQ-RCO 版本的对比基准,称 ISTA 所报告的 AIME25 百分之百精度恢复,在自己 16 次取平均的测试中只有约 91.88%。ISTA 回应称并未改动任何超参数,差距源于基准设置:Unsloth 把推理预算限制在 32K token,而 ISTA 允许 128K。Unsloth は DeepSeek-V4.1-Flash-1017 の Dynamic v3.1 GGUF を公開し、ISTA-DASLab の GSQ-RCO 版との比較ベンチマークを示した。ISTA が報告した AIME25 の精度回復100%は、16回平均の自社測定では約91.88%だったという。ISTA はハイパーパラメータは一切変更しておらず、差はベンチマーク条件によると反論した。Unsloth は推論を32Kトークンに制限したが、ISTA は128Kを許容している。
2026-10-31 · SATURDAY · 03:15 PDT
1A lawyer runs DeepSeek-V4.1-Flash across two DGX Sparks at 2,618 tokens a second of prefill一位律师用两台 DGX Spark 运行 DeepSeek-V4.1-Flash,预填充达每秒 2,618 个 token弁護士がDGX Spark2台でDeepSeek-V4.1-Flashを走らせ、プリフィル毎秒2,618トークンを記録R/LOCALLLAMANick Mermiges of PLI Labs ran DeepSeek-V4.1-Flash-1017 at 2.75 bits per weight under vLLM tensor parallel across two DGX Sparks, with a third EPYC box serving the Engram tables over RDMA and running a speculative drafter on two 3090s. Prefill held 2,618 tokens a second at 256K context and structured JSON output reached 322 across four streams. He says the build loses on plain prose, 66 against a rival's 80.7.PLI Labs 的 Nick Mermiges 以每权重 2.75 位运行 DeepSeek-V4.1-Flash-1017,通过 vLLM 张量并行跨两台 DGX Spark 部署,另有一台 EPYC 主机经 RDMA 提供 Engram 表,并在两块 3090 上跑投机草稿模型。256K 上下文下预填充维持每秒 2,618 个 token,四路并发的结构化 JSON 输出达到每秒 322 个。他承认纯文本生成不及对手,单路 66 对 80.7。PLI LabsのNick Mermiges氏は、DeepSeek-V4.1-Flash-1017を重み当たり2.75ビットで、vLLMのテンソル並列によりDGX Spark2台にまたがって動かした。3台目のEPYC機がRDMA経由でEngramテーブルを供給し、3090を2枚使って投機デコードのドラフトモデルを走らせる。256Kコンテキストでプリフィルは毎秒2,618トークン、4ストリームの構造化JSON出力は毎秒322トークンに達した。平文の生成では1ストリーム66対80.7で競合に劣るという。
2A 1,200-sample rerun of Cohere's Qwen trace never reproduces the Beijing bucket对 Cohere 的 Qwen 轨迹做 1,200 次重采样,始终未复现那个北京存储桶CohereのQwenトレースを1,200回再サンプリングしても、北京のバケットは一度も再現されずR/LOCALLLAMAMark Galyan resampled Cohere's published trace 1,200 times, cut just before the upload address, across Unsloth 2-bit and 4-bit builds of Qwen3.8-Flash-Next. The model wrote some address almost every time but never Cohere's Beijing bucket, and the 4-bit file chose localhost 32.5 percent of the time. Moving five layers from system RAM onto the GPUs cut probes of Alibaba's metadata address by about two thirds.Mark Galyan 把 Cohere 公开的推理轨迹在上传地址前一个 token 处截断,用 Unsloth 的 Qwen3.8-Flash-Next 2 位与 4 位版本各重采样共 1,200 次。模型几乎每次都会写出某个地址,却从未写出 Cohere 那个北京存储桶,其中 4 位版本有 32.5% 选择 localhost。把五层权重从内存移到 GPU 后,探测阿里云元数据地址的比例下降约三分之二。Mark Galyan氏は、Cohereが公開した推論トレースをアップロード先アドレスの直前のトークンで切り、UnslothのQwen3.8-Flash-Next の2ビット版と4ビット版で計1,200回サンプリングした。モデルはほぼ毎回何らかのアドレスを書いたが、Cohereが報告した北京のバケットは一度も現れず、4ビット版は32.5%がlocalhostだった。5層をシステムRAMからGPUへ移すと、アリババのメタデータアドレスへの探索は約3分の1に減った。
3Ollie, a privacy-focused AI assistant backed by Khosla Ventures, shuts down on November 6由 Khosla Ventures 投资的隐私优先 AI 助手 Ollie 将于 11 月 6 日关停Khosla Venturesが出資したプライバシー重視のAIアシスタントOllie、11月6日に終了TECHCRUNCHCo-founder and chief executive Bill Lennon said on X on Friday that Ollie will close in a week, on November 6. The subscription assistant connected to a user's email and calendar to book appointments, plan meals and pay bills, and discussed a $7.5 million seed round led by Khosla Ventures with TechCrunch in September. TechCrunch calls it one of the first mainstream apps to pass a SOC 2 audit.联合创始人兼首席执行官 Bill Lennon 周五在 X 上表示,Ollie 将在一周后,即 11 月 6 日关停。这款订阅制助手连接用户的邮箱与日历,可预约、规划餐食和支付账单,9 月曾向 TechCrunch 介绍由 Khosla Ventures 领投的 750 万美元种子轮。TechCrunch 称它是首批通过 SOC 2 审计的主流应用之一。共同創業者で最高経営責任者のBill Lennon氏は金曜、Ollieを1週間後の11月6日に終了すると X で明らかにした。サブスクリプション型のこのアシスタントは利用者のメールとカレンダーに接続し、予約、献立づくり、請求書の支払いまで担い、9月にはKhosla Venturesが主導した750万ドルのシードラウンドをTechCrunchに語っていた。TechCrunchは、SOC 2監査を通過した最初期の主流アプリの一つだとしている。
4United's chief executive says Boom's 2029 supersonic target will slip as it builds data center turbines联合航空首席执行官称 Boom 的 2029 年超音速目标将推迟,公司正转向制造数据中心燃气轮机ユナイテッドCEO、Boomの2029年超音速機目標は遅れると発言、同社はデータセンター用タービンに軸足ARS TECHNICAUnited Airlines chief executive Scott Kirby said on a podcast released October 28 that Boom Supersonic's official 2029 date for its first Overture airliner is not going to happen. Boom unveiled a Colorado factory on October 22 for a 42-megawatt gas turbine called Superpower, aiming to ship the first units to AI data centers in mid-2027 and 50 a year by 2029. Its Overture plant has sat mostly idle since 2024.联合航空首席执行官 Scott Kirby 在 10 月 28 日发布的一期播客中说,Boom Supersonic 官方给出的首架 Overture 客机 2029 年交付期无法实现。Boom 已于 10 月 22 日揭幕一座科罗拉多工厂,生产名为 Superpower 的 42 兆瓦燃气轮机,计划 2027 年中向 AI 数据中心交付首批机组,到 2029 年年产 50 台。其 Overture 工厂自 2024 年起大多闲置。ユナイテッド航空のスコット・カービー最高経営責任者は、10月28日公開のポッドキャストで、Boom Supersonicが公式に掲げる初号機Overtureの2029年就航は実現しないと述べた。Boomは10月22日、Superpowerと呼ぶ42メガワットのガスタービンを造るコロラド州の工場を公開し、2027年半ばにAIデータセンターへ初号機を納め、2029年には年50台まで引き上げるとしている。Overtureの工場は2024年以降ほぼ遊休状態にある。
5OpenAI publishes court brief excerpts arguing that fair use supports AI trainingOpenAI 发布法庭陈述摘录,主张合理使用为 AI 训练提供支撑OpenAI、AI学習をフェアユースが支えると論じる法廷意見書の抜粋を公開OPENAI BLOGOpenAI published a post collecting excerpts from court briefs by creators, academics, accessibility advocates and legal experts on how fair use supports AI training. It lands in the copyright fight led by The New York Times, where the Justice Department told the court in September that training large language models on copyrighted work is fair use. House Judiciary Democrats filed against that position on Friday.OpenAI 发布了一篇文章,汇集创作者、学者、无障碍权益倡导者和法律专家在法庭陈述中的摘录,论述合理使用如何支撑 AI 训练与创新。此时正值《纽约时报》牵头的版权诉讼进行之中,司法部已于 9 月向法院表示,用受版权保护的作品训练大语言模型属于合理使用。众议院司法委员会的资深民主党人周五已提交文件反对这一立场。OpenAIは、クリエイター、研究者、アクセシビリティ擁護者、法律専門家らが法廷に提出した意見書から、フェアユースがAIの学習と技術革新をどう支えるかを論じた箇所を集めた記事を公開した。ニューヨーク・タイムズ主導の著作権訴訟が続くなかでの公開で、司法省は9月、著作物で大規模言語モデルを学習させることはフェアユースに当たると法廷で述べていた。下院司法委員会の民主党重鎮らは金曜、この立場に反対する意見書を提出している。
2026-10-31 · SATURDAY · 00:14 PDT
1Altman meets Samsung's top executives in South Korea as the memory crunch deepens奥尔特曼在韩国会见三星高层,内存短缺加剧アルトマン氏が韓国でサムスン幹部と会談、メモリー不足が深刻化BLOOMBERGOpenAI chief executive Sam Altman met Samsung Group's top executives in South Korea on Saturday to deepen cooperation on memory chips and AI infrastructure, Bloomberg reports. The meeting comes as global shortages of memory intensify.彭博社报道,OpenAI 首席执行官萨姆·奥尔特曼周六在韩国会见三星集团高层,就内存芯片与人工智能基础设施深化合作。此次会面正值全球内存供应短缺加剧之际。ブルームバーグによると、OpenAI のサム・アルトマン最高経営責任者は土曜日に韓国でサムスングループの幹部と会談し、メモリー半導体と AI インフラでの協力深化を協議した。世界的なメモリー不足が一段と厳しくなるなかでの会談となる。
2AI demand stretches circuit board lead times to 30 months, with orders booked to 2030AI 需求令印刷电路板交期延长至 30 个月,订单已排到 2030 年AI 需要でプリント基板の納期が 30 カ月に、受注は 2030 年まで埋まるWCCFTECH · VIA R/LOCALLLAMA · DISCUSSIONPrinted circuit board makers cannot secure enough capacity for AI and conventional electronics at once, Nikkei Asia reports, with order lead times now reaching 30 months and one supplier saying orders placed today may not ship until late 2028. An executive at a US PC vendor said board supply is hard to lock in even though PC shipments may fall again next year. Board materials are also getting more expensive.《日经亚洲》报道,印刷电路板厂商难以同时满足人工智能与传统电子产品的需求,订单交期已延长至 30 个月,一家供应商称如今下单可能要到 2028 年底才能交货。一位美国 PC 厂商高管表示,即便明年 PC 出货量可能再度下滑,仍难以锁定电路板供应。制板材料也在明显涨价。日経アジアによると、プリント基板メーカーは AI と従来型電子機器の需要を同時にはまかないきれず、受注から納入までの期間は 30 カ月に達し、ある供給元は今発注しても 2028 年後半まで出荷できない可能性があると語った。米 PC ベンダーの幹部は、来年も PC 出荷が減る見込みでも基板の確保は難しいと述べた。基板材料の価格も上昇している。
3OpenAI has secured about $11 billion of the $30 billion it targeted for its latest roundOpenAI 最新一轮融资仅获约 110 亿美元承诺,远低于 300 亿目标OpenAI の最新ラウンド、目標 300 億ドルに対し約 110 億ドルの出資確約にとどまるTHE WALL STREET JOURNAL · VIA HACKER NEWS · 137 PTS · 116 COMMENTS · DISCUSSIONOpenAI has secured roughly $11 billion in commitments for its new financing, less than half the $30 billion it first sought, after tepid interest from some large investors, the Wall Street Journal reports. The deal values the company at $1.25 trillion rather than the $1.4 trillion it had hoped for. The Financial Times separately reported that OpenAI cut the target by $10 billion.《华尔街日报》报道,OpenAI 新一轮融资目前仅获得约 110 亿美元的出资承诺,不到最初设定的 300 亿美元目标的一半,部分大型投资者兴趣冷淡。该交易对公司的估值为 1.25 万亿美元,低于此前期望的 1.4 万亿美元。《金融时报》另行报道称,OpenAI 已将融资目标下调 100 亿美元。ウォール・ストリート・ジャーナルによると、OpenAI の新規調達で確約されたのは約 110 億ドルで、当初目標の 300 億ドルの半分に届かず、一部の大口投資家の反応は鈍かった。評価額は期待していた 1.4 兆ドルではなく 1.25 兆ドルとなる。フィナンシャル・タイムズは別途、同社が調達目標を 100 億ドル引き下げたと報じた。
4QEngine decodes Qwen3.8-Flash-Next at 504 tokens a second on two RTX 5090sQEngine 在两张 RTX 5090 上以每秒 504 个 token 解码 Qwen3.8-Flash-NextQEngine、RTX 5090 2 枚で Qwen3.8-Flash-Next を毎秒 504 トークンでデコードR/LOCALLLAMAA tester rebuilt QEngine, a source-available CUDA engine written for three RTX 3090s, to run on two RTX 5090s and compared four engines on one machine. Its INT4 build decoded code at 439 tokens a second with the key-value cache in VRAM and 504 with it in host RAM, against 293 for Strata. The poster warns the script repeats prompts, which flatters QEngine's expert cache, and calls 1.4 to 1.9 times Strata honest.一名测试者将原本面向三张 RTX 3090 的开源可见 CUDA 引擎 QEngine 重新编译到两张 RTX 5090 上,并在同一台机器上比较了四个引擎。其 INT4 版本在 KV 缓存放于显存时代码解码为每秒 439 个 token,缓存放在主机内存时为 504,而 Strata 为 293。发帖者提醒测试脚本会重复相同提示,有利于 QEngine 的自适应专家缓存,更诚实的结论是约为 Strata 的 1.4 至 1.9 倍。あるユーザーが、RTX 3090 3 枚向けに書かれたソース公開の CUDA エンジン QEngine を RTX 5090 2 枚用にビルドし、同一マシンで 4 つのエンジンを比較した。INT4 版のコード生成は KV キャッシュを VRAM に置くと毎秒 439 トークン、ホスト RAM に置くと 504 で、Strata は 293 だった。投稿者はベンチが同じプロンプトを繰り返すため QEngine の適応的エキスパートキャッシュに有利だとし、妥当な値は Strata の 1.4〜1.9 倍だと述べている。
5NVIDIA engineers give a garage door a mouth and a grumpy local voice agent for Halloween英伟达工程师为万圣节打造会说话的车库门,背后是本地语音智能体エヌビディアの技術者、ハロウィーンにローカル音声エージェントで車庫の扉をしゃべらせるHUGGING FACE BLOGTwo NVIDIA engineers published a writeup of MonsterHouse, a Halloween projection that turns a garage door into a face, listens to trick-or-treaters and answers as a grumpy pirate ship that softens when visitors say please. The whole stack runs on a single workstation using the Nemotron Voice Agent with Nemotron speech recognition, Nemotron 3.5 Bolt E4B, Magpie TTS Zeroshot and Audio2Face-3D.两位英伟达工程师发布了 MonsterHouse 的技术记录:这是一个万圣节投影装置,把车库门变成一张会动的脸,聆听上门讨糖的孩子,并以一艘脾气暴躁的海盗船的口吻回应,孩子说“请”时态度就会软化。整套系统运行在一台工作站上,使用 Nemotron Voice Agent,并组合 Nemotron 语音识别、Nemotron 3.5 Bolt E4B、Magpie TTS Zeroshot 与 Audio2Face-3D。エヌビディアの技術者 2 人が、ハロウィーン用の投影装置 MonsterHouse の制作記を公開した。車庫の扉を顔に変え、訪れた子どもの声を聞いて気難しい海賊船として答え、「お願い」と言われると態度を和らげる。構成は 1 台のワークステーションで動き、Nemotron Voice Agent に Nemotron の音声認識、Nemotron 3.5 Bolt E4B、Magpie TTS Zeroshot、Audio2Face-3D を組み合わせている。