1Reading, Writing, Sharing, and Interacting with the World through Video通过视频读取、书写、共享世界并与之交互映像を通じて世界を読み、書き、共有し、世界と関わる211 UPVOTES · SHENGQIONG WU ET AL. · UNIVERSITY OF OXFORD · ARXIV 2610.31668A survey from the University of Oxford adopts world modeling as a single lens on both video foundation models and video world models. Treating an observed video as a partial, lossy and temporally ordered projection of a latent world, it organizes the literature around four complementary operations: reading, writing, sharing and interacting. It drew 211 upvotes, far ahead of the rest of the day's pool.牛津大学的一篇综述以世界建模为统一视角,重新审视视频基础模型与视频世界模型这两条路线。文章把观测到的视频视为潜在时序世界的一次局部、有损且按时间排序的投影,并据此将相关文献归纳为四种互补操作:读取、书写、共享与交互。该论文获得 211 个赞,远高于当日候选中的其他论文。オックスフォード大学のサーベイ論文が、映像基盤モデルと映像世界モデルの双方を世界モデリングという一つの視点から整理した。観測された映像を、潜在的な時間的世界の部分的で損失を伴う時系列的な投影とみなし、関連研究を読む・書く・共有する・関わるという四つの補完的な操作に沿って分類する。211 件の支持を集め、当日の候補の中で群を抜いた。
2Every Weight Is a Path of Shared Discrete Decisions每个权重都是一条共享离散决策构成的路径すべての重みは共有された離散的決定の経路である18 UPVOTES · AMMAR ALI ET AL. · ITMO UNIVERSITY · ARXIV 2610.31931ITMO University proposes TWIG, or Tree-structured Weights with Inherited Gates, a representation in which every network weight is the endpoint of a path of small discrete decisions: a sign, a shift by a power of two, a zero gate and an index into a shared table. Weights that belong together share the upper part of their paths, so each decision is stored and applied once. Any trained network can be rewritten this way.ITMO 大学提出 TWIG,即带继承门控的树结构权重表示:网络中每个权重都是一串细小离散决策的终点,这些决策包括符号、按 2 的幂次移位、置零门控,以及指向共享查找表的索引。归属同一分支的权重共享路径的上半部分,因此每个决策只需存储一次、执行一次。任何训练好的网络都可以改写成这种形式。ITMO 大学が TWIG(継承ゲート付き木構造重み)を提案した。ネットワークの各重みを、符号、2 のべき乗によるシフト、ゼロゲート、共有テーブルへのインデックスという小さな離散的決定の連なりの終点として表現する。同じ枝に属する重みは経路の上部を共有するため、各決定は一度だけ保存され一度だけ適用される。学習済みのネットワークはいずれもこの形式に書き換えられるという。
3Dual Exam: Controlled Evaluation of Multimodal Agents and World ModelsDual Exam:多模态智能体与世界模型的受控评测Dual Exam: マルチモーダルエージェントと世界モデルの統制された評価16 UPVOTES · ZHEFAN RAO ET AL. · ARXIV 2610.31066Dual Exam pulls apart the evaluation of multimodal agents and world models, testing agents under fixed environment responses and world models under fixed action interventions across physical, digital, social and scientific domains. The agent track compares 10 configurations on 1,088 items in 15 reporting categories; the world model track holds 400 cases across eight scenarios.Dual Exam 把多模态智能体与世界模型的评测拆分开来:在固定的环境响应机制下考查智能体,在固定的动作干预下考查世界模型,覆盖物理、数字、社会与科学四类领域。智能体赛道在 15 个报告类别下,用 1,088 道题比较 10 种配置;世界模型赛道则包含八个场景下的 400 个案例。Dual Exam は、マルチモーダルエージェントと世界モデルの評価を切り分ける枠組みである。環境の応答を固定してエージェントを、行動介入を固定して世界モデルを、物理・デジタル・社会・科学の各領域にわたって検証する。エージェント側は 15 の報告カテゴリーのもとで 1,088 項目により 10 構成を比較し、世界モデル側は 8 つのシナリオにわたる 400 事例を収める。
4DirCast: Live Esports Directing and Commentary with a Single Streaming Video-Language ModelDirCast:用单个流式视频语言模型完成电竞直播的导播与解说DirCast: 単一のストリーミング映像言語モデルによる e スポーツのライブ演出と実況15 UPVOTES · ZIXIAN GAO ET AL. · ARXIV 2610.31734DirCast is a single streaming video-language model that both directs and commentates a live esports broadcast, taking every player's raw camera feed and working only from what has already happened. Earlier streaming models learned to commentate, but only over a broadcast a human director had already cut. Each second DirCast scans all cameras at low resolution before deciding what goes on air.DirCast 是一个流式视频语言模型,同时承担电竞直播的导播与解说:它接收每位选手的原始机位画面,并且只能依据已经发生的内容作出判断。此前的流式模型虽然学会了解说,但只能在人类导播已经切好的画面上进行。DirCast 每秒以低分辨率扫描全部机位,再决定推送哪一路画面上屏。DirCast は、e スポーツのライブ配信において演出(カメラ切り替え)と実況の双方を担う単一のストリーミング映像言語モデルである。全選手の生のカメラ映像を受け取り、これまでに起きたことだけを手がかりに判断する。従来のストリーミングモデルは実況を学習していたものの、人間のディレクターが既に切り替えた映像の上でしか機能しなかった。DirCast は毎秒すべてのカメラを低解像度で走査したうえで、どの映像を本線に出すかを決める。
5TenetBench: A Clause-Anchored Russian Corpus for Evaluating Language Models against Professional Codes of EthicsTenetBench:以条款为锚、对照职业道德准则评估语言模型的俄语语料库TenetBench: 職業倫理規程に照らして言語モデルを評価する、条項に紐づくロシア語コーパス12 UPVOTES · YEGOR ANICHKOV ET AL. · ARXIV 2610.29477TenetBench tests whether an assistant breaches a specialist's professional code, or helps them breach it, without either party noticing. It pairs 3,433 requests that conflict with clauses of fifteen Russian-language professional codes against benign twins differing only in the legitimacy of what is asked, so each case points at a specific provision rather than a broad harm category.TenetBench 用于检验大模型助手是否会违反专业人士所受的职业道德准则,或在双方都未察觉的情况下帮助用户违反准则。它把 3,433 条与十五部俄语职业准则条款相抵触的请求,与仅在请求正当性上有差别的良性对照样本配成对,使每个案例都能指向具体条款,而非笼统的危害类别。TenetBench は、LLM アシスタントが専門職の倫理規程に違反したり、利用者が違反するのを双方気づかぬまま手助けしたりしないかを検証する。ロシア語の職業倫理規程 15 件の条項に抵触する 3,433 件の要求を、求める内容の正当性だけが異なる無害な対の事例と組み合わせることで、各ケースを漠然とした危害分類ではなく具体的な条項に結び付ける。
2026-10-24 · SATURDAY · 15:23 PDT
1WeVisOne-VL: Unified Visual Perception from Objects to PixelsWeVisOne-VL:从物体到像素的统一视觉感知WeVisOne-VL: 物体からピクセルまでを統一する視覚認識232 UPVOTES · TIANMING LIANG ET AL. · TENCENT · ARXIV 2610.31329Tencent presented WeVisOne-VL, a vision-language model that unifies object-level and pixel-level perception through structured next-token prediction. One model handles detection, referring localization, counting, OCR, segmentation and matting, localizing at whatever granularity a user asks, from points and boxes to masks and alpha mattes. A lightweight pixel decoder attaches to the VLM through a special token.腾讯提出 WeVisOne-VL,一个通过结构化的下一词元预测把物体级与像素级感知统一起来的视觉语言模型。单个模型即可完成检测、指代定位、计数、OCR、分割和抠图,并按用户指定的粒度输出定位结果,从点和框到掩码与 alpha 通道。模型通过一个特殊词元接入轻量像素解码器。テンセントは、構造化された次トークン予測によって物体レベルとピクセルレベルの認識を統合する視覚言語モデル WeVisOne-VL を発表した。単一のモデルで検出、参照表現による位置特定、計数、OCR、セグメンテーション、マッティングを扱い、点やボックスからマスクやアルファマットまで、利用者が指定した粒度で位置を出力する。軽量なピクセルデコーダを特殊トークン経由で接続している。
2Editing Images into Reusable Layers via Compositional Edit-Prior Distillation通过组合式编辑先验蒸馏把图像编辑为可复用图层合成的な編集事前分布の蒸留による画像の再利用可能なレイヤー化175 UPVOTES · WEN XUE ET AL. · JINGDONG · ARXIV 2610.24738LayerEditor couples instruction-guided image editing with the generation of reusable RGBA layers, so an edit returns separable elements rather than a flattened picture. Its In-Context RGB-Alpha Token Modeling jointly represents the edited canvas and an ordered sequence of layers. Existing editors flatten their output, and decomposition methods optimize layer recovery apart from the edit itself.LayerEditor 把指令驱动的图像编辑与可复用 RGBA 图层的生成结合起来,编辑结果返回的是可分离的元素,而不是一张压平的图。其核心是上下文内的 RGB-Alpha 词元建模,联合表示编辑后的画布和一组有序图层。现有编辑模型的输出是压平的,而图层分解方法又把图层还原与编辑本身分开优化。LayerEditor は、指示に基づく画像編集と再利用可能な RGBA レイヤーの生成を結び付け、編集結果を 1 枚に統合された画像ではなく分離可能な要素として返す。中核となる文脈内 RGB-Alpha トークンモデリングが、編集後のキャンバスと順序付きのレイヤー列を同時に表現する。既存の編集モデルは出力が統合されており、分解手法はレイヤー復元を編集そのものと切り離して最適化していた。
3IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI SystemsIQuest-Q1:提升智能体命令行系统的基础能力IQuest-Q1: エージェント型 CLI システムの基盤能力を高める86 UPVOTES · A. JIAN YANG ET AL. · IQUEST · ARXIV 2610.30949IQuest-Q1 is a sparse mixture-of-experts agentic foundation model with 320B total parameters and 15B activated, built for command-line agent systems. The 177-author report describes a three-stage recipe: pre-training with Stable SplitNorm, Muon and muP on a curriculum that raises the coding mix, fine-grained mid-training that extends context, then multi-scaffold post-training.IQuest-Q1 是一个面向命令行智能体系统的稀疏专家混合基础模型,总参数 3200 亿,激活参数 150 亿。这份由 177 位作者署名的报告介绍了三阶段方案:先用 Stable SplitNorm、Muon 和 muP 进行预训练,课程的第二阶段提高代码数据比例;随后是细粒度中训练并逐步扩展上下文;最后进行多脚手架、多版本的后训练。IQuest-Q1 は、コマンドライン型エージェントのために作られた総パラメータ 3200 億、活性化 150 億のスパース Mixture-of-Experts 基盤モデルである。177 名の著者による報告は 3 段階の手法を示す。Stable SplitNorm、Muon、muP を用い、第 2 段階でコードデータの比率を高めるカリキュラムによる事前学習、文脈長を広げる細粒度の中間学習、そして複数の足場と複数版による事後学習である。
4Toward Recursive Self-Improvement in Physical AI迈向物理 AI 中的递归自我改进フィジカル AI における再帰的自己改善に向けて50 UPVOTES · MENG LUO ET AL. · NATIONAL UNIVERSITY OF SINGAPORE · ARXIV 2610.29677A position paper from the National University of Singapore asks what recursive self-improvement would require of robots, where feedback is partial, trials are costly and some mistakes cannot be undone. It sets out a ladder of claims from behavioral improvement through procedure improvement to recursion, each defined by the comparison that would establish it. No robot study yet isolates a gain from recursion.新加坡国立大学的这篇立场论文探讨,在反馈不完整、试错成本高、部分错误不可挽回的现实环境中,递归自我改进对机器人意味着什么。论文给出一个层级式的主张阶梯,从行为改进到流程改进再到递归,每一级都由能够证实它的对照方式来界定。目前还没有机器人研究单独分离出来自递归的增益。シンガポール国立大学の立場論文は、フィードバックが部分的で試行の費用が高く、取り消せない失敗もある現実世界で、再帰的自己改善がロボットに何を要求するのかを問う。行動の改善から手続きの改善、そして再帰へと至る主張の階梯を示し、各段階をそれを立証する比較によって定義する。再帰に由来する利得を切り分けたロボット研究はまだない。
5Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language ModelsDeep Fusion Memory:面向大语言模型的块级参数化记忆Deep Fusion Memory: 大規模言語モデルのためのチャンク単位のパラメトリックメモリ41 UPVOTES · RUBIN WEI ET AL. · ARXIV 2610.25100Deep Fusion Memory gives a language model external knowledge without retrieval at inference time. A causal memory predictor learns from retrieved chunk embeddings, cutting retrieval queries 32-fold and retrieved items by 2048 times while building training data, and the predicted memory enters intermediate hidden states through gated cross-attention with the backbone frozen.Deep Fusion Memory 让语言模型在推理时不做检索也能使用外部知识。一个因果记忆预测器从检索到的文本块嵌入中学习,在构建训练数据时把检索查询次数减少到三十二分之一,检索条目数减少到两千零四十八分之一;预测出的记忆再通过门控交叉注意力进入中间隐藏状态,主干模型保持冻结。Deep Fusion Memory は、推論時に検索を行わずに言語モデルへ外部知識を取り込む。因果的なメモリ予測器が検索されたチャンク埋め込みから学習し、学習データ構築時の検索クエリを 32 分の 1、取得項目を 2048 分の 1 に削減する。予測されたメモリはゲート付きクロスアテンションで中間の隠れ状態に統合され、バックボーンは凍結したままである。
2026-10-23 · FRIDAY · 01:08 PDT
1Spectral-Spatial Interpretation光谱-空间解释スペクトル-空間解釈127 UPVOTES · HAOTIAN MA ET AL. · ARXIV 2610.21114Spectral-Spatial Interpretation attributes a model's decision jointly across spatial positions and spectral channels, instead of separating where a model looks from which channels matter. For each position the method fixes the surrounding context, defines a conditional game over that position's channels, and applies the Shapley value. The target is multispectral data, where channel relevance is spatially localized.Spectral-Spatial Interpretation (SSI) 将模型决策同时归因到空间位置与光谱通道上,而不是把「模型看哪里」和「哪些通道重要」分开解释。对每个空间位置,该方法固定其周围上下文,在该位置的通道上定义一个条件博弈,并计算 Shapley 值。其针对的是多光谱数据,因为通道的重要性往往集中在局部空间。Spectral-Spatial Interpretation (SSI) は、モデルがどこを見ているかとどのチャネルが重要かを分けて示すのではなく、空間位置とスペクトルチャネルの両方に同時に寄与を割り当てる。各位置で周囲の文脈を固定し、その位置のチャネル上に条件付きゲームを定義して Shapley 値を適用する。狙いはチャネルの重要度が空間的に局在する多スペクトルデータである。
2Deep Search in Real-World Web Environments真实网络环境中的深度搜索実世界のウェブ環境における深層探索110 UPVOTES · XIAOMIN YU ET AL. · ARXIV 2610.30181A 25-author team introduces OpenDS, a task for evaluating deep search agents end to end on the live open Web rather than in static retrieval settings. Real web evidence is spread across heterogeneous sources, modalities and formats, often behind interaction mechanisms an agent must work through itself. The benchmark scores multi-step search, access and evidence integration.一支 25 人作者团队提出 OpenDS 任务,用于在真实开放网络环境中端到端评测深度搜索智能体,而非在静态检索场景下评测。真实网络上的证据分散在异构来源、模态和格式中,往往还隐藏在智能体必须自行应对的交互机制之后。该基准考察多步搜索、页面访问与证据整合能力。25 名の著者からなるチームが、静的な検索設定ではなく実際の開かれたウェブ上で深層探索エージェントをエンドツーエンドに評価するタスク OpenDS を提案した。現実のウェブでは根拠が多様な情報源、モダリティ、形式に散在し、エージェント自身が突破すべき操作の先にあることも多い。このベンチマークは多段階の探索、アクセス、根拠の統合を評価する。
3Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation让多模态大模型的潜在表示发挥作用:面向电影级视频生成的要素感知预测学习MLLM の潜在表現を活かす: 映画的動画生成のための要素認識型予測学習102 UPVOTES · SONGLIN YANG ET AL. · TENCENT · ARXIV 2610.30926Tencent researchers propose Factor-Aware Predictive Learning, which pushes a video diffusion transformer to actually use multimodal LLM representations instead of bypassing them through its native conditioning paths. The method targets cinematic generation, where a model must infer motion from sparse guidance and control character, scene, action and camera as separate factors.腾讯研究人员提出要素感知预测学习 (Factor-Aware Predictive Learning),促使视频扩散 Transformer 真正利用多模态大模型的表示,而不是通过自身原生的条件注入通路绕过它们。该方法面向电影级生成任务:模型需要从稀疏引导中推断运动,并把角色、场景、动作与镜头作为可分别控制的要素。テンセントの研究者は、動画拡散 Transformer が本来の条件付け経路で素通りしてしまうのを防ぎ、マルチモーダル LLM の表現を実際に活用させる Factor-Aware Predictive Learning を提案した。対象は映画的な生成であり、モデルは疎な指示から動きを推論し、人物、場面、動作、カメラを別個の要素として制御する必要がある。
4Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds游戏中的规模扩展:面向多样虚拟世界中具身智能体的持续预训练ゲームにおけるスケーリング: 多様な仮想世界の身体化エージェントのための継続事前学習54 UPVOTES · KUAN ZHANG ET AL. · TSINGHUA SPATIAL INTELLIGENCE LAB · ARXIV 2610.28698A Tsinghua group ran 120 training configurations to test whether the scaling gains seen in physical embodied learning carry over to virtual worlds with different visual styles, dynamics, controls and objectives. The controlled sweep spans four model sizes from 0.8B to 27B, six data budgets from 50 to 1,600 hours, and five data mixtures starting from Minecraft alone.清华的一个团队运行了 120 组训练配置,检验在物理环境具身学习中观察到的规模化收益,是否能迁移到视觉风格、动力学、操作方式和目标各不相同的虚拟世界。这项受控实验覆盖 0.8B 到 27B 四种模型规模、50 到 1,600 小时六档数据预算,以及从仅含 Minecraft 起步的五种数据配比。清華大学のグループは 120 通りの学習設定を実行し、物理環境での身体化学習で得られたスケーリングの効果が、見た目、力学、操作、目的の異なる仮想世界にも及ぶかを検証した。統制された実験は 0.8B から 27B までの 4 つのモデル規模、50 から 1,600 時間までの 6 段階のデータ量、Minecraft のみから始まる 5 種類の混合データにわたる。
5Socratic Skill Learning: Interleaving Teaching and Practice for Transferable Agent Skills苏格拉底式技能学习:交替进行教学与实践以获得可迁移的智能体技能ソクラテス式スキル学習: 教示と実践を交互に行い転移可能なエージェントスキルを獲得する32 UPVOTES · LETIAN ZHU ET AL. · NJU-LINK LAB · ARXIV 2610.17860Socratic Skill Learning interleaves expert teaching with hands-on practice so an agent's reusable skills hold up beyond the task they were learned on. An Educator guides the investigation, but the Student stays the only operator of the environment and the sole author of each skill, free to question, test and adapt the advice. The authors release SkillTransferBench, with 35 task families and 408 executable cases.苏格拉底式技能学习 (SSL) 将专家教学与亲手实践交替进行,使智能体习得的可复用技能在学习任务之外依然可靠。教师角色负责引导探究,但学生始终是环境的唯一操作者和每条技能的唯一撰写者,可以质疑、验证并修改所得建议。作者同时发布了 SkillTransferBench,包含 35 个任务族、408 个可执行案例。ソクラテス式スキル学習 (SSL) は、専門家による教示と実地の練習を交互に行い、エージェントが獲得した再利用可能なスキルが学習時の課題を超えて通用するようにする。教師役が調査を導く一方、環境を操作するのは生徒役だけで、各スキルを書くのも生徒役であり、助言を疑い、試し、修正できる。著者らは 35 のタスク系統と 408 の実行可能ケースを収めた SkillTransferBench も公開した。
2026-10-22 · THURSDAY · 13:14 PDT
1StreamEval: Evaluating Interactive Streaming Video Generation ModelsStreamEval:交互式流式视频生成模型评测StreamEval: インタラクティブなストリーミング動画生成モデルの評価305 UPVOTES · STREAMEVAL TEAM ET AL. · ARXIV 2610.28402The StreamEval Team released a benchmark for interactive streaming video generation, spanning avatar dialogue and performance, world generation, instruction editing and reference editing across 300 scripted cases of 15 to 300 seconds. Across 37 models it finds that visual quality and identity retention do not track reliable request execution: the best following score among avatar-performance models is 36.90 of 100.StreamEval 团队发布了面向交互式流式视频生成的评测基准,涵盖虚拟人对话、虚拟人表演、世界生成、指令编辑与参考图编辑五类任务,共 300 个时长 15 至 300 秒的脚本化测试用例。对 37 个模型的评测显示,画面质量与身份一致性并不等同于可靠地执行请求:虚拟人表演类模型的最佳指令跟随得分仅为 36.90 分(满分 100)。StreamEval チームは、インタラクティブなストリーミング動画生成の評価基準を公開した。アバター対話、アバター演技、ワールド生成、指示編集、参照編集の 5 タスクにまたがり、15〜300 秒の台本化されたテストケース 300 件を収録する。37 モデルを評価した結果、映像品質や同一性の保持は、要求を確実に実行できることを意味しないと判明した。アバター演技系モデルの指示追従スコアは最高でも 100 点中 36.90 にとどまる。
2SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?SpatialScout:视觉语言模型智能体能否主动探索并构建三维场景地图?SpatialScout: VLM エージェントは 3D シーンを能動的に探索しマッピングできるか?128 UPVOTES · ZHAOXI ZHANG ET AL. · PEKING UNIVERSITY · ARXIV 2610.26659A Peking University team introduced SpatialScout, a benchmark asking whether vision-language model agents can build metric 3D maps by exploring a scene rather than answering questions about it. Agents steer a camera through 80 indoor scenes to place 3,140 objects in a shared coordinate frame. The strongest model, Claude Opus 5.5, reached 41.71 percent mean overlap, with only 3.25 percent of targets above 0.9 IoU.北京大学团队提出 SpatialScout,用以考察视觉语言模型智能体能否通过主动探索场景来构建带尺度的三维地图,而非仅回答关于场景的空间问题。智能体需操控相机走遍 80 个室内场景,并在统一坐标系中定位 3,140 个目标物体。受测的最强模型 Claude Opus 5.5 平均重叠得分为 41.71%,其中仅 3.25% 的目标交并比超过 0.9。北京大学のチームは SpatialScout を発表した。視覚言語モデルのエージェントが、シーンについての質問に答えるのではなく、能動的に探索してスケールを伴う 3D 地図を構築できるかを問う評価基準だ。エージェントはカメラを操作して 80 の屋内シーンを巡り、3,140 個の対象物を共通座標系に配置する。最も成績の良かった Claude Opus 5.5 でも平均重なりスコアは 41.71% で、IoU が 0.9 を超えた対象は 3.25% にすぎなかった。
3DONIC: Generalist Dexterous Bimanual Tracking Control from Human DemonstrationsDONIC:从人类示范中学习通用双手灵巧跟踪控制DONIC: 人間のデモンストレーションから学ぶ汎用の両手巧緻トラッキング制御124 UPVOTES · MINGZE SUN ET AL. · ROPEDIA · ARXIV 2610.29997Ropedia presented DONIC, which it calls the first generalist two-handed tracker for dexterous hands, trained jointly across operation categories and human-motion sources. It ships with BiHOI, a multi-view dataset of 1,575 sequences over 229 objects, and pairs policy optimization with behavioral cloning that feeds verified successes back into training. One checkpoint hits 86.79 percent success on unseen trajectories.Ropedia 提出 DONIC,称其为首个面向灵巧机械手的通用双手跟踪控制器,在多种操作类别与多个人类动作来源上联合训练。论文同时发布 BiHOI 数据集,含 229 个物体、1,575 段多视角序列。方法将策略优化与行为克隆结合,把已验证的成功执行回灌为训练示范。单个检查点在训练物体的未见轨迹上取得 86.79% 的成功率。Ropedia は DONIC を発表した。巧緻な多指ハンド向けの汎用両手トラッキング制御器として初のものだと位置づけ、複数の操作カテゴリと人間動作ソースを横断して同時に学習させている。あわせて 229 物体・1,575 シーケンスの多視点データセット BiHOI を公開した。方策最適化と行動クローニングを組み合わせ、検証済みの成功実行を学習データへ戻す設計だ。単一のチェックポイントで、学習物体の未知軌道に対し 86.79% の成功率を達成した。
4Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents正确的界面,错误的跳转:用世界模型校验 GUI 智能体正しい画面、誤った遷移: GUI エージェントの検証器としての世界モデル70 UPVOTES · JIAMING ZHANG ET AL. · ARXIV 2610.11942This paper argues GUI agent safety is a property of the transition, not the screen: a login page after a Sign in tap is expected, the same page after View order is an attack, so a monitor that inspects only screens can be beaten by reusing a legitimate one. Its LGWM predicts the next screen's representation directly, trained on 1.85 million real transitions, reaching 0.987 AUC at 17 ms per decision.论文指出,GUI 智能体的安全性是跳转的属性而非单个界面的属性:点击「登录」后出现登录页是正常的,而点击「查看订单」后出现同一页面则是攻击,因此只检查界面的监控器可以被重放合法界面所绕过。作者提出的 LGWM 直接预测下一界面的表示,在 185 万条真实跳转上训练,取得 0.987 AUC,单次判定耗时 17 毫秒。本論文は、GUI エージェントの安全性は画面ではなく遷移の性質だと論じる。「サインイン」を押した後のログイン画面は想定どおりだが、「注文を見る」を押した後に同じ画面が出れば攻撃であり、画面だけを見る監視機構は正当な画面の再利用で突破されうる。提案手法 LGWM は次画面の表現を直接予測し、185 万件の実遷移で学習して AUC 0.987、判定あたり 17 ミリ秒を達成した。
5PrismaCoder: Pushing the Boundaries of Open Multimodal Code Intelligence through Decomposed Rubric SynthesisPrismaCoder:以分解式评分标准合成推进开源多模态代码智能PrismaCoder: 分解されたルーブリック合成による オープンなマルチモーダル・コード知能の前進48 UPVOTES · QIUSHI SUN ET AL. · NLP GROUP OF THE UNIVERSITY OF HONG KONG · ARXIV 2610.20538A University of Hong Kong NLP group targets multimodal code intelligence, where a sample must be correct as a program, well built, and visually right once rendered - three things no single existing signal covers. Their PrismaForge pipeline synthesizes a decomposed rubric used as both data filter and RL reward, yielding the PrismaCoder-2M dataset and released 9B and 35B models.香港大学自然语言处理组面向多模态代码智能展开研究:一份样本必须同时做到程序正确、结构良好,且渲染后视觉效果正确——现有的任何单一信号都无法覆盖这三点。团队提出的 PrismaForge 流水线合成出一套分解式评分标准,既用作数据筛选器,也用作强化学习的奖励信号,由此构建了 PrismaCoder-2M 数据集,并开源了 9B 与 35B 两个模型。香港大学の自然言語処理グループは、マルチモーダル・コード知能に取り組む。サンプルはプログラムとして正しく、構成も良く、レンダリング後の見た目まで正しくなければならないが、この三つを同時に捉える既存の信号は存在しない。提案する PrismaForge のパイプラインは、分解されたルーブリックを合成し、それをデータの選別器と強化学習の報酬の両方に用いる。これにより PrismaCoder-2M データセットを構築し、9B と 35B のモデルを公開した。
2026-10-21 · WEDNESDAY · 13:11 PDT
1Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game WorldsMatrix-Game 4.0:用视频模型驱动实时可玩的游戏世界Matrix-Game 4.0: 動画モデルを活用したリアルタイムでプレイ可能なゲーム世界176 UPVOTES · JIHAI ZHANG ET AL. · ARXIV 2610.27999Matrix-Game 4.0 separates game execution from visual generation: a lightweight engine holds world state and interaction rules, a multimodal coding agent turns player ideas into game code, and an autoregressive video renderer converts low-poly proxies into detailed frames. The authors report 480p gameplay at 60 FPS on one RTX 5090 with 112 ms key-press-to-display latency, and release code, weights and assets.Matrix-Game 4.0 把游戏执行与画面生成分离:轻量引擎负责维护世界状态和交互规则,多模态编码代理把玩家想法转成游戏代码和场景描述,基于自回归视频模型的渲染器再把低模代理画面转为精细画面。作者称在单张 RTX 5090 上可实现 480p、60 FPS 的游玩体验,按键到显示的延迟为 112 毫秒,并开源了代码、权重和素材。Matrix-Game 4.0 はゲームの実行と映像生成を分離する。軽量なエンジンが世界状態と相互作用ルールを保持し、マルチモーダルなコーディングエージェントがプレイヤーの発想をゲームコードとシーン記述に変換し、自己回帰型動画モデルのレンダラーがローポリの代理映像を精細な映像に変える。RTX 5090 一枚で 480p・60 FPS、キー入力から表示までの遅延 112 ミリ秒を報告し、コードと重み、アセットを公開した。
2Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human ExperienceRopedia W0:借助人类经验跨本体扩展移动操作世界模型Ropedia W0: 人間の経験によるロコマニピュレーション世界モデルの身体横断的スケーリング149 UPVOTES · TIANQI LIU ET AL. · ROPEDIA · ARXIV 2610.26855Ropedia W0 is presented as the first egocentric loco-manipulation world foundation model spanning humans and robots of differing embodiments, trained on 10,000 hours of egocentric human data and 3,000 hours of robot data with unified annotations. It reports state-of-the-art results on five cross-embodiment benchmarks and, after distillation, supports real-time minute-long rollouts for live VR interaction.Ropedia W0 被称为首个覆盖人类与多种形态机器人的第一人称移动操作世界基础模型,训练数据包含 1 万小时第一人称人类数据和 3 千小时机器人数据,并带有统一的多模态标注。论文称其在五个跨本体基准上取得当前最佳结果,蒸馏后可支持分钟级的实时推演,用于实时 VR 交互。Ropedia W0 は、人間と多様な形態のロボットをまたぐ初の一人称ロコマニピュレーション世界基盤モデルとして提示された。1 万時間の一人称人間データと 3 千時間のロボットデータを統一アノテーション付きで学習に用いる。5 つの身体横断ベンチマークで最高水準の結果を報告し、蒸留後は数分規模のロールアウトをリアルタイムに生成して VR での対話に使えるという。
3Sage-A1.5: From Long-Horizon Execution to Scientific Exploration with Capability CompositionSage-A1.5:以能力组合从长程执行走向科学探索Sage-A1.5: 能力の組み合わせによる長期タスク実行から科学的探索へ61 UPVOTES · WENJIE LOU ET AL. · INTERN SCIENCE · ARXIV 2610.28578Sage-A1.5 is a 35B Mixture-of-Experts agentic model that builds on A1 with three additions: orchestration that delegates work to subagents with isolated contexts, verification through progress checks and evidence validation, and open scientific discovery. The report frames it as a path from long-horizon task execution to exploratory research with inspectable artifacts.Sage-A1.5 是一个 35B 的混合专家智能体模型,在 A1 基础上增加了三项能力:把任务分派给拥有独立上下文的子代理的编排机制、通过进度检查与证据校验实现的自我验证,以及开放式科学发现。报告把它定位为从长程任务执行走向可检视研究产出的探索性研究路径。Sage-A1.5 は A1 を基盤とする 350 億パラメータの Mixture-of-Experts エージェントモデルで、独立した文脈を持つサブエージェントへの委任によるオーケストレーション、進捗確認と証拠検証による自己検証、オープンな科学的発見の 3 点を追加した。報告は、長期タスクの実行から検証可能な成果物を伴う探索的研究への道筋として位置づけている。
4VLA-Rolling: Fewer Denoising Steps, Better Control via Adaptive Action ReuseVLA-Rolling:通过自适应动作复用,用更少去噪步数获得更好控制VLA-Rolling: 適応的な行動再利用による、より少ないデノイジングステップでの制御改善59 UPVOTES · SICHENG HE ET AL. · ZJU-OMNIAI · ARXIV 2610.25043Flow-matching vision-language-action models execute only a short prefix of each action chunk and throw away the rest, regenerating from fresh noise. VLA-Rolling reuses that discarded tail, estimates per-action confidence and allocates a denoising budget, leaving the policy frozen. Across four models and four benchmarks it cut inference cost in all 16 pairs, by up to 1.48 times, and raised success rates in 14.基于流匹配的视觉-语言-动作模型每次只执行动作块的前一小段,其余部分被丢弃,下一块又从新噪声重新生成。VLA-Rolling 复用这些被丢弃的动作尾部,逐动作估计置信度并分配去噪预算,同时保持原策略冻结。在四个模型与四个基准共 16 组组合上,推理成本全部下降,最高加速 1.48 倍,其中 14 组的成功率还有所提升。フローマッチング型の視覚-言語-行動モデルは、行動チャンクの先頭だけを実行して残りを破棄し、次のチャンクを新しいノイズから作り直す。VLA-Rolling は破棄されていた後続部分を再利用し、行動ごとの確信度を推定してデノイジング予算を割り当てる。方針側は凍結したまま、4 モデル × 4 ベンチマークの 16 通りすべてで推論コストを削減(最大 1.48 倍の高速化)し、14 通りで成功率も改善した。
5CoEvo-RSI: When Harnesses Evolve, Which Models Should Follow?CoEvo-RSI:当执行框架不断进化时,模型该如何跟上?CoEvo-RSI: ハーネスが進化するとき、どのモデルが追随すべきか59 UPVOTES · JIAQI SU ET AL. · ARXIV 2610.25078The paper targets the brain-body mismatch in recursive self-improvement, where an evolving harness demands behavior the model never learned. CoEvo-RSI has a meta-agent inherit in both directions from a shared archive, pairing harness designs with model checkpoint selection or merging. Using only supervised fine-tuning on its own rejection-sampled traces, it puts Qwen3.5-9B ahead of DeepSeek-V4-Pro on TraceElephant.论文针对递归自我改进中的「脑-体不匹配」问题:不断进化的执行框架会要求模型做出它从未学过的行为,或限制它本已具备的能力。CoEvo-RSI 让一个元代理基于共享的演化档案进行双向继承,把执行框架的设计与模型检查点的选择或合并配对起来。仅用对自身拒绝采样轨迹的监督微调,就让 Qwen3.5-9B 在 TraceElephant 上超过 DeepSeek-V4-Pro。本論文は再帰的自己改善における「脳と身体のミスマッチ」を扱う。進化するハーネスがモデルの未学習の振る舞いを要求したり、既にある能力を制限したりする問題である。CoEvo-RSI では、メタエージェントが共有の進化アーカイブから双方向に継承し、ハーネス設計とモデルチェックポイントの選択・マージを対応づける。自前の拒否サンプリング軌跡による教師ありファインチューニングのみで、Qwen3.5-9B が TraceElephant で DeepSeek-V4-Pro を上回った。
2026-10-20 · TUESDAY · 13:11 PDT
1Scaling Parameter-Efficient Fine-Tuning for Brain Encoding将参数高效微调扩展到脑编码脳エンコーディングのためのパラメータ効率的ファインチューニングのスケーリング231 UPVOTES · ZHUOFAN JOSH YING ET AL. · MIND LAB · ARXIV 2610.26802Brain encoding models usually fit a small readout on a frozen pretrained backbone, because neural recordings are too scarce to train or fully fine-tune a large model. The authors show that parameter-efficient fine-tuning adapts very large backbones with few trainable parameters, and exploit the backbone's causal structure to predict several timepoints at once. It tops today's pool with 231 upvotes.脑编码模型通常是在冻结的预训练骨干网络上拟合一个小的读出层,因为神经记录数据过于稀缺,难以从头训练或全量微调大模型。作者表明,参数高效微调能用很少的可训练参数让超大骨干网络适配脑编码任务,并利用骨干网络的因果结构一次预测多个时间点以控制算力开销。该论文以 231 票位居今日候选池首位。脳エンコーディングモデルは通常、凍結した事前学習バックボーンの上に小さな読み出し層を載せる。神経活動の記録は乏しく、大規模モデルをゼロから学習させたり全面的にファインチューニングするのが難しいからだ。著者らは、パラメータ効率的ファインチューニングによって少数の学習可能パラメータで巨大なバックボーンを適応できることを示し、バックボーンの因果構造を利用して複数時点を一度に予測する。231 票で本日の候補の首位に立った。
2OR-License: Evaluating LLM Agents as Real-World Operations Research PractitionersOR-License:把大模型智能体作为真实运筹学从业者来评测OR-License: LLM エージェントを実務のオペレーションズ・リサーチ担当者として評価する122 UPVOTES · PEISONG WANG ET AL. · DATA SCIENCE & ARTIFICIAL INTELLIGENCE LAB AT HKUST · ARXIV 2610.24087Operations research benchmarks usually start from a self-contained problem description, skipping the step where a practitioner turns raw client materials into a model. OR-License instead draws 31 instances from 10 industrial scenarios in paid engagements worth 3.68 million dollars, keeping the original requirements, input data and deliverable formats intact.运筹学基准通常从一段自成体系的问题描述开始,跳过了从业者把客户原始材料转化为优化模型这一步。OR-License 改为取自总额 368 万美元的付费项目,覆盖 10 个工业场景下的 31 个实例,并原样保留客户的需求说明、输入数据和交付物格式。オペレーションズ・リサーチのベンチマークは通常、自己完結した問題記述から始まり、実務者が顧客の生の資料をモデルに落とし込む工程が抜け落ちている。OR-License は代わりに、総額 368 万ドルの有償案件から 10 の産業シナリオ、31 件の事例を取り出し、元の要求事項、入力データ、成果物の形式をそのまま保持している。
3MemT-1.0: Towards Memory-Native EvolutionMemT-1.0:走向以记忆为原生能力的演化MemT-1.0: メモリーをネイティブに備えた進化へ108 UPVOTES · ZHIYU LI ET AL. · MEMTENSOR · ARXIV 2610.26825MemTensor introduces MemT-1.0, an architecture that makes memory part of the model's computation rather than an external store. Built on Metis, it uses Gated DeltaNet-2 for token-level memory updates within a turn and a Mixture-of-Storage scheme to scale native memory capacity, trained through a two-stage pipeline.MemTensor 提出 MemT-1.0,这一架构把记忆变成模型计算的一部分,而不是外挂的存储。该模型基于 Metis,用 Gated DeltaNet-2 在单轮对话内完成 token 级的记忆更新,并以 Mixture-of-Storage 机制扩展原生记忆容量,整体通过两阶段流程训练而成。MemTensor は、記憶を外部ストアではなくモデルの計算そのものに組み込むアーキテクチャ MemT-1.0 を提示した。Metis を土台に、Gated DeltaNet-2 でターン内のトークン単位のメモリー更新を行い、Mixture-of-Storage でネイティブな記憶容量を拡張する。学習は 2 段階のパイプラインで行われる。
4Holi-World: Building Holistic World Intelligence from Human-Ego ExperienceHoli-World:从人类第一人称经验构建整体性世界智能Holi-World: 人間の一人称視点体験から全体的な世界知能を構築する104 UPVOTES · HAO LI ET AL. · ROPEDIA · ARXIV 2610.26549Egocentric recordings capture how the world is arranged and how it changes under interaction, but turning them into training data normally means heavy manual annotation. Holi-World is an ecosystem that links experience capture, world representation, automated data construction, model learning and independent evaluation so the pipeline scales with the footage.第一人称录像记录了世界的结构以及它在交互中如何变化,但把这些素材变成训练数据通常需要大量人工标注。Holi-World 构建了一套打通经验采集、世界表征、自动数据构建、模型训练与独立评测的生态,使整条流程能随素材规模一同扩展。一人称視点の記録には、世界がどう構成され、相互作用によってどう変化するかが写っている。しかし、それを学習データに変えるには通常、膨大な手作業のアノテーションが必要になる。Holi-World は、体験の記録、世界表現、データの自動構築、モデル学習、独立した評価をつなぐエコシステムで、映像量の増加に合わせてパイプラインが拡張できるようにする。
5ScaleNav: Scalable Internet Video Pretraining for Language-Conditioned Local NavigationScaleNav:用可扩展的互联网视频预训练实现语言条件下的局部导航ScaleNav: 言語条件付き局所ナビゲーションのためのスケーラブルなインターネット動画事前学習84 UPVOTES · YIHUI YANG ET AL. · ARXIV 2610.25690ScaleNav addresses language-conditioned local navigation, where a robot must reach a target named in text and visible in its first view. Real-robot data is expensive and simulation leaves a sim-to-real gap, so the authors learn goal-directed visual dynamics from Internet egocentric video and use those dynamics to generate robot actions.ScaleNav 针对语言条件下的局部导航:机器人需要走到文本指定、且在初始视野中可见的目标位置并停下。真实机器人数据成本高,仿真又存在虚实差距,因此作者从互联网第一人称视频中学习面向目标的视觉动力学,再用这套动力学生成机器人动作。ScaleNav が扱うのは言語条件付きの局所ナビゲーションで、ロボットはテキストで指定され初期視野に写っている目標まで移動して停止する必要がある。実機データは高くつき、シミュレーションには実機とのギャップが残る。そこで著者らはインターネット上の一人称視点動画から目標志向の視覚ダイナミクスを学び、それを使ってロボットの行動を生成する。
2026-10-19 · MONDAY · 13:11 PDT
1HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding AgentsHexaShell:探索 VLM 智能体作为机器人编码智能体极限的轻量框架HexaShell: VLM エージェントをロボットのコーディングエージェントとして用いる限界を探る薄いハーネス228 UPVOTES · HONGCHENG GAO ET AL. · HEXAFUTURE · ARXIV 2610.23479HexaFuture released HexaShell, a thin harness that lets a VLM coding agent drive a two-armed robot through one command line and three calibrated cameras. After each failure the agent reads the log and writes or repairs small triangulation tools, keeping what it learns as code. It reports 39.7 percent success across all 42 RoboDojo tasks, a state of the art, while tight insertion stays at 8.3 percent.HexaFuture 发布了 HexaShell,这是一个轻量化框架,让基于视觉语言模型的编码智能体通过单一命令行和三台已标定相机操作一台双臂机器人。每次失败后,智能体读取日志,编写或修复用于三角测量的小工具,从而把所学沉淀为代码。论文称其在全部 42 项 RoboDojo 任务上成功率达 39.7%,为当前最佳水平,但紧配合插入任务仍只有 8.3%。HexaFuture は、VLM ベースのコーディングエージェントが単一のコマンドラインと校正済みカメラ 3 台で双腕ロボットを操作できる薄いハーネス HexaShell を公開した。エージェントは失敗ごとにログを読み、三角測量用の小さなツールを書くか修正し、学んだ内容をコードとして蓄積する。RoboDojo の全 42 タスクで成功率 39.7% と最高水準を報告する一方、はめ合いの精密な挿入は 8.3% にとどまる。
2LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving MarketsLiveMACE:在演化市场中对大模型智能体能力的过程感知评测LiveMACE: 進化する市場における LLM エージェント能力のプロセス指向評価110 UPVOTES · JUN ZHAO ET AL. · FUDAN UNIVERSITY · ARXIV 2610.09872Fudan University researchers introduced LiveMACEBench, which evaluates persistent LLM agents in live financial markets by inspecting their decision traces rather than only their returns. Across 30 days of live evaluation, five frontier models showed a pronounced outcome-capability gap: similar returns arose from markedly different use of tool access, memory, rule following and collaboration.复旦大学的研究者提出 LiveMACEBench,在真实金融市场中评测长期运行的大模型智能体,考察其决策轨迹而不只是收益。在为期 30 天的实盘评测中,五个前沿模型呈现出明显的结果与能力脱节:相近的收益背后,工具调用、记忆、规则遵循与协作的使用方式差异很大。復旦大学の研究者は、実際の金融市場で持続的に動作する LLM エージェントを、収益だけでなく意思決定の軌跡から評価するベンチマーク LiveMACEBench を提案した。30 日間のライブ評価で、5 つのフロンティアモデルには成果と能力の明確な乖離が見られ、近い収益であってもツール利用、記憶、規則遵守、協調の使い方は大きく異なっていた。
3Speculative Sampling in Interactive Video Generation交互式视频生成中的推测采样インタラクティブ動画生成における投機的サンプリング70 UPVOTES · YUBO HUANG ET AL. · UNIVERSITY OF SCIENCE AND TECHNOLOGY OF CHINA · ARXIV 2610.20556Researchers proposed Speculative Sampling, which pairs the quality of large bidirectional windows with the responsiveness of small chunks in interactive video generation. It pads the modeling window with noise latents and caches those predictions for reuse while the condition holds, so the uncommitted future stays replaceable. That removes the waiting-time floor set by chunk boundaries.研究者提出推测采样,在交互式视频生成中把大尺寸双向窗口的建模能力与小分块的低延迟响应结合起来。该方法用噪声潜变量填充建模窗口,在条件不变时缓存相应预测以便复用,因而尚未确定的后续内容仍可被替换。这消除了分块边界带来的等待时间下限。研究者は、インタラクティブ動画生成において大きな双方向ウィンドウの表現力と小さなチャンクの低遅延性を両立させる投機的サンプリングを提案した。ノイズ潜在変数でモデリングウィンドウを埋め、条件が変わらない間はその予測をキャッシュして再利用するため、未確定の未来は差し替え可能なまま保たれる。これによりチャンク境界が課す待ち時間の下限が解消される。
4Scene-Designer: Learning Design Intelligence for Agentic 3D Scene GenerationScene-Designer:为智能体式三维场景生成学习设计智能Scene-Designer: エージェント型 3D シーン生成のための設計知能の学習49 UPVOTES · XUANYU LIU ET AL. · ZJU-OMNIAI · ARXIV 2610.23121Scene-Designer is an agentic framework that learns to both build and critique 3D indoor scenes from natural language. The team built two supervision datasets, Scene-OTA-35K for design and error correction and Scene-OTC-15K for critique, then trained with Scene-GRPO, a critic-guided variant that cuts needless trial and error. They report gains in physical validity, functional correctness and layout coherence.Scene-Designer 是一个智能体式框架,既学习依据自然语言生成室内三维场景,也学习评判场景质量。团队构建了两套监督数据集:用于设计与纠错的 Scene-OTA-35K,以及用于质量评判的 Scene-OTC-15K,并以评判者引导的 Scene-GRPO 进行训练,减少不必要的试错。论文称其在物理合理性、功能正确性和布局连贯性上均有提升。Scene-Designer は、自然言語から屋内 3D シーンを設計する能力と、その品質を批評する能力の両方を学ぶエージェント型フレームワークである。設計と誤り修正のための Scene-OTA-35K、品質批評のための Scene-OTC-15K という 2 つの教師データを構築し、批評器に導かれる Scene-GRPO で学習させて無駄な試行錯誤を削減した。物理的妥当性、機能的正しさ、レイアウトの一貫性で改善を報告している。
5OpenMobile-2: Building Versatile Mobile Agents with Scalable Environments and App-Native ToolsOpenMobile-2:以可扩展环境和应用原生工具构建通用移动端智能体OpenMobile-2: スケーラブルな環境とアプリネイティブツールによる汎用モバイルエージェントの構築38 UPVOTES · CHENYANG YAN ET AL. · NANJING UNIVERSITY · ARXIV 2610.14157OpenMobile-2 is a mobile agent released with its full training environments and recipes. It is trained in MobileGym++, which adds 35 simulated commercial-style apps for a playground spanning over 110, on nearly 12K supervised trajectories and more than 2K verifiable RL tasks, and can interleave GUI actions with over 300 app-native tool calls. It scores 79.9 on AndroidWorld and lifts SPA-Bench from 31.9 to 59.6.OpenMobile-2 是一个连同完整训练环境与训练方案一并公开的移动端智能体。它在 MobileGym++ 中训练,后者新增 35 个仿真商业类应用,使可用应用超过 110 个;训练数据包括近 1.2 万条监督轨迹和 2000 多个可验证的强化学习任务,智能体可在图形界面操作与 300 多个应用原生工具调用之间交替。论文称其 AndroidWorld 得分 79.9,并将 SPA-Bench 从 31.9 提升至 59.6。OpenMobile-2 は、学習環境とレシピを完全に公開して提供されるモバイルエージェントである。商用アプリを模した 35 個のアプリを加えて 110 以上の環境を備える MobileGym++ 上で、約 1.2 万件の教師付き軌跡と 2000 件超の検証可能な強化学習タスクを用いて学習し、GUI 操作と 300 を超えるアプリネイティブなツール呼び出しを織り交ぜられる。AndroidWorld で 79.9、SPA-Bench は 31.9 から 59.6 へ向上したとしている。